Error message here!

Hide Error message here!

忘记密码?

Error message here!

请输入正确邮箱

Hide Error message here!

密码丢失?请输入您的电子邮件地址。您将收到一个重设密码链接。

Error message here!

返回登录

Close

日志文件中提取json--开发小记

Dont 2020-01-14 20:32:52 阅读数:58 评论数:0 点赞数:0 收藏数:0

之前交接过来的工作里有个页面本地调试麻烦,因为它的数据是后端实时上报而来,每次一报bug,都是给一个几兆的日志文本(上面记录了实际出问题的上报数据【json格式】),通过肉眼分析日志搭配页面逻辑人工解读,太难了……后面在页面加了mock的逻辑,但遇到一个问题,就是把日志中的数据配置到mock接口那边

=> 于是有了写脚本从日志文件里提取json数据的想法。

如何识别json字符串

  • 用正则匹配json,json的数据格式不一致且多层嵌套{}。 => 放弃

替换方案:来自Stack Overflow>>

原理:通过对字符串进行"{}"识别和截取,利用JSON.parse对截取的字符串进行尝试转换,如果成功则返回,失败(抛出异常)则捕获异常并继续缩窄字符串内容范围。

该段原理逻辑识别不了所有json,优先匹配第一个出现的json,我改成了从后往前来识别json,主要是结合需求的日志重点在后面的json

function extractJSON(str) {
var firstOpen, firstClose = str.length - 1, candidate;
firstClose = str.lastIndexOf('}');
do {
// debugger
firstOpen = str.indexOf('{');
// console.log('firstOpen: ' + firstOpen, 'firstClose: ' + firstClose);
if(firstClose <= firstOpen) {
return null;
}
do {
candidate = str.substring(firstOpen, firstClose + 1);
// console.log('candidate: ' + candidate);
try {
var res = JSON.parse(candidate);
return [res, firstOpen, firstClose + 1];
}
catch(e) {
// console.log('...failed');
}
firstOpen = str.indexOf('{', firstOpen+1);
} while(firstClose > firstOpen && firstOpen !== -1);
firstClose = str.lastIndexOf('}', firstClose - 1);
} while(firstClose != -1);
return null;
}

如此,就可以解决如何从一段文本中提取出json内容来。

接下来就是如何合理提取json为好,日志文件内容的特征是每行输出信息,而基本每行能提取一个关键json的数据来,那么可以用上nodejs的流来实现按行读取同时提取json

参考>>

注:只是看中了用stream来处理文件读取方便,对于较为大一点的文件(我遇到的日志最大不超过1g),可以按参考链接里的event-stream来处理

该部分的内容就不做重复说明,直接贴代码。

const fs = require('fs');
const readline = require('readline');
const stream = require('stream');
const instream = fs.createReadStream('test.log.txt');
const outstream = new stream();
const rl = readline.createInterface(instream, outstream);
function extractJSON(str) {
var firstOpen, firstClose = str.length - 1, candidate;
firstClose = str.lastIndexOf('}');
do {
// debugger
firstOpen = str.indexOf('{');
// console.log('firstOpen: ' + firstOpen, 'firstClose: ' + firstClose);
if(firstClose <= firstOpen) {
return null;
}
do {
candidate = str.substring(firstOpen, firstClose + 1);
// console.log('candidate: ' + candidate);
try {
var res = JSON.parse(candidate);
// console.log('...found');
return [res, firstOpen, firstClose + 1];
}
catch(e) {
// console.log('...failed');
}
firstOpen = str.indexOf('{', firstOpen+1);
} while(firstClose > firstOpen && firstOpen !== -1);
firstClose = str.lastIndexOf('}', firstClose - 1);
} while(firstClose != -1);
return null;
}
// 记录行数
let lineCount = 0;
// 收集json数据
const results = [];
rl.on("line", lineStr => {
lineCount++;
const extractRes = extractJSON(lineStr);
if (extractRes) {
results.push({
line: lineCount,
content: extractRes[0]
})
}
});
rl.on('close', () => {
// 对收集来的json数据再做一下过滤,提取目标json
const fileContents = results.filter(res => res.content.msg_content);
// 一般结果都不少,直接写入输出文件中
fs.writeFileSync('res.txt', fileContents.map(obj => {
return ' 行:' + obj.line + '\n' + JSON.stringify(obj.content);
}).join('\n\n'));
});

如此一来,写好脚本以后就方便过滤日志文件提取必要信息用于分析了,也可以拿来mock用。

发现从code上复制的代码贴到sf编辑器,会加入\的转义符,还得复制到sublime 再复制回来才正常 - -||

版权声明
本文为[Dont]所创,转载请带上原文链接,感谢
https://segmentfault.com/a/1190000021583616