Python日志文件分析_自动统计说明【指导】

Python日志分析核心是提取关键信息并结构化统计，需先确认日志格式，再用正则+Counter基础统计或pandas高效处理大数据量，最后封装为支持过滤、导出和可视化的可复用脚本。

Python日志文件分析的核心是提取关键信息并结构化统计，不需要手动逐行查看，用标准库就能快速完成常见任务。

明确日志格式再动手

不同项目日志格式差异大，比如：
- 默认logging模块输出：含时间、等级、模块名、消息，如 2025-05-10 14:23:18,123 - INFO - main - User login succeeded
- JSON格式日志：每行一个JSON对象，适合用json.loads解析
- Nginx或Django访问日志：空格/分隔符分段，需正则或split处理

先用head -n 3 your.log或Python读前几行确认结构，再决定解析方式。

用正则+字典做基础统计

针对文本日志，常用re匹配关键字段，用defaultdict或Counter累计：

• 按日志等级统计次数：Counter(re.findall(r' - (INFO|WARNING|ERROR) - ', log_text))
• 提取HTTP状态码（如access.log）：re.findall(r'" \d{3} ', line)
• 统计某类错误出现的模块：for m in re.finditer(r' - ERROR - (\w+) - (.+)', log_text): module_count[m.group(1)] += 1

用pandas提升分析效率

当日志量大（>10MB）或需多维交叉统计时，pandas比纯Python快且直观：

立即学习“Python免费学习笔记（深入）”；

• 把每行日志解析为字典，转成DataFrame：pd.DataFrame(log_records)
• 一行代码统计各模块ERROR数量：df[df.level == 'ERROR'].module.value_counts()
• 按小时聚合请求量：df['hour'] = pd.to_datetime(df.time).dt.hour; df.hour.value_counts().sort_index()

封装成可复用的小脚本

避免每次重写，建议写一个带参数的脚本，例如：

• 支持传入日志路径、等级过滤（--level ERROR）、时间范围（--since "2025-05-01"）
• 输出支持文本摘要、CSV导出、简单图表（用matplotlib画柱状图）
• 加个--sample选项，只处理前1000行用于调试

不复杂但容易忽略。