data-processor-automation

通用的数据处理自动化脚本，支持配置化管理、脚本自检、邮件告警、分级日志，适用于批量数据处理/定时任务场景。

功能特性

• 📝 配置文件驱动：无需修改脚本，通过config.ini灵活配置路径/告警信息
• 🔍 脚本自检：自动检查依赖命令、日志目录，提前规避环境问题
• 🚨 邮件告警：执行失败时自动发送告警邮件，及时发现问题
• 📊 分级日志：支持DEBUG/INFO/ERROR级别，日志自动清理（默认保留7天）
• ⏰ 定时任务：提供crontab配置示例，支持定时执行

快速使用

1. 环境准备

# 安装依赖（以CentOS为例）
yum install -y mailx python3

2. 配置修改
编辑config.ini，修改以下核心配置：
[PATH]
PYTHON_SCRIPT = 你的数据处理脚本路径
RAW_DATA = 原始数据文件路径
OUTPUT_DATA = 输出文件路径

[ALERT]
FROM_EMAIL = 发送告警的邮箱（如163邮箱）
FROM_PASSWORD = 邮箱授权码
TO_EMAIL = 接收告警的邮箱

3. 执行脚本
# 赋予执行权限
chmod +x data_processor.sh

# 执行脚本
./data_processor.sh

# 查看日志
cat logs/data_process.log
4. 定时执行

# 编辑crontab
crontab -e

# 添加定时任务（每天凌晨2点执行）
0 2 * * * /path/to/data-processor-automation/data_processor.sh