当前位置：首页 > news >正文

如何安装fluentd 和fluentd-mongo的插件？然后收集nginx的 json格式的数据写到mongodb

news 2025/10/20 17:35:09

手动安装 Fluentd + MongoDB 插件并收集 Nginx JSON 日志

以下是完整步骤，从安装 Fluentd 到配置 Nginx JSON 日志存储到 MongoDB。

手动安装 Fluentd（td-agent）

如果已通过 RPM 安装 td-agent，跳过此步。否则：

下载 td-agent RPM（以 CentOS 7 为例）

wget https://packages.treasuredata.com/4/redhat/7/x86_64/td-agent-4.5.1-1.el7.x86_64.rpm

安装

sudo rpm -ivh td-agent-*.rpm

启动服务

sudo systemctl start td-agent
sudo systemctl enable td-agent

安装 MongoDB 插件

Fluentd 需要 fluent-plugin-mongo 插件来支持 MongoDB 输出：
sudo /usr/sbin/td-agent-gem install fluent-plugin-mongo

验证插件是否安装成功：
sudo /usr/sbin/td-agent-gem list | grep mongo

应输出：

fluent-plugin-mongo (1.0.0)

配置 Nginx 输出 JSON 格式日志

（1）修改 Nginx 日志格式

编辑 Nginx 配置文件（如 /etc/nginx/nginx.conf）：
http {
log_format json_log escape=json
'{'
'"time":"$time_iso8601",'
'"remote_addr":"$remote_addr",'
'"request":"$request",'
'"status":"$status",'
'"body_bytes_sent":"$body_bytes_sent",'
'"http_referer":"$http_referer",'
'"http_user_agent":"$http_user_agent"'
'}';

access_log /var/log/nginx/access.log json_log;  # 使用 JSON 格式

}

重启 Nginx：
sudo systemctl restart nginx

（2）验证日志格式

tail -n 1 /var/log/nginx/access.log

输出示例：

配置 Fluentd 收集日志并写入 MongoDB

编辑 Fluentd 配置文件 /etc/td-agent/td-agent.conf：
sudo vim /etc/td-agent/td-agent.conf

替换为以下内容（根据您的 MongoDB 信息调整）：

输入：收集 Nginx JSON 日志

@type tailpath /var/log/nginx/access.logpos_file /var/log/td-agent/nginx-access.postag nginx.access@type json # 解析 JSON 格式日志time_key time # 指定时间字段time_format %Y-%m-%dT%H:%M:%S%z # 匹配 JSON 中的时间格式

输出：存储到 MongoDB

@type mongohost 127.0.0.1 # MongoDB 服务器 IPport 27017database nginx_logs # 数据库名collection access # 集合名user user # 用户名（如有认证）password pqssword # 密码（如有认证）flush_interval 5s # 每 5 秒写入一次

可选：设置写入模式

time_key time # 将日志时间作为 MongoDB 的写入时间

输出：同时写入本地文件（调试用）

@type filepath /var/log/td-agent/nginx-access.log

启动 Fluentd 并验证

（1）重启 td-agent

sudo systemctl restart td-agent

（2）检查 Fluentd 日志

sudo tail -f /var/log/td-agent/td-agent.log

正常输出示例：

2023-10-01 12:00:00 +0800 [info]: starting fluentd-1.16.0
2023-10-01 12:00:00 +0800 [info]: listening port port=24224

（3）测试日志收集

访问 Nginx 服务生成日志：
curl http://localhost/

检查 MongoDB 是否写入数据：

进入 MongoDB Shell

mongo --host 127.0.0.1 -u user -p password --authenticationDatabase nginx_logs

查询数据

use nginx_logs
db.access.find().pretty()

输出示例：
{
"_id": ObjectId("65123456789abcdef0123456"),
"time": ISODate("2023-10-01T04:00:00Z"),
"remote_addr": "192.168.1.1",
"request": "GET / HTTP/1.1",
"status": "200",
"body_bytes_sent": "612",
"http_user_agent": "Mozilla/5.0..."
}