在项目中,为了提高数据处理速度,需要Nginx输入Json格式的日志,处理方式如下:
修改NGINX_HOME/conf/nginx.conf文件,开启log_format格式,并配置格式定义如下:
log_format logstash_json '{ "@timestamp": "$time_iso8601", ' '"remote_addr": "$remote_addr", ' '"referer": "$http_referer", ' '"request": "$request", ' '"status": $status, ' '"bytes":$body_bytes_sent, ' '"agent": "$http_user_agent", ' '"x_forwarded": "$http_x_forwarded_for", ' '"upstr_addr": "$upstream_addr",' '"upstr_host": "$upstream_http_host",' '"ups_resp_time": "$upstream_response_time" }';
开启Access日志
access_log logs/access.log logstash_json;
配置完成后,reload Nginx服务
sbin/nginx -s reload
查看输出的日志格式:
{ "@timestamp": "2015-05-19T17:20:16+08:00", "remote_addr": "192.168.99.34", "referer": "http://10.10.20.212/qmonitor/", "request": "GET /qmonitor/css/bootstrap-responsive.min.css HTTP/1.1", "status": 200, "bytes":16451, "agent": "Mozilla/5.0 (Windows NT 6.1; rv:35.0) Gecko/20100101 Firefox/35.0", "x_forwarded": "-", "upstr_addr": "10.10.20.164:9480","upstr_host": "-","ups_resp_time": "0.002" } { "@timestamp": "2015-05-19T17:20:16+08:00", "remote_addr": "192.168.99.34", "referer": "http://10.10.20.212/qmonitor/", "request": "GET /qmonitor/css/font-awesome.min.css HTTP/1.1", "status": 200, "bytes":21141, "agent": "Mozilla/5.0 (Windows NT 6.1; rv:35.0) Gecko/20100101 Firefox/35.0", "x_forwarded": "-", "upstr_addr": "10.10.20.164:9480","upstr_host": "-","ups_resp_time": "0.001" } { "@timestamp": "2015-05-19T17:20:16+08:00", "remote_addr": "192.168.99.34", "referer": "http://10.10.20.212/qmonitor/", "request": "GET /qmonitor/css/bootstrap.light.min.css HTTP/1.1", "status": 200, "bytes":120584, "agent": "Mozilla/5.0 (Windows NT 6.1; rv:35.0) Gecko/20100101 Firefox/35.0", "x_forwarded": "-", "upstr_addr": "10.10.20.164:9480","upstr_host": "-","ups_resp_time": "0.003" } { "@timestamp": "2015-05-19T17:20:16+08:00", "remote_addr": "192.168.99.34", "referer": "http://10.10.20.212/qmonitor/", "request": "GET /qmonitor/img/small.png HTTP/1.1", "status": 200, "bytes":480, "agent": "Mozilla/5.0 (Windows NT 6.1; rv:35.0) Gecko/20100101 Firefox/35.0", "x_forwarded": "-", "upstr_addr": "10.10.20.164:9480","upstr_host": "-","ups_resp_time": "0.002" } { "@timestamp": "2015-05-19T17:20:17+08:00", "remote_addr": "192.168.99.34", "referer": "http://10.10.20.212/qmonitor/", "request": "GET /qmonitor/app/app.js HTTP/1.1", "status": 200, "bytes":658010, "agent": "Mozilla/5.0 (Windows NT 6.1; rv:35.0) Gecko/20100101 Firefox/35.0", "x_forwarded": "-", "upstr_addr": "10.10.20.164:9480","upstr_host": "-","ups_resp_time": "0.008" } { "@timestamp": "2015-05-19T17:20:17+08:00", "remote_addr": "192.168.99.34", "referer": "http://10.10.20.212/qmonitor/", "request": "GET /qmonitor/config.js HTTP/1.1", "status": 200, "bytes":2298, "agent": "Mozilla/5.0 (Windows NT 6.1; rv:35.0) Gecko/20100101 Firefox/35.0", "x_forwarded": "-", "upstr_addr": "10.10.20.164:9480","upstr_host": "-","ups_resp_time": "0.002" } { "@timestamp": "2015-05-19T17:20:18+08:00", "remote_addr": "192.168.99.34", "referer": "http://10.10.20.212/qmonitor/css/font-awesome.min.css", "request": "GET /qmonitor/font/fontawesome-webfont.woff?v=3.2.1 HTTP/1.1", "status": 304, "bytes":0, "agent": "Mozilla/5.0 (Windows NT 6.1; rv:35.0) Gecko/20100101 Firefox/35.0", "x_forwarded": "-", "upstr_addr": "10.10.20.164:9480","upstr_host": "-","ups_resp_time": "0.002" }
相关推荐
主要介绍了nginx中用JSON格式记录日志的配置示例,其实就是定义一个JSON的日志格式,然后在需要的地方调用即可,需要的朋友可以参考下
docker安装elk6.7.1-搜集nginx-json日志
nginx第三方插件,用于处理json字符串,提升nginx处理json字符串性能
用nginx怎么返回json格式或者文本格式的数据?其实很简单,如下代码: 1、返回文本格式 location ~ ^/get_text { default_type text/html; return 200 'hello world!'; } 2、返回json格式 location ~ ^/get_json...
11filebeat收集json格式的nginx日志.md
windows nginx 按天切割日志
Nginx日志描述 通过访问日志,你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息;通过错误日志,你可以得到系统某个服务或server的性能瓶颈等。因此,将日志好好利用,你可以得到很多有价值的...
windows 下nginx 日志切割 结合windows任务计划,实现每天备份日志,并reopen nginx
为处理高并发的请求,采用Nginx+Redis的非阻塞请求加内存数据库方式,采用Lua脚本处理简单业务,返回值为常用的Json
nginx按天进行日志切割脚本,同样适合其它很多服务日志的切割,压缩包包含shell切割脚本和使用说明,该脚本适合nginx同时也适合其他类似服务的日志切割,只要简单修改shell脚本即可,灵活多变,实用。
包含源码和编译好的文件夹。...需要注意的是,此版本 nginx 只能根据日期创建文件,而不能创建目录,请不要在配置log文件格式时加入不存在的目录 特别提示,请给 log文件存放目录增加 写权限,不然会创建log文件失败。
下面小编就为大家分享一篇Nginx 日志改成 JSON 格式的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
nginx-0.8.20关闭日志记录版,win32平台。
windows版Nginx日志分析工具2.1.0
实验一:Nginx日志配置 实验目的 熟悉nginx并进行nginx日志配置 实验内容 查看配置文件信息 打开nginx主配置文件 配置nginx日志 实验环境 kali系统 实验步骤 1.查看nginx版本情况 在kali中输入“nginx -t”来查看...
因为公司的同事需要Nginx日志标准输出,也就是通过控制台处理,那么我们需要先将日志写到文件内: error_log /var/log/nginx/error.log access_log /var/log/nginx/access.log 处理方式无非有两种: 1.创建宿主机...
docker在运行过程中会产生庞大的日志,nginx在运行中会产生庞大的日志,tomcat在运行中会产生庞大的日志,这些日子其实我们并不是很需要,所以要把他们清理掉。
为什么因为Nginx本机不支持JSON格式的error_log。下载使用下载最新的二进制文件准备为了实现更好的实现,请考虑以下步骤:编译nginx 增加NGX_MAX_ERROR_STR对像20480较大值编译过程。PHP-FPM 如果使用PHP FPM,则将...