alog-nginx-module
一个Nginx日志模块，目的是便于使用Nginx作为日志收集服务器
模块特点：
- 支持多种日志级别和日志路径设置
- 支持写日志缓冲，缓冲区大小可自定义
- 采用单独的日志线程写磁盘，Nginx Worker主线程和日志线程通过阻塞队列通讯
模块用途
模块包含如下两条指令：
alog_set
- 格式：alog_set [file_path] [log_level] [buffer_size]
- 说明：本指令只能出现在http中。[log_level]和[buffer_size]可选，默认日志结拜为info，默认缓冲大小为0.
- 例子：alog_set /usr/local/nginx/logs/test.log info 32k;
alog
- 格式：alog [log_level] [log_msg] [flush]
- 说明：本指令只能出现在location中。[flush]可选，如果需要强制刷新，输入“flush”。其中[log_msg]既可以为原始字符串，也可以为Nginx变量。日志以行为单位记录，会自动追加换行符。
- 例子：alog info “Hello World”；
例子：
...
http {
alog_set /export/servers/openresty/nginx/logs/clickstream.log info 32k;
...
server {
listen 80;
...
location /log {
access_log off;
set $u_log "Hello World";
alog info $u_log;
...
}
}
}...
http {
alog_set /export/servers/openresty/nginx/logs/clickstream.log info 1M;
...
server {
listen 80;
...
location /log {
access_log off;
set $u_log "Hello World";
alog info $u_log;
access_by_lua '
ngx.location.capture("/log2")
';
...
}
location /log2 {
log_subrequest on;
log info "log test";
...
}
}
}说明
本模块主要用于学习用途，经过了我自己的初步测试，如果使用请详尽测试，欢迎报告bug。
最初并无再写一个日志模块的意愿，毕竟Nginx自带的日志模块已经很好用了。但是在利用Nginx记点击流日志时，发现一个问题无法解决。点击流日志分隔符，我效仿网上一篇文章用了Ascii不可见字符^A。测试中发现如果直接将^A写入log_format，则日志打印没有问题；但如果在lua中对输入字符串进行处理（比如原先分隔符是|，替换为^A），最终经过nginx打印，会发现打印出的不是^A，而是\x001。经过调研发现，似乎是Nginx的日志模块对Ascii字符进行了转义，颇让人为难。
在Openresty中文邮件列表提问后，得到了包括agentzh在内的众多朋友帮助，发现这个问题可以使用专门的lua日志模块解决。但经过测试发现确实解决了字符转义的问题，非常高兴。但是经过简单测试，发现使用lua模块写日志，比使用Nginx的日志模块性能有所下降。考虑到日志收集响应速度很重要，因此决定自己开发一个模块。
模块的设计思路很明确，采用专门的日志线程写日志，Nginx Worker进程的主线程将日志写入内存缓冲区后返回。当缓冲区满后，主线程会将缓冲区中日志通过阻塞队列（Blocking Queue）交给日志线程，然后由日志线程写入磁盘。开发完成后，经过测试，性能功能性都满足要求。意外的是我发现自己写的日志模块性能，相比Nginx原生的日志模块并无明显的性能优势。并不是说本模块性能不好，而是发现Nginx原生的日志模块性能其实并不差。原先担心的性能问题，有杞人忧天之嫌，纯粹臆想。因为现在的磁盘顺序写速度已今非昔比，而且像Linux这样的系统会使用大量的内存作为写磁盘缓冲，因此像Nginx这样顺序追加写磁盘，速度并没有想象中糟糕。感觉自己的知识结构似乎还停留在那遥远的年代。
由此看来，这个模块主要的意义，除了解决转义字符的问题，更主要的是供广大Nginx开发者参考。如果能对社区中朋友有所帮助，善莫大焉。