本节主要内容:
nginx日志管理。
1、创建日志目录
nginx 的默认日志目录所在硬盘空间,有时不能满足日益增长的日志需求。
因此,可以根据硬盘的空间状况创建日志目录。
例如:
2、修改nginx日志配置文件
配置 nginx 的日志目录,指向(1)中创建的目录。
在配置文件中,添加内容:
根据实际情况写在 server 或 http 或 location 块 , 本例写在 server 块中。
上面的combined为 nginx 的默认日志格式,如果不这样,则需要重新定义。
本例中直接写了combined,这种格式 awstats 也认。
3、使用logrotate管理nginx日志,进行nginx日志分割操作。
logrotate 系统自带,并且会自动定时在凌晨 4:02 份启动
配置文件:
daily
missingok
rotate 7
nocompress
prerotate
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=yoursite.com
endscript
postrotate
if [ -f /usr/local/nginx/logs/nginx.pid ]; then
kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`
fi
endscript
}
每次 rotate 之前,会先调用 awstats 产生统计数据, rotate 之后会给 nginx 发信号将日志写人新的空白日志文件
logrotate 会用到/etc/logrotate.conf配置文件和/etc/logrotate.d中所有的配置文件,所以无需改动 logrotate 配置,只需往/etc/logrotate.d加入上面的配置文件即可
编写配置文件时,请务必小心,否则 debug 很麻烦 , 比如把配置文件中的nocompress去掉,以为会默认使用/etc/logrotate.conf中的 compress, 实际上不是这样的。
如果/etc/logrotate.d中的配置文件错误, logrotate 不会用/etc/logrotate.conf替代,而且 /var/log/messages 和系统的发的 mail 中毫无出错信息,除非配置文件有明显的错误,才会 /var/log/messages 和系统的发的 mail 反应出来。
二,如何logrotate进行nginx日志切割,并指定文件名格式呢?
这里以我的一个案例来分析下。
创建一个logrotate的管理脚本,来分割nginx的日志,日志的名字希望是access20130423.log,即access%Y%m%d.log。
本来默认不设置的话,会生成access%Y%m%d,可单位的日志分析系统,必须要.log后缀。
以下shell脚本有些问题,最终会生成这样一些文件:
total 40M
-rw-r----- 1 www-data www-data 6.0M Apr 24 09:48 access.log
-rw-r----- 1 www-data www-data 0 Apr 24 06:26 access20130423.log
-rw-r--r-- 1 www-data www-data 1.6K Apr 23 11:10 access2013042320130424.log
-rw-r----- 1 www-data www-data 34M Apr 24 06:26 access20130424.log
-rw-r----- 1 www-data www-data 21K Apr 24 09:40 error.log
-rw-r--r-- 1 www-data www-data 138K Apr 24 06:24 error20130424.log
第三个文件是怎么回事,为什么会生成这样一个文件?
是不是 /var/log/nginx/*.log这里,应该明确的指定access.log?
daily
dateext
dateformat %Y%m%d
extension .log
create
rotate 60
#compress
#delaycompress
notifempty
create 0640 www-data www-data
sharedscripts
prerotate
if [ -d /etc/logrotate.d/httpd-prerotate ]; then \
run-parts /etc/logrotate.d/httpd-prerotate; \
fi \
endscript
postrotate
[ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid`
endscript
}
有高手路过,欢迎指点迷津。
您可能感兴趣的文章:
Nginx 日志分割的小脚本
分享:Logrotate分割nginx日志的脚本
nginx日志配置、Nginx日志分割
Nginx日志按天分割的方法分享(图文)
一个分割ngnix网站日志的Shell脚本
每天自动分割Nginx日志文件的Shell脚本
本节内容:
Nginx配置优化
一,基本的(优化过的)配置
修改文件nginx.conf,其中包含Nginx不同模块的所有设置。你应该能够在服务器的/etc/nginx目录中找到nginx.conf。首先,我们将谈论一些全局设置,然后按文件中的模块挨个来,谈一下哪些设置能够让你在大量客户端访问时拥有良好的性能,为什么它们会提高性能。本文的结尾有一个完整的配置文件。
二,高层的配置
nginx.conf文件中,Nginx中有少数的几个高级配置在模块部分之上。
pid /var/run/nginx.pid;
worker_processes auto;
worker_rlimit_nofile 100000;
user和pid应该按默认设置 - 我们不会更改这些内容,因为更改与否没有什么不同。
worker_processes 定义了nginx对外提供web服务时的worder进程数。最优值取决于许多因素,包括(但不限于)CPU核的数量、存储数据的硬盘数量及负载模式。不能确定的时候,将其设置为可用的CPU内核数将是一个好的开始(设置为“auto”将尝试自动检测它)。
worker_rlimit_nofile 更改worker进程的最大打开文件数限制。如果没设置的话,这个值为操作系统的限制。设置后你的操作系统和Nginx可以处理比“ulimit -a”更多的文件,所以把这个值设高,这样nginx就不会有“too many open files”问题了。
三,Events模块
events模块中包含nginx中所有处理连接的设置。
worker_connections 2048;
multi_accept on;
use epoll;
}
worker_connections设置可由一个worker进程同时打开的最大连接数。如果设置了上面提到的worker_rlimit_nofile,我们可以将这个值设得很高。
记住,最大客户数也由系统的可用socket连接数限制(~ 64K),所以设置不切实际的高没什么好处。
multi_accept 告诉nginx收到一个新连接通知后接受尽可能多的连接。
use 设置用于复用客户端线程的轮询方法。如果你使用Linux 2.6+,你应该使用epoll。如果你使用*BSD,你应该使用kqueue。想知道更多有关事件轮询?看下维基百科吧(注意,想了解一切的话可能需要neckbeard和操作系统的课程基础)
(值得注意的是如果你不知道Nginx该使用哪种轮询方法的话,它会选择一个最适合你操作系统的)
四,HTTP 模块
HTTP模块控制着nginx http处理的所有核心特性。因为这里只有很少的配置,所以我们只节选配置的一小部分。所有这些设置都应该在http模块中,甚至你不会特别的注意到这段设置。
server_tokens off;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
...
}
server_tokens 并不会让nginx执行的速度更快,但它可以关闭在错误页面中的nginx版本数字,这样对于安全性是有好处的。
sendfile可以让sendfile()发挥作用。sendfile()可以在磁盘和TCP socket之间互相拷贝数据(或任意两个文件描述符)。Pre-sendfile是传送数据之前在用户空间申请数据缓冲区。之后用read()将数据从文件拷贝到这个缓冲区,write()将缓冲区数据写入网络。sendfile()是立即将数据从磁盘读到OS缓存。因为这种拷贝是在内核完成的,sendfile()要比组合read()和write()以及打开关闭丢弃缓冲更加有效(更多有关于sendfile)
tcp_nopush 告诉nginx在一个数据包里发送所有头文件,而不一个接一个的发送
tcp_nodelay 告诉nginx不要缓存数据,而是一段一段的发送--当需要及时发送数据时,就应该给应用设置这个属性,这样发送一小块数据信息时就不能立即得到返回值。
error_log /var/log/nginx/error.log crit;
access_log设置nginx是否将存储访问日志。关闭这个选项可以让读取磁盘IO操作更快(aka,YOLO)
error_log 告诉nginx只能记录严重的错误
keepalive_timeout 10;
client_header_timeout 10;
client_body_timeout 10;
reset_timedout_connection on;
send_timeout 10;
keepalive_timeout 给客户端分配keep-alive链接超时时间。服务器将在这个超时时间过后关闭链接。我们将它设置低些可以让ngnix持续工作的时间更长。
client_header_timeout 和client_body_timeout 设置请求头和请求体(各自)的超时时间。我们也可以把这个设置低些。
reset_timeout_connection告诉nginx关闭不响应的客户端连接。这将会释放那个客户端所占有的内存空间。
send_timeout 指定客户端的响应超时时间。这个设置不会用于整个转发器,而是在两次客户端读取操作之间。如果在这段时间内,客户端没有读取任何数据,nginx就会关闭连接。
limit_conn_zone $binary_remote_addr zone=addr:5m;
limit_conn addr 100;
limit_conn_zone设置用于保存各种key(比如当前连接数)的共享内存的参数。5m就是5兆字节,这个值应该被设置的足够大以存储(32K*5)32byte状态或者(16K*5)64byte状态。
limit_conn为给定的key设置最大连接数。这里key是addr,我们设置的值是100,也就是说我们允许每一个IP地址最多同时打开有100个连接。
include /etc/nginx/mime.types;
default_type text/html;
charset UTF-8;
include只是一个在当前文件中包含另一个文件内容的指令。这里我们使用它来加载稍后会用到的一系列的MIME类型。
default_type设置文件使用的默认的MIME-type。
charset设置我们的头文件中的默认的字符集
本节内容:
nginx rewrite URL重写
有关Nginx location的配置规则,请参考文章:nginx location配置规则分享 。
附,结合QeePHP的例子
rewrite ^/([a-z-A-Z]+)/([a-z-A-Z]+)/?(.*)$ /index.php?namespace=user&controller=$1&action=$2&$3 last;
rewrite ^/([a-z-A-Z]+)/?$ /index.php?namespace=user&controller=$1 last;
break;
多目录转成参数:
if ($host ~* (.*)/.domain/.com) {
set $sub_name $1;
rewrite ^/sort//(/d+)//?$ /index.php?act=sort&cid=$sub_name&id=$1 last;
}
目录对换:
rewrite ^/(/d+)/(.+)/ /$2?id=$1 last;
例如下面设定nginx在用户使用ie的使用重定向到/nginx-ie目录下:
rewrite ^(.*)$ /nginx-ie/$1 break;
}
目录自动加“/”:
rewrite ^/(.*)([^/])$ http://$host/$1$2/ permanent;
}
禁止htaccess:
deny all;
}
禁止多个目录:
deny all;
break;
}
禁止以/data开头的文件:
可以禁止/data/下多级目录下.log.txt等请求;
deny all;
}
禁止单个目录
不能禁止.log.txt能请求:
deny all;
}
禁止单个文件:
deny all;
}
给favicon.ico和robots.txt设置过期时间;
这里为favicon.ico为99天,robots.txt为7天并不记录404错误日志:
log_not_found off;
expires 99d;
break;
}
location ~(robots.txt) {
log_not_found off;
expires 7d;
break;
}
设定某个文件的过期时间;这里为600秒,并不记录访问日志:
access_log off;
root /opt/lampp/htdocs/web;
expires 600;
break;
}
文件反盗链并设置过期时间
这里的return 412 为自定义的http状态码,默认为403,方便找出正确的盗链的请求:
“rewrite ^/ http://leech./leech.gif;”显示一张防盗链图片
“access_log off;”不记录访问日志,减轻压力
“expires 3d”所有文件3天的浏览器缓存
valid_referers none blocked *. *.c1gstudio.net localhost 208.97.167.194;
if ($invalid_referer) {
rewrite ^/ http://leech./leech.gif;
return 412;
break;
}
access_log off;
root /opt/lampp/htdocs/web;
expires 3d;
break;
}
只充许固定ip访问网站,并加上密码:
allow 208.97.167.194;
allow 222.33.1.2;
allow 231.152.49.4;
deny all;
auth_basic "C1G_ADMIN";
auth_basic_user_file htpasswd;
将多级目录下的文件转成一个文件,增强seo效果:
rewrite ^/job-([0-9]+)-([0-9]+)-([0-9]+)/.html$ /job/$1/$2/jobshow_$3.html last;
将根目录下某个文件夹指向2级目录
如/shanghaijob/ 指向 /area/shanghai/
如果你将last改成permanent,那么浏览器地址栏显是/location/shanghai/
rewrite ^/([0-9a-z]+)job/(.*)$ /area/$1/$2 last;
上面例子有个问题是访问/shanghai 时将不会匹配
rewrite ^/([0-9a-z]+)job$ /area/$1/ last;
rewrite ^/([0-9a-z]+)job/(.*)$ /area/$1/$2 last;
这样/shanghai 也可以访问了,但页面中的相对链接无法使用,
如./list_1.html真实地址是/area/shanghia/list_1.html会变成/list_1.html,导至无法访问。
加上自动跳转也是不行:
if (-d $request_filename){
rewrite ^/(.*)([^/])$ http://$host/$1$2/ permanent;
}
手动跳转比较好:
rewrite ^/([0-9a-z]+)job/(.*)$ /area/$1/$2 last;
文件和目录不存在的时候重定向:
proxy_pass http://127.0.0.1;
}
域名跳转:
{
listen 80;
server_name jump.;
index index.html index.htm index.php;
root /opt/lampp/htdocs/www;
rewrite ^/ http://www./;
access_log off;
}
多域名转向:
index index.html index.htm index.php;
root /opt/lampp/htdocs;
if ($host ~ "c1gstudio/.net") {
rewrite ^(.*) http://www.$1 permanent;
}
三级域名跳转
rewrite ^(.*) http://top.yingjiesheng.com$1;
break;
}
域名镜向
{
listen 80;
server_name mirror.;
index index.html index.htm index.php;
root /opt/lampp/htdocs/www;
rewrite ^/(.*) http://www./$1 last;
access_log off;
}
某个子目录作镜向
rewrite ^.+ http://zph./ last;
break;
}
discuz ucenter home (uchome) rewrite
rewrite ^/(space|network)-(.+)/.html$ /$1.php?rewrite=$2 last;
rewrite ^/(space|network)/.html$ /$1.php last;
rewrite ^/([0-9]+)$ /space.php?uid=$1 last;
discuz 7 rewrite
rewrite ^(.*)/archiver/((fid|tid)-[/w/-]+/.html)$ $1/archiver/index.php?$2 last;
rewrite ^(.*)/forum-([0-9]+)-([0-9]+)/.html$ $1/forumdisplay.php?fid=$2&page=$3 last;
rewrite ^(.*)/thread-([0-9]+)-([0-9]+)-([0-9]+)/.html$ $1/viewthread.php?tid=$2&extra=page/%3D$4&page=$3 last;
rewrite ^(.*)/profile-(username|uid)-(.+)/.html$ $1/viewpro.php?$2=$3 last;
rewrite ^(.*)/space-(username|uid)-(.+)/.html$ $1/space.php?$2=$3 last;
rewrite ^(.*)/tag-(.+)/.html$ $1/tag.php?name=$2 last;
给discuz某版块单独配置域名
location = / {
if ($http_host ~ news/.$) {
rewrite ^.+ http://news./forum-831-1.html last;
break;
}
}
discuz ucenter 头像 rewrite 优化
location ~ .*/.php?$
{
#fastcgi_pass unix:/tmp/php-cgi.sock;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}
location /ucenter/data/avatar {
log_not_found off;
access_log off;
location ~ /(.*)_big/.jpg$ {
error_page 404 /ucenter/images/noavatar_big.gif;
}
location ~ /(.*)_middle/.jpg$ {
error_page 404 /ucenter/images/noavatar_middle.gif;
}
location ~ /(.*)_small/.jpg$ {
error_page 404 /ucenter/images/noavatar_small.gif;
}
expires 300;
break;
}
}
jspace rewrite
location ~ .*/.php?$
{
#fastcgi_pass unix:/tmp/php-cgi.sock;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}
location ~* ^/index.php/
{
rewrite ^/index.php/(.*) /index.php?$1 break;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}