本文介绍nginx做reverse proxy时遇到的一个upstream round robin select logic的bug及解决办法。
我们用那个nginx做reverse proxy，一直有一个upstream round robin select logic的bug, 以前在maillist提过http://forum.nginx.org/read.php?2,220415,220440#msg-220440 大神说已经有人提过了，trac在这：http://trac.nginx.org/nginx/ticket/64
总的来说就是，问题发生的场景是n-1台server不可用(n>=3)，理论上应该只是影响请求的延迟，而不应该直接返回502或503的(因为有一台backend server是处于正常状态的).
我测试的版本: 1.0.XXX, 1.1.XXX, 1.2.XXX
os platform : centos 5.X, UBUNTU 11.10 or 12.04
按Maxim Dounin大神的说法，此bug在1.1.XX即1.2.XX版本虽然还存在，不过出现几率得到缓解了.
比较简单的解决办法是，可以通过增加后台web server和同时提高MAX_FAIL来减少n-1同时出现问题的可能性，就能避免出现上述问题. 关于nginx upstream种的max_fails和timeout文档，请参照官方:http://nginx.org/en/docs/http/ngx_http_upstream_module.html，我们遇到的问题是在对待容错要求较严格的服务时，增加max_fails的代价就是在增加在backend server出故障时所影响到的请求数量(请求会有一定延迟，具体延迟多少依照你的settings)，所以在面对一个容错要求很严格，此问题会变得比较棘手，一方面max_fails不能太大，一方面max_fails如果太小在backend server做服务起停时容易触发此bug.
有什么办法，没办法，就经常google，然后看maillist，是否有其他同学也遇到这么变态的需求，偶然看到Tengine发布的changelog里有upstream_check 模块，才知道自己是孤陋寡闻了，接下来就是自己测试，验证之.
此模块的github地址: https://github.com/yaoweibin/nginx_upstream_check_module
这个模块支持tcp，ssl，http的方式对backend server做存活检测，具体feature在README里都说的很清楚了，在此不再做重复描述.
淘宝哥们写的，蛮靠谱. 开源就是各种好，拿来就用。
有碰到此bug，或对backend server的存活检测有较严格需求的，可以使用此办法。
Nginx可以把放在磁盘中的文件，映射到内存中，减少高并发下的磁盘IO，以提高网站访问速度。
测试环境：
nginx.conf中站点路径：/home/wwwroot/res
站点文件原始存储路径：/opt/web/res
要用到的shell脚本很简单：拷贝资源文件到内存中，然后在把网站的静态文件链接指向到内存中。
res_path="/opt/web/res"
mem_path="/dev/shm/res"
lk_path="/home/wwwroot/res"
if [ ! -d "$mem_path" ]; then
cp -r "$res_path" "$mem_path"
fi
if [ ! -L "$lk_path" ]; then
ln -s "$mem_path" "$lk_path"
fi
更新测试数据
利用上述方法，在公司的测试服务器上做了个测试，速度提升明显，速度几乎翻倍。
测试前提：将测试网站的首页全部内容包括html，图片，js，css等所有元素都拷贝到内存中,并且每次用户请求静态资源文件都不会缓存。
使用LoadRunner按照200和100并发分别进行压力测试。
测试结果:
1.在高并发下全部使用磁盘文件200人并发 2分钟 平均每次事务响应时间为19.96秒 每秒处理事务数为9.26个
2.使用内存200人并发 2分钟 平均每次事务响应时间为11.3秒 每秒处理事务数为15.8个
3.在低并发下全部使用磁盘文件100人并发 2分钟 平均每次事务响应时间为10.27秒 每秒处理事务数为9.32个
4.使用内存100人并发 2分钟 平均每次事务响应时间为5.84秒 每秒处理事务数为16.17个
附：
问题：如果把常用静态文件链接到/dev/shm/res，永久的放在内存里面，如/home/wwwroot/inc，是否可行？
回答：先拷贝到内存里面，然后再做链接，否则内存里面没有你的静态文件。
本文介绍nginx反向代理的配置和优化，包括以下内容：
1.nginx反向代理的安装
2.配置及优化配置文件
3.源的优化
4.php的优化
5.测试并启动nginx
6.nginx日志文件的切割
由于服务器apache抗不住目前的并发，前端加上squid配置后,依然无法解决当前的问题。
而页面程序大部分是动态.无法使用fastcgi来处理.因此想使用nginx做为反向代理apache。
在考虑高并发的情况下,在安装前就做了些优化。
目前配置能抗住3000以上并发。
问题：有少量499问题。
第1部分:安装
1 建立用户及组
/usr/sbin/useradd -g www www
2 安装pcre让nginx支持rewrite
tar zxvf pcre-7.8.tar.gz
cd pcre-7.8/
./configure
make && make install
3 安装nginx
tar zxvf nginx-0.7.58.tar.gz
cd nginx-0.7.58/
./configure --user=www --group=www --prefix=/usr/local/webserver/nginx --with-http_stub_status_module --with-http_ssl_module --with-cc-opt='-O2' --with-cpu-opt=opteron
make && make install
#注意上文中的--with-cc-opt='-O2' --with-cpu-opt=opteron 这是编译器优化,目前最常用的是-02 而不是3.后面对应CPU的型号,可参照:http://wiki.gentoo.tw/index.php/HOWTO_CFLAG
第2部分:配置及优化配置文件
1 nginx.conf 配置文件:
worker_processes 4;
# [ debug | info | notice | warn | error | crit ]
error_log /usr/local/webserver/nginx/logs/nginx_error.log crit;
pid /usr/local/webserver/nginx/nginx.pid;
#Specifies the value for maximum file descriptors that can be opened by this process.
worker_rlimit_nofile 51200;
events
{
use epoll;
worker_connections 51200;
}
http
{
include mime.types;
default_type application/octet-stream;
source_charset GB2312;
server_names_hash_bucket_size 256;
client_header_buffer_size 256k;
large_client_header_buffers 4 256k;
#size limits
client_max_body_size 50m;
client_body_buffer_size 256k;
client_header_timeout 3m;
client_body_timeout 3m;
send_timeout 3m;
#参数都有所调整.目的是解决代理过程中出现的一些502 499错误
sendfile on;
tcp_nopush on;
keepalive_timeout 120; #参数加大,以解决做代理时502错误
tcp_nodelay on;
include vhosts/upstream.conf;
include vhosts/bbs.linuxtone.conf;
2 upstream.conf 配置文件(这也是做负载的配置方法)
upstream bbs.linuxtone.com {
server 192.168.1.4:8099;
}
3 站点配置文件
bbs.linuxtone.conf
{
listen 80;
server_name bbs.linuxtone.conf;
charset GB2312;
index index.html index.htm;
root /date/wwwroot/linuxtone/;
location ~ ^/NginxStatus/ {
stub_status on;
access_log off;
}
location / {
root /date/wwwroot/linuxtone/;
proxy_redirect off ;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header REMOTE-HOST $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 50m;
client_body_buffer_size 256k;
proxy_connect_timeout 30;
proxy_send_timeout 30;
proxy_read_timeout 60;
proxy_buffer_size 256k;
proxy_buffers 4 256k;
proxy_busy_buffers_size 256k;
proxy_temp_file_write_size 256k;
proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;
proxy_max_temp_file_size 128m;
proxy_pass http://bbs.linuxtone.com;
}
#参数都有所调整.目的是解决代理过程中出现的一些502 499错误
#Add expires header for static content
location ~* .(jpg|jpeg|gif|png|swf)$ {
if (-f $request_filename) {
root /date/wwwroot/linuxtone/;
expires 1d;
break;
}
}
log_format access '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $http_x_forwarded_for';
access_log /exp/nginxlogs/bbs.linuxtone_access.log access;
}
注:第二种代理方式
nginx 处理下图片,html等静态的东西.其它动态由apache处理.因此apache也需要做一些参数调整.
设置图片等过期时间.缓解请求.
如果源与nginx在同一台机器建议使用如下方法:
proxy_pass http://192.168.1.4:8099/;
proxy_redirect default ;
}
针对不同的目录进行代理把下面的配置放到根目录代理的上面
proxy_pass http://192.168.1.4:8099/linuxtone/;
proxy_redirect default ;
}
4 源配置
ServerAdmin liuyu105#gmail.com
DocumentRoot /date/wwwroot/linuxtone
ServerName bbs.linuxtone.com
ErrorLog logs/linuxtone_error_log
CustomLog "|/usr/local/sbin/cronolog logs/linuxtone_access_log.%Y%m%d" combined
</VirtualHost>
第3部分:源的优化
1 apache-mpm.conf
StartServers 15
MinSpareServers 15
MaxSpareServers 30
ServerLimit 2536
MaxClients 2048
MaxRequestsPerChild 1500
</IfModule>
2 apache-keepalive
Timeout 120 #与nginx的保持一至
KeepAlive On
MaxKeepAliveRequests 400
KeepAliveTimeout 7
第4部分:PHP的优化
优化一:将PHP由之前的xcache换成eaccelerator
1 安装
tar jxvf eaccelerator-0.9.5.3.tar.bz2
cd eaccelerator-0.9.5.3/
/usr/local/webserver/php/bin/phpize
./configure --enable-eaccelerator=shared --with-php-config=/usr/local/php5/bin/php-config
make
make install
注:PHP路径以安装为准!
2 配置
sed -i 's#output_buffering = Off#output_buffering = On#' /etc/php.ini
sed -i "s#; always_populate_raw_post_data = On#always_populate_raw_post_data = On#g" /etc/php.ini
配置eAccelerator加速PHP：
mkdir -p /usr/local/webserver/eaccelerator_cache
vi /etc/php.ini
[eaccelerator]
zend_extension="/usr/local/php5/lib/php/extensions/no-debug-non-zts-20060613/eaccelerator.so"
eaccelerator.shm_size="128"
eaccelerator.cache_dir="/usr/local/webserver/eaccelerator_cache"
eaccelerator.enable="1"
eaccelerator.optimizer="1"
eaccelerator.check_mtime="1"
eaccelerator.debug="0"
eaccelerator.filter=""
eaccelerator.shm_max="0"
eaccelerator.shm_ttl="300"
eaccelerator.shm_prune_period="120"
eaccelerator.shm_only="0"
eaccelerator.compress="1"
eaccelerator.compress_level="9"
优化二:联系开发重新编译php减少php的模块.以减少php进程所占用内存数.编译前也可以参照nginx的编译器优化方式安装.
第5部分:测试并启动nginx
/usr/local/webserver/nginx/sbin/nginx -t
/usr/local/webserver/nginx/sbin/nginx
第6部分:nginx日志切割脚本
# This script run at 00:00
# The Nginx logs path
logs_path="/exp/nginxlogs/"
mkdir -p ${logs_path}$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/
mv ${logs_path}bbs.linuxtone_access.log ${logs_path}$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/bbs.linuxtone_access_$(date -d "yesterday" +"%Y%m%d").log
kill -USR1 `cat /usr/local/webserver/nginx/nginx.pid`
crontab -e
00 00 * * * /bin/bash /usr/local/webserver/nginx/sbin/cut_nginx_log.sh
您可能感兴趣的文章：
Nginx负载均衡与反向代理的例子(图文)
Nginx Proxy 代理配置图片缓存的实例参考
nginx正向代理配置简单一例
nginx反向代理配置简单示例
学习Nginx反向代理实现简单负载均衡(图文)
nginx缓存html静态文件 解析php及反向代理IIS的配置
nginx中配置proxy正向代理
Nginx实现简单的反向代理
nginx创建反向代理和虚拟主机的例子
nginx的反向代理配置与优化
nginx反向代理与varnish缓存配置
nginx反向代理与负载均衡
Nginx 反向代理的小例子
nginx反向代理与缓存详解
nginx反向代理配置一例
Nginx反向代理Nginx
Nginx反向代理及负载均衡配置
Nginx Proxy代理和图片缓存配置
nginx配置反向代理的简单示例