用nginx-0.6.32作负载均衡-nginx架设一个高效的缓存转发...-nginx的proxy_cache缓存配置实例

当前位置: 操作系统/服务器>linux

本页文章导读:

▪用nginx-0.6.32作负载均衡 linux下的负载均衡产品有不少，LVS是一个不错的产品，但是网络拓扑结构比较复杂。 haporxy很不错，性能还是比较强的。如果不要求支持vhost，单一的负载功能可以使用haporxy。如果同时要求.........

▪nginx架设一个高效的缓存转发的例子项目情况: 用户上传的音乐需在播放，音乐量比较大。同时用户上传的音乐命不会重名，不用过期。用Squid和Varnish在高负载时，会出现无响应的现象。内网流量较大。 nginx说明: 以前用F5觉.........

▪nginx的proxy_cache缓存配置实例 nginx的proxy_cache缓存配置实例，供大家学习参考。 Nginx从0.7.48版本开始，支持了类似Squid的缓存功能。这个缓存是把URL及相关组合当作Key，用md5编码哈希后保存在硬盘上，所以它可以支持任意UR.........

[1]用nginx-0.6.32作负载均衡

来源: 互联网发布时间: 2013-12-24

linux下的负载均衡产品有不少，LVS是一个不错的产品，但是网络拓扑结构比较复杂。
haporxy很不错，性能还是比较强的。如果不要求支持vhost，单一的负载功能可以使用haporxy。
如果同时要求支持vhost，还想要一些其它功能。那就推荐用nginx（开源中，发展不错的一个产品）。
另外，也见过有人用一台Squid在前面，后面放了Ｎ台RealServer，这种架构，如果后面的一台机器死掉，前面就影响使用了。

Nginx负载均衡的功能：
１、能把负载传递给后端的机器．
２、后面的机器任何一个死掉不影响前面正常服务．
３、实现内容缓存，加速的功能（Ｆ５）的作用．
４、实现动静内空分离

关于niginx
http://nginx.net/
nginx [engine x] is a HTTP server and mail proxy server
而且是基于ＢＳＤ许可协义的．

我们这里用到的版本：
nginx-0.6.32 http://sysoev.ru/nginx/nginx-0.6.32.tar.gz
如果需要正则支持请安装pecl库．这里只做proxy，所以不需要安装了。
#tar zxvf nginx-0.6.32.tar.gz
#cd nginx-0.6.32
#./configure --prefix=/usr/local/nginx \
--user=nobody \
--group=nobody \
--without-poll_module \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--with-http_realip_module

#为了高效的性能一般使用epoll．
#make && make install
#make clean
#cd /usr/local/nginx/conf
#vim nginx.conf

代码如下:

user nobody;
worker_processes 10;

error_log /logs/error.log;
#定义出错的log

#pid logs/nginx.pid;

events {
use epoll;
worker_connections 65535;
}

http {
    include       mime.types;
    default_type application/octet-stream;

    access_log      off;
    #关闭了access log．也可以去打开．
    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout 65;
#压缩传输，减少带宽．
    gzip on;
    gzip_min_length 1k;
     gzip_buffers     4 8k;
     gzip_http_version 1.1;
     gzip_types       text/plain application/x-javascript text/css text/html application/xml image/jpeg image/png image/gif;

     upstream backend{
        server 192.168.1.100:80 weight=1;
        server 192.168.1.1001:80 weight=1;
        #weight是权重，如果想往那台机器多分点流量，就加大那个数字吧．
        }
    server {
            listen       80;
            server_name www.;

        location / {
                #internal;
                proxy_pass http://backend/;
                #proxy_store on;
                proxy_redirect off;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header Host $host;
                proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
                client_max_body_size       10m;
                client_body_buffer_size    128k;
                proxy_connect_timeout      90;
                proxy_send_timeout         90;
                proxy_read_timeout         90;
                proxy_buffer_size          4k;
                proxy_buffers              4 32k;
                proxy_busy_buffers_size    64k;
                proxy_temp_file_write_size 64k;
                index index.html index.php index.htm;
        }
                        location /NginxStatus {
                        stub_status             on;
                        access_log              on;
                        auth_basic              "NginxStatus";
                }

}
}

保存．
/usr/local/nginx/sbin/nginx -t
测试配置文件，如果没有问题，就可以正常启动了。
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf&

重启:
killall -HUP nginx
这样就可以实现简单的负载均衡的功能了。

增加文件的header头，让缓存到客户端，添加到server段中

代码如下:

location ~* ^.+.(jpg|jpeg|gif|css|png|js|ico)$ {
                root /data3/i.okooo.com;
                index index.php;
             access_log        off;
             expires           14d;
}

参考资料：
http://wiki.codemongers.com/NginxHttpProxyModule?highlight=(proxy)

[2]nginx架设一个高效的缓存转发的例子

来源: 互联网发布时间: 2013-12-24

项目情况:
用户上传的音乐需在播放，音乐量比较大。同时用户上传的音乐命不会重名，不用过期。
用Squid和Varnish在高负载时，会出现无响应的现象。内网流量较大。

nginx说明:
以前用F5觉的比较牛的就是可以缓存转发，感觉功能挺牛的。没钱买F5，只好用Nginx顶一把了。nginx可以说不算一个Cache，他不存在过期的问题。
也可以和负载均衡在一台机器上.
机器的硬盘要大一点。根据数据大小来定吧。

利用404,405的处理方法.
定义后端的Server,按分组的概念:

代码如下:

upstream music_ser{
server 172.16.100.10:80 weight=1;
server 172.16.100.11:80 weight=1;
}

定义一个Server:

代码如下:

server {
        listen 80;
        server_name music.wubx.com;
        access_log /data/logs/music_access.log
        proxy_temp_path /data/Cache/temp;
        root /data/Cache/$host;
        location / {
                index index.php;
                error_page 404 = /fetch$uri;
        }
        location /fetch {
                internal;
                proxy_pass http://music_ser;
                proxy_store on;
                proxy_store_access user:rw group:rw all:rw;
                proxy_set_header Host $host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header Via "nginx";
                alias /data/Cache/$host;
        }
}

完成配置nginx.conf

代码如下:

user nobody;
worker_processes 1;
error_log /data/logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;

events {
worker_connections 1024;
}

http {
    include       mime.types;
    default_type application/octet-stream
        sendfile        on;
        keepalive_timeout 65;
upstream music_ser{
     server 172.16.100.10:80 weight=1;
     server 172.16.100.11:80 weight=1;
}
server {
        listen 80;
        server_name music.wubx.com;
        access_log /data/logs/music_access.log
        proxy_temp_path /data/Cache/temp;
        root /data/Cache/$host;
        location / {
                index index.php;
                error_page 404 = /fetch$uri;
        }
        location /fetch {
                internal;
                proxy_pass http://music_ser;
                proxy_store on;
                proxy_store_access user:rw group:rw all:rw;
                proxy_set_header Host $host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header Via "nginx";
                alias /data/Cache/$host;
        }
}
}

用一个脚本去除理常放置时间长的文件:

代码如下:

#!/bin/bash
mkdir /data/Cache
mkdir /data/Cache/temp
chown -R nobody:nobody /data/Cache
fine /data/Cache/$host -type -atime 30 |xargs rm -rf {}\

$host换成你域名
根据路径在做调整，加到Cron中吧。

[3]nginx的proxy_cache缓存配置实例

来源: 互联网发布时间: 2013-12-24

nginx的proxy_cache缓存配置实例，供大家学习参考。

Nginx从0.7.48版本开始，支持了类似Squid的缓存功能。这个缓存是把URL及相关组合当作Key，用md5编码哈希后保存在硬盘上，所以它可以支持任意URL链接，同时也支持404/301/302这样的非200状态码。虽然目前官方的Nginx Web缓存服务只能为指定URL或状态码设置过期时间，不支持类似Squid的PURGE指令，手动清除指定缓存页面，但是，通过一个第三方的Nginx 模块，可以清除指定URL的缓存。

Nginx的Web缓存服务主要由proxy_cache相关指令集和fastcgi_cache 相关指令集构成，前者用于反向代理时，对后端内容源服务器进行缓存，后者主要用于对FastCGI的动态程序进行缓存。两者的功能基本上一样。

最新的Nginx 0.8.32版本，proxy_cache和fastcgi_cache已经比较完善，加上第三方的ngx_cache_purge模块（用于清除指定 URL的缓存），已经可以完全取代Squid。我们已经在生产环境使用了 Nginx 的 proxy_cache 缓存功能超过两个月，十分稳定，速度不逊于 Squid。

在功能上，Nginx已经具备Squid所拥有的Web缓存加速功能、清除指定URL缓存的功能。而在性能上，Nginx对多核CPU的利用，胜过Squid不少。另外，在反向代理、负载均衡、健康检查、后端服务器故障转移、 Rewrite重写、易用性上，Nginx也比Squid强大得多。这使得一台Nginx可以同时作为“负载均衡服务器”与“Web缓存服务器”来使用。

1、 Nginx 负载均衡与缓存服务器在 Linux 下的编译安装：

代码如下:

ulimit -SHn 65535
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.00.tar.gz
tar zxvf pcre-8.00.tar.gz
cd pcre-8.00/
./configure
make && make install
cd ../

wget http://labs.frickle.com/files/ngx_cache_purge-1.0.tar.gz
tar zxvf ngx_cache_purge-1.0.tar.gz

wget http://nginx.org/download/nginx-0.8.32.tar.gz
tar zxvf nginx-0.8.32.tar.gz
cd nginx-0.8.32/
./configure --user=www --group=www --add-module=../ngx_cache_purge-1.0 --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module
make && make install
cd ../

2、/usr/local/nginx/conf/nginx.conf 配置文件内容如下：

代码如下:

user www www;

worker_processes 8;

error_log /usr/local/nginx/logs/nginx_error.log crit;

pid /usr/local/nginx/logs/nginx.pid;

#Specifies the value for maximum file descriptors that can be opened by this process.
worker_rlimit_nofile 65535;

events
{
use epoll;
worker_connections 65535;
}

http
{
include mime.types;
default_type application/octet-stream;

#charset utf-8;

server_names_hash_bucket_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
client_max_body_size 300m;

sendfile on;
tcp_nopush     on;

keepalive_timeout 60;

tcp_nodelay on;

client_body_buffer_size 512k;
proxy_connect_timeout    5;
proxy_read_timeout       60;
proxy_send_timeout       5;
proxy_buffer_size        16k;
proxy_buffers            4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;

gzip on;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_http_version 1.1;
gzip_comp_level 2;
gzip_types text/plain application/x-javascript text/css application/xml;
gzip_vary on;

#注：proxy_temp_path和proxy_cache_path指定的路径必须在同一分区
proxy_temp_path   /data0/proxy_temp_dir;
#设置Web缓存区名称为cache_one，内存缓存空间大小为200MB，1天没有被访问的内容自动清除，硬盘缓存空间大小为30GB。
proxy_cache_path /data0/proxy_cache_dir levels=1:2   keys_zone=cache_one:200m inactive=1d max_size=30g;

upstream backend_server {
    server   192.168.8.43:80 weight=1 max_fails=2 fail_timeout=30s;
    server   192.168.8.44:80 weight=1 max_fails=2 fail_timeout=30s;
    server   192.168.8.45:80 weight=1 max_fails=2 fail_timeout=30s;
}

server
{
    listen       80;
    server_name www. 192.168.8.42;
    index index.html index.htm;
    root /data0/htdocs/www;

    location /
    {
         #如果后端的服务器返回502、504、执行超时等错误，自动将请求转发到upstream负载均衡池中的另一台服务器，实现故障转移。
         proxy_next_upstream http_502 http_504 error timeout invalid_header;
         proxy_cache cache_one;
         #对不同的HTTP状态码设置不同的缓存时间
         proxy_cache_valid 200 304 12h;
         #以域名、URI、参数组合成Web缓存的Key值，Nginx根据Key值哈希，存储缓存内容到二级缓存目录内
         proxy_cache_key $host$uri$is_args$args;
         proxy_set_header Host $host;
         proxy_set_header X-Forwarded-For $remote_addr;
         proxy_pass http://backend_server;
         expires      1d;
    }

    # 用于清除缓存，假设一个URL为http://192.168.8.42/test.txt，通过访问http://192.168.8.42 /purge/test.txt就可以清除该URL的缓存。
    location ~ /purge(/.*)
    {
     #设置只允许指定的IP或IP段才可以清除URL缓存。
     allow            127.0.0.1;
     allow            192.168.0.0/16;
     deny            all;
     proxy_cache_purge    cache_one   $host$1$is_args$args;
    }

    # 扩展名以.php、.jsp、.cgi结尾的动态应用程序不缓存。
    location ~ .*\.(php|jsp|cgi)?$
    {
         proxy_set_header Host $host;
         proxy_set_header X-Forwarded-For $remote_addr;
         proxy_pass http://backend_server;
    }
    access_log off;
}
}