nginx实现负载均衡集群的方案...-nginx日志中记录cookie信息的配...-nginx实现url重写-rewrite实例参考

当前位置: 操作系统/服务器>linux

本页文章导读:

▪nginx实现负载均衡集群的方案分享 Nginx的反向代理：反向代理指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给Internet上请求连接到客户端，此时代理服务.........

▪nginx日志中记录cookie信息的配置参考本节介绍，通过nginx日志记录cookie信息，以供数据分析人员进行有用信息获取的方法。例1，代码示例: server { listen80; server_name www.; set $aslibra_auth ""; if ( $http_cookie ~* "aslibra_aut.........

▪nginx实现url重写-rewrite实例参考 nginx 的 rewrite 语法语法: rewrite regex replacement flag 默认: none 作用域: server, location, if 此指令根据表达式来更改URI，或修改字符串。指令根据配置文件中的顺序来执行。注意：重写表达.........

[1]nginx实现负载均衡集群的方案分享

来源: 互联网发布时间: 2013-12-24

Nginx的反向代理：
反向代理指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给Internet上请求连接到客户端，此时代理服务器对外就表现为一个服务器，而此种工作模式类似于LVS-NET模型。

反向代理，即web服务器加速，它是一种通过在繁忙的web服务器和外部网络之间增加的一个高速web缓冲服务器，用来降低实际的web服务器的负载的一种技术。

反向代理是针对web服务器提高加速功能，所有外部网络要访问服务器时的所有请求都要通过它，这样反向代理服务器负责接收客户端的请求，然后到源服务器上获取内容，把内容返回给用户，并把内容保存在本地，以便日后再收到同样的信息请求时，它会将本地缓存里的内容直接发给用户，已减少后端web服务器的压力，提高响应速度。

因此Nginx还具有缓存功能。

nginx反向代理的工作流程：
1）用户通过域名发出访问请求，该域名被解析为反向代理服务器的IP地址；
2）反向代理服务器接收用户的请求；
3）反向代理服务器在本地缓存查找是否存在当前用户所请求的内容，找到则直接把内容返回给用户；
4）如果本地没有用户请求的内容，反向代理服务器会以自己的身份去后端服务器请求同样的信息内容，并把信息内容发给用户，如果信息内容是可以被缓存的，则会将该内容缓存在代理服务器的本地缓存中。

nginx反向代理的好处：
1）解决了网站服务器对外可见的问题，提高了网站服务器的安全性；
2）节约了有限的IP地址资源，后端服务器均可使用私有IP地址与代理服务器进行通信；
3）加速了网站的访问速度，减轻了真是web服务器的负荷。

(一)、调度算法
Nginx的upstream指令用于指定proxy_pass和fastcgi_pass所使用的后端服务器，即nginx的反向代理功能，因此可以将两者结合起来使用以达到负载均衡的目的，而Nginx也支持多种调度算法：

1、轮询（默认）
每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，则会跳过该服务器分配至下一个监控的服务器。并且它无需记录当前所有连接的状态，所以它是一种无状态调度。
2、weight
指定在轮询的基础上加上权重，weight和访问比率成正比，即用于表明后端服务器的性能好坏，若后端服务器性能较好则可将大部分请求分配给它，已实现其力所能及。
例如：
我后端服务器172.23.136.148配置：E5520*2 CPU，8G内存
后端服务器172.23.136.148配置：Xeon(TM)2.80GHz * 2，4G内存
我希望在有30个请求到达前端时，其中20个请求交给172.23.136.148处理，剩余10个请求交给172.23.136.149处理，就可做如下配置

代码示例:

upstream web_poll {
server 172.23.136.148 weight=10;
server 172.23.136.149 weight=5;
}

3、ip_hash
每个请求按访问ip的hash结果分配，当新的请求到达时，先将其客户端IP通过哈希算法进行哈希出一个值，在随后的请求客户端IP的哈希值只要相同，就会被分配至同一个后端服务器，该调度算法可以解决session的问题，但有时会导致分配不均即无法保证负载均衡。
例如：

代码示例:

upstream web_pool {
ip_hash;
server 172.23.136.148:80;
server 172.23.136.149:80;
}

4、fair（第三方）
按后端服务器的响应时间来分配请求，响应时间短的优先分配。

代码示例:

upstream web_pool {
server 172.23.136.148;
server 172.23.136.149;
fair;
}

5、url_hash（第三方）
按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。
例：在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法

代码示例:

upstream web_pool {
server squid1:3128;
server squid2:3128;
hash $request_uri;
hash_method crc32;
}

每个设备的状态设置为:
1.down 表示当前的server不参与负载,用于ip_hash中
2.weight 默认为1.weight越大，负载的权重就越大。
3.max_fails 允许请求失败的次数默认为1.设为0则表示关闭该项功能，当超过最大次数时，返回proxy_next_upstream 模块定义的错误
4.fail_timeout 在max_fails定义的失败次数后，暂停的时间。
5.backup 可以将其理解为备机，其它所有的非backup机器down或者忙的时候，才会将请求分配给backup机器。所以这台机器压力会最轻。

nginx支持同时设置多组的负载均衡，用来给不用的server来使用。

(二)、指令的使用
1、upstream
声明一组可以被proxy_pass和fastcgi_pass引用的服务器；这些服务器可以使用不同的端口，并且也可以使用Unix Socket；也可以为服务器指定不同的权重。如：

代码示例:

upstream web_pool {
    server coolinuz.9966.org weight=5;
    server 172.23.136.148:8080 max_fails=3 fail_timeout=30s;
    server unix:/tmp/backend3;
}

2、server
语法：server name [parameters]
其中的name可以是FQDN，主机地址，端口或unix套接字；如果FQDN解析的结果为多个地址，则每个地址都会被用到。

3、proxy_pass
语法：proxy_pass URL;
该指令用于指定代理服务器的地址和URL将被映射为的URL或地址和端口。即用来指定后端服务器的地址或URL[端口]。

4、proxy_set_header
语法：proxy_set_header header value;
该指令允许重新定义和添加一些将被转移到被代理服务器的请求头部信息。
例如：

代码示例:

proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

注意：$proxy_add_x_forwarded_for包含客户端请求头中的"X-Forwarded-For"，与$remote_addr用逗号分开，如果没有"X-Forwarded-For" 请求头，则$proxy_add_x_forwarded_for等于$remote_addr

Nginx的内置变量：

$args, 请求中的参数;
$is_args, 如果已经设置$args，则该变量的值为“？”，否则为“”。
$content_length, HTTP请求信息头里的"Content-Length";
$content_type, 请求信息头里的"Content-Type";
$document_root, 针对当前请求所属的root指令设置的根目录路径;
$document_uri, 与$uri相同;
$host, 请求信息中的"Host"，如果请求中没有Host行，则等于设置的服务器名;
$limit_rate, 对连接速率的限制;
$request_method, 请求的方法，比如"GET"、"POST"等;
$remote_addr, 客户端地址;
$remote_port, 客户端端口号;
$remote_user, 客户端用户名，认证用;
$request_filename, 当前请求的文件路径名
$request_body_file, 客户端请求主体的临时文件名。
$request_uri, 请求的URI，带参数;
$query_string, 与$args相同;
$scheme, 所用的协议，比如http或者是https，比如rewrite ^(.+)$ $scheme://example.com$1 redirect;
$server_protocol, 请求的协议版本，"HTTP/1.0"或"HTTP/1.1";
$server_addr, 服务器地址，如果没有用listen指明服务器地址，使用这个变量将发起一次系统调用以取得地址(造成资源浪费);
$server_name, 请求到达的服务器名;
$server_port, 请求到达的服务器端口号;
$uri, 请求的URI，可能和最初的值有不同，比如经过重定向之类的。

5、proxy_read_timeout
语法：proxy_read_timeout time;
这个指令设置Nginx与后端服务器建立连接后。等待后端服务器的响应时间

6、proxy_send_timeout
语法：roxy_send_timeout time;
该指令指定请求转移到后端服务器的超时时间。整个传输的要求时间不超过超时时间，但只有两次写操作之间。如果在此时间之后的后端服务器将不采取新的数据，然后nginx将关闭连接。

7、proxy_connect_timeout
语法：proxy_connect_timeout time;
该指令用来设置分配到后端服务器的连接超时时间。

8、proxy_buffers
语法: proxy_buffers the_number is_size;
该指令设置缓冲区的数目和大小，缺省情况下，一个缓冲区的大小和页面大小相同。

9、proxy_buffer_size
语法：proxy_buffer_size buffer_size;
代理缓冲区，该指令用于保存用用户的头部信息。

10、proxy_busy_buffers_size
语法：proxy_busy_buffers_size size;
用于当系统负载较大，缓冲区不够用时，可以申请更大的proxy_buffers

11、proxy_temp_file_write_size
语法：proxy_temp_file_write_size size;
用于指定缓存临时文件的大小

[2]nginx日志中记录cookie信息的配置参考

来源: 互联网发布时间: 2013-12-24

本节介绍，通过nginx日志记录cookie信息，以供数据分析人员进行有用信息获取的方法。

例1，

代码示例:

server {
listen80;
server_name www.;
set $aslibra_auth "";
if ( $http_cookie ~* "aslibra_auth=(.+)(?:;|$)" ){
set $aslibra_auth $1;
}

log_format main      '$proxy_add_x_forwarded_for - $remote_user [$time_local] '
    '"$request" $status $bytes_sent '
    '"$http_referer" "$http_user_agent" $aslibra_auth ';
access_log /Data/log/nginx-access.log main;

location / {
root /Data/webapps/www.aslibra.com/;
index index.html index.htm;
}

error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}

分割日志的脚本：

代码示例:

#!/bin/bash
log_dir="/Data/log"
time=`date +%Y%m%d`
/bin/mv ${log_dir}/nginx-access.log ${log_dir}/nginx-access.$time.log
kill -USR1 `cat /var/run/nginx.pid`

例2，
记录手机网站的cookie信息到access.log。
配置：

代码示例:

server
{
listen 80;
server_name 192.168.1.101;
#setting cookie log
#if ( $http_cookie ~* "wap_auth=(. )(?:;|$)" )
if ( $http_cookie ~* "(.*)$")
{
set $wap_cookie $1;
}
index index.php index.htm index.html;
add_header Load-Balancing $server_addr;
root /server/www/apps/wap_v2;
rewrite ^/css/(.*)$ /media/css/$1 last;
location /logs {
alias /data/nginx/logs/;
}
location ~* .*\.(php|html)?$
{
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}
location /nginx-status {
stub_status on;
allow 192.168.1.171;
deny all;
}
log_format wap_access '$remote_addr $host \
$server_addr [$time_local] "$request \
" ' '$status $body_bytes_sent \
"$http_referer" ' '"$http_user_agent\
" "$wap_cookie"';
access_log /data/nginx/logs/access_wap.log wap_access;
}

例3，

代码示例:

set $user_id "0";
#获取uuid
set $uuid "_";
if ( $http_cookie ~* "user_id=([0-9]*)" ){
set $user_id $1;
}

if ( $http_cookie ~* "_uuid=([A-Za-z0-9 ]*)" ){
set $uuid $1;
}
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" $user_id "$uuid" ';

[3]nginx实现url重写-rewrite实例参考

来源: 互联网发布时间: 2013-12-24

nginx 的 rewrite 语法

语法: rewrite regex replacement flag
默认: none
作用域: server, location, if
此指令根据表达式来更改URI，或修改字符串。
指令根据配置文件中的顺序来执行。

注意：
重写表达式只对相对路径有效。如果想配对主机名，应该使用if语句。
rewrite只是会改写路径部分的东东，不会改动用户的输入参数，因此这里的if规则里面，你无需关心用户在浏览器里输入的参数，rewrite后会自动添加的，因此，只是加上了一个？号和后面我们想要的一个小小的参数 ***https=1就可以了。

nginx的rewrite规则参考：

~ 为区分大小写匹配
~* 为不区分大小写匹配
!~和!~*分别为区分大小写不匹配及不区分大小写不匹
-f和!-f用来判断是否存在文件
-d和!-d用来判断是否存在目录
-e和!-e用来判断是否存在文件或目录
-x和!-x用来判断文件是否可执行
last 相当于Apache里的[L]标记，表示完成rewrite，呵呵这应该是最常用的
break 终止匹配, 不再匹配后面的规则
redirect 返回302临时重定向地址栏会显示跳转后的地址
permanent 返回301永久重定向地址栏会显示跳转后的地址
$args
$content_length
$content_type
$document_root
$document_uri
$host
$http_user_agent
$http_cookie
$limit_rate
$request_body_file
$request_method
$remote_addr
$remote_port
$remote_user
$request_filename
$request_uri
$query_string
$scheme
$server_protocol
$server_addr
$server_name
$server_port
$uri

结合QeePHP的例子：

代码示例:

if (!-d $request_filename) {
rewrite ^/([a-z-A-Z]+)/([a-z-A-Z]+)/?(.*)$ /index.php?namespace=user&controller=$1&action=$2&$3 last;
rewrite ^/([a-z-A-Z]+)/?$ /index.php?namespace=user&controller=$1 last;
break;

多目录转成参数

代码示例:

abc.domian.com/sort/2 => abc.domian.com/index.php?act=sort&name=abc&id=2
if ($host ~* (.*)\.domain\.com) {
set $sub_name $1;
rewrite ^/sort\/(\d+)\/?$ /index.php?act=sort&cid=$sub_name&id=$1 last;
}

目录对换

代码示例:

/123456/xxxx -> /xxxx?id=123456
rewrite ^/(\d+)/(.+)/ /$2?id=$1 last;

例如下面设定nginx在用户使用ie的使用重定向到/nginx-ie目录下：

代码示例:

if ($http_user_agent ~ MSIE) {
rewrite ^(.*)$ /nginx-ie/$1 break;
}

目录自动加“/”

代码示例:

if (-d $request_filename){
rewrite ^/(.*)([^/])$ http://$host/$1$2/ permanent;
}

禁止htaccess

代码示例:

location ~/\.ht {
deny all;
}

禁止多个目录

代码示例:

location ~ ^/(cron|templates)/ {
deny all;
break;
}

禁止以/data开头的文件
可以禁止/data/下多级目录下.log.txt等请求;

代码示例:

location ~ ^/data {
deny all;
}

禁止单个目录
不能禁止.log.txt能请求

代码示例:

location /searchword/cron/ {
deny all;
}

禁止单个文件

代码示例:

location ~ /data/sql/data.sql {
deny all;
}

给favicon.ico和robots.txt设置过期时间;
这里为favicon.ico为99天,robots.txt为7天并不记录404错误日志

代码示例:

location ~(favicon.ico) {
log_not_found off;
expires 99d;
break;
}

location ~(robots.txt) {
log_not_found off;
expires 7d;
break;
}

设定某个文件的过期时间;这里为600秒，并不记录访问日志

代码示例:

location ^~ /html/scripts/loadhead_1.js {
access_log off;
root /opt/lampp/htdocs/web;
expires 600;
break;
}

文件反盗链并设置过期时间
这里的return 412 为自定义的http状态码，默认为403，方便找出正确的盗链的请求
“rewrite ^/ http://www./leech.gif;”显示一张防盗链图片
“access_log off;”不记录访问日志，减轻压力
“expires 3d”所有文件3天的浏览器缓存

代码示例:

location ~* ^.+\.(jpg|jpeg|gif|png|swf|rar|zip|css|js)$ {
valid_referers none blocked *.c1gstudio.com *.c1gstudio.net localhost 208.97.167.194;
if ($invalid_referer) {
rewrite ^/ http://www./leech.gif;
return 412;
break;
}
access_log off;
root /opt/lampp/htdocs/web;
expires 3d;
break;
}

只充许固定ip访问网站，并加上密码

代码示例:

root /opt/htdocs/www;
allow   208.97.167.194;
allow   222.33.1.2;
allow   231.152.49.4;
deny    all;
auth_basic “C1G_ADMIN”;
auth_basic_user_file htpasswd;

将多级目录下的文件转成一个文件，增强seo效果

代码示例:

/job-123-456-789.html 指向/job/123/456/789.html
rewrite ^/job-([0-9]+)-([0-9]+)-([0-9]+)\.html$ /job/$1/$2/jobshow_$3.html last;

将根目录下某个文件夹指向2级目录
如/shanghaijob/ 指向 /area/shanghai/
如果你将last改成permanent，那么浏览器地址栏显是/location/shanghai/

代码示例:

rewrite ^/([0-9a-z]+)job/(.*)$ /area/$1/$2 last;

上面例子有个问题是访问/shanghai 时将不会匹配

代码示例:

rewrite ^/([0-9a-z]+)job$ /area/$1/ last;
rewrite ^/([0-9a-z]+)job/(.*)$ /area/$1/$2 last;

这样/shanghai 也可以访问了，但页面中的相对链接无法使用，
如./list_1.html真实地址是/area/shanghia/list_1.html会变成/list_1.html,导至无法访问。
那我加上自动跳转也是不行咯
(-d $request_filename)它有个条件是必需为真实目录，而我的rewrite不是的，所以没有效果

代码示例:

if (-d $request_filename){
rewrite ^/(.*)([^/])$ http://$host/$1$2/ permanent;
}

知道原因后就好办了，手动跳转：

代码示例:

rewrite ^/([0-9a-z]+)job$ /$1job/ permanent;
rewrite ^/([0-9a-z]+)job/(.*)$ /area/$1/$2 last;

文件和目录不存在的时候重定向：

代码示例:

if (!-e $request_filename) {
proxy_pass http://127.0.0.1;
}

域名跳转

代码示例:

server
{
listen 80;
server_name jump.;
index index.html index.htm index.php;
root /opt/lampp/htdocs/www;
rewrite ^/ http://www./;
access_log off;
}

多域名转向

代码示例:

server_name www./ www./;
index index.html index.htm index.php;
root /opt/lampp/htdocs;
if ($host ~ “c1gstudio\.net”) {
rewrite ^(.*) http://www.$1/ permanent;
}

三级域名跳转

代码示例:

if ($http_host ~* “^(.*)\.i\.c1gstudio\.com$”) {
rewrite ^(.*) http://top.$1/;
break;
}

域名镜向

代码示例:

server
{
listen 80;
server_name mirror.c1gstudio.com;
index index.html index.htm index.php;
root /opt/lampp/htdocs/www;
rewrite ^/(.*) http://www./$1 last;
access_log off;
}

某个子目录作镜向

代码示例:

location ^~ /zhaopinhui {
rewrite ^.+ http://zph./ last;
break;
}
discuz ucenter home (uchome) rewrite
rewrite ^/(space|network)-(.+)\.html$ /$1.php?rewrite=$2 last;
rewrite ^/(space|network)\.html$ /$1.php last;
rewrite ^/([0-9]+)$ /space.php?uid=$1 last;
discuz 7 rewrite
rewrite ^(.*)/archiver/((fid|tid)-[\w\-]+\.html)$ $1/archiver/index.php?$2 last;
rewrite ^(.*)/forum-([0-9]+)-([0-9]+)\.html$ $1/forumdisplay.php?fid=$2&page=$3 last;
rewrite ^(.*)/thread-([0-9]+)-([0-9]+)-([0-9]+)\.html$ $1/viewthread.php?tid=$2&extra=page\%3D$4&page=$3 last;
rewrite ^(.*)/profile-(username|uid)-(.+)\.html$ $1/viewpro.php?$2=$3 last;
rewrite ^(.*)/space-(username|uid)-(.+)\.html$ $1/space.php?$2=$3 last;
rewrite ^(.*)/tag-(.+)\.html$ $1/tag.php?name=$2 last;

给discuz某版块单独配置域名

代码示例:

server_name bbs.c1gstudio.com news.c1gstudio.com;

location = / {
if ($http_host ~ news\.$) {
rewrite ^.+ http://news./forum-831-1.html last;
break;
}
}

discuz ucenter 头像 rewrite 优化

代码示例:

location ^~ /ucenter {
location ~ .*\.php?$
{
#fastcgi_pass unix:/tmp/php-cgi.sock;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}

location /ucenter/data/avatar {
log_not_found off;
access_log off;
location ~ /(.*)_big\.jpg$ {
error_page 404 /ucenter/images/noavatar_big.gif;
}
location ~ /(.*)_middle\.jpg$ {
error_page 404 /ucenter/images/noavatar_middle.gif;
}
location ~ /(.*)_small\.jpg$ {
error_page 404 /ucenter/images/noavatar_small.gif;
}
expires 300;
break;
}
}
jspace rewrite
location ~ .*\.php?$
{
#fastcgi_pass unix:/tmp/php-cgi.sock;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}

location ~* ^/index.php/
{
rewrite ^/index.php/(.*) /index.php?$1 break;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}

您可能感兴趣的文章：
nginx rewrite(nginx url地址重写)的配置示例
nginx中一些常用的 URL 重写方法
nginx配置url重写及自定义404错误页面等
Nginx常用的 URL 重写方法
超详细的 NGINX URL重写实例讲解