nginx+awstats 统计web服务器log的...-nginx对目录进行认证-nginx中配置404错误页面的教程

当前位置: 操作系统/服务器>linux

本页文章导读:

▪nginx+awstats 统计web服务器log的教程默认编译安装的nginx对cgi的支持并不好(所以在编译的时候一般都没打开这个功能) google了一把。大家都用fastcgi来支持。http://wiki.codemongers.com/NginxSimpleCGI 很多人懒得看英文，我就翻译一下吧。.........

▪nginx对目录进行认证整理下nginx下为目录增加用户认证的配置：nginx的auth_basic认证采用与apache兼容的密码文件，因此我们需要通过apache的htpasswd生成密码文件。找到htpasswd文件地址。找到htpasswd文件后，我们来创.........

▪nginx中配置404错误页面的教程什么是404页面如果网站出了问题，或者用户试图访问一个并不存在的页面时，此时服务器会返回代码为404的错误信息，此时对应页面就是404页面。 404页面的默认内容和具体的服务器有关。.........

[1]nginx+awstats 统计web服务器log的教程

来源: 互联网发布时间: 2013-12-24

默认编译安装的nginx对cgi的支持并不好(所以在编译的时候一般都没打开这个功能)
google了一把。大家都用fastcgi来支持。http://wiki.codemongers.com/NginxSimpleCGI
很多人懒得看英文，我就翻译一下吧。
如果你没有cgi的文件，可以自己建立一个简单的。
只需要如下三行代码就可以了。

代码如下:

#vi index.cgi
#!/usr/bin/perl

print "Content-type: text/html\n\n";
print "<html><body>Hello, world.</body></html>";

放到web根目录下的cgi-bin目录里面，记得要给它执行权限
接下来是用perl写一个daemon程序来处理cgi文件，幸运的是源代码已经有了。嘿嘿

代码如下:

#vi cgiwrap-fcgi.pl

#!/usr/bin/perl -w
use FCGI;
use Socket;
use FCGI::ProcManager;
sub shutdown { FCGI::CloseSocket($socket); exit; }
sub restart { FCGI::CloseSocket($socket); &main; }
use sigtrap 'handler', \&shutdown, 'normal-signals';
use sigtrap 'handler', \&restart, 'HUP';
require 'syscall.ph';
use POSIX qw(setsid);

#&daemonize; we don't daemonize when running under runsv
#this keeps the program alive or something after exec'ing perl scripts
END()   { }
BEGIN() { }
{
    no warnings;
    *CORE::GLOBAL::exit = sub { die "fakeexit\nrc=" . shift() . "\n"; };
};
eval q{exit};
if ($@) {
    exit unless $@ =~ /^fakeexit/;
}
&main;

sub daemonize() {
    chdir '/' or die "Can't chdir to /: $!";
    defined( my $pid = fork ) or die "Can't fork: $!";
    exit if $pid;
    setsid() or die "Can't start a new session: $!";
    umask 0;
}

sub main {

#$socket = FCGI::OpenSocket( "127.0.0.1:8999", 10 ); #use IP sockets
#$socket = FCGI::OpenSocket( "/var/run/nginx/perl_cgi-dispatch.sock", 10 ); #use UNIX sockets - user running this script must have w access to the 'nginx' folder!!
#foreach $item (keys %ENV) { delete $ENV{$item}; }
    $proc_manager = FCGI::ProcManager->new( {n_processes => 5} );
    $socket = FCGI::OpenSocket( "/opt/nginx/fcgi/cgi.sock", 10 )
        ; #use UNIX sockets - user running this script must have w access to the 'nginx' folder!!
    $request =
        FCGI::Request( \*STDIN, \*STDOUT, \*STDERR, \%req_params, $socket,
        &FCGI::FAIL_ACCEPT_ON_INTR );
    $proc_manager->pm_manage();
    if ($request) { request_loop() }
    FCGI::CloseSocket($socket);
}

sub request_loop {
while ( $request->Accept() >= 0 ) {
$proc_manager->pm_pre_dispatch();

        #processing any STDIN input from WebServer (for CGI-POST actions)
        $stdin_passthrough = '';
        { no warnings; $req_len = 0 + $req_params{'CONTENT_LENGTH'}; };
        if ( ( $req_params{'REQUEST_METHOD'} eq 'POST' ) && ( $req_len != 0 ) )
        {
            my $bytes_read = 0;
            while ( $bytes_read < $req_len ) {
                my $data = '';
                my $bytes = read( STDIN, $data, ( $req_len - $bytes_read ) );
                last if ( $bytes == 0 || !defined($bytes) );
                $stdin_passthrough .= $data;
                $bytes_read += $bytes;
            }
        }

        #running the cgi app
        if (
            ( -x $req_params{SCRIPT_FILENAME} ) &&    #can I execute this?
            ( -s $req_params{SCRIPT_FILENAME} ) &&    #Is this file empty?
            ( -r $req_params{SCRIPT_FILENAME} )       #can I read this file?
            )
        {
            pipe( CHILD_RD,   PARENT_WR );
            pipe( PARENT_ERR, CHILD_ERR );
            my $pid = open( CHILD_O, "-|" );
            unless ( defined($pid) ) {
                print("Content-type: text/plain\r\n\r\n");
                print
"Error: CGI app returned no output - Executing $req_params{SCRIPT_FILENAME} failed !\n";
                next;
            }
            $oldfh = select(PARENT_ERR);
            $|     = 1;
            select(CHILD_O);
            $| = 1;
            select($oldfh);
            if ( $pid > 0 ) {
                close(CHILD_RD);
                close(CHILD_ERR);
                print PARENT_WR $stdin_passthrough;
                close(PARENT_WR);
                $rin = $rout = $ein = $eout = '';
                vec( $rin, fileno(CHILD_O),    1 ) = 1;
                vec( $rin, fileno(PARENT_ERR), 1 ) = 1;
                $ein    = $rin;
                $nfound = 0;

                while ( $nfound =
                    select( $rout = $rin, undef, $ein = $eout, 10 ) )
                {
                    die "$!" unless $nfound != -1;
                    $r1 = vec( $rout, fileno(PARENT_ERR), 1 ) == 1;
                    $r2 = vec( $rout, fileno(CHILD_O),    1 ) == 1;
                    $e1 = vec( $eout, fileno(PARENT_ERR), 1 ) == 1;
                    $e2 = vec( $eout, fileno(CHILD_O),    1 ) == 1;

                    if ($r1) {
                        while ( $bytes = read( PARENT_ERR, $errbytes, 4096 ) ) {
                            print STDERR $errbytes;
                        }
                        if ($!) {
                            $err = $!;
                            die $!;
                            vec( $rin, fileno(PARENT_ERR), 1 ) = 0
                                unless ( $err == EINTR or $err == EAGAIN );
                        }
                    }
                    if ($r2) {
                        while ( $bytes = read( CHILD_O, $s, 4096 ) ) {
                            print $s;
                        }
                        if ( !defined($bytes) ) {
                            $err = $!;
                            die $!;
                            vec( $rin, fileno(CHILD_O), 1 ) = 0
                                unless ( $err == EINTR or $err == EAGAIN );
                        }
                    }
                    last if ( $e1 || $e2 );
                }
                close CHILD_RD;
                close PARENT_ERR;
                waitpid( $pid, 0 );
            } else {
                foreach $key ( keys %req_params ) {
                    $ENV{$key} = $req_params{$key};
                }

                # cd to the script's local directory
                if ( $req_params{SCRIPT_FILENAME} =~ /^(.*)\/[^\/]+$/ ) {
                    chdir $1;
                }
                close(PARENT_WR);

                #close(PARENT_ERR);
                close(STDIN);
                close(STDERR);

                #fcntl(CHILD_RD, F_DUPFD, 0);
                syscall( &SYS_dup2, fileno(CHILD_RD), 0 );
                syscall( &SYS_dup2, fileno(CHILD_ERR), 2 );

                #open(STDIN, "<&CHILD_RD");
                exec( $req_params{SCRIPT_FILENAME} );
                die("exec failed");
            }
        } else {
            print("Content-type: text/plain\r\n\r\n");
            print
"Error: No such CGI app - $req_params{SCRIPT_FILENAME} may not exist or is not executable by this process.\n";
        }
    }
}

这个文件只需要修改一个地方/opt/nginx/fcgi/cgi.sock，改到你想放的地方，比如/var/run/fcgi.sock 注意要有权限，以便nginix可以正常访问它，如果不知道怎么配置权限
就chmod 777 好了（汗，一个很烂的习惯），正确的做法是将该文件的属主和数组设为nginx的运行用户，
比如nginx用nobody用户运行，则 chown nobody:nobody /var/run/cgi.sock 注意，上层目录也要有执行权限，这样才能访问这个unix socket（访问不到目录，自然不能访问文件了）
这些都做好以后可以启动这个文件了，
#chmod 755 cgiwrap-fcgi.pl
#./cgiwrap-fcgi.pl &
再后台运行。不过这该死的程序居然在终端打印日志，一会调试成功了，可以用
./cgiwrap-fcgi.pl >/dev/null 2>&1 &
这样世界就清净了
如果想保留日志，自己改perl代码吧，不是很难，加上输出文件句柄就可以了。保存到文件中。嘿嘿。
接下来就修改nginx.conf

代码如下:

location ~ ^/cgi-bin/.*\.cgi$ {
        gzip off; #gzip makes scripts feel slower since they have to complete before getting gzipped
        fastcgi_pass unix:/var/run/nginx/cgi.sock;
        fastcgi_index index.cgi;
        fastcgi_param SCRIPT_FILENAME /var/www/cgi-bin$fastcgi_script_name;
        fastcgi_param QUERY_STRING     $query_string;
        fastcgi_param REQUEST_METHOD   $request_method;
        fastcgi_param CONTENT_TYPE     $content_type;
        fastcgi_param CONTENT_LENGTH   $content_length;
        fastcgi_param GATEWAY_INTERFACE CGI/1.1;
        fastcgi_param SERVER_SOFTWARE    nginx;
        fastcgi_param SCRIPT_NAME        $fastcgi_script_name;
        fastcgi_param REQUEST_URI        $request_uri;
        fastcgi_param DOCUMENT_URI       $document_uri;
        fastcgi_param DOCUMENT_ROOT      $document_root;
        fastcgi_param SERVER_PROTOCOL    $server_protocol;
        fastcgi_param REMOTE_ADDR        $remote_addr;
        fastcgi_param REMOTE_PORT        $remote_port;
        fastcgi_param SERVER_ADDR        $server_addr;
        fastcgi_param SERVER_PORT        $server_port;
        fastcgi_param SERVER_NAME        $server_name;

下面这么多其实可以用一个文件来包含起来，不用这么多，看的心乱

代码如下:

ok,接下来重启nginx
kill -HUP `cat /usr/local/nginx/nginx.pid`
然后我们访问刚才的那个cgi文件，[url]http://XXXXXXXXXX/cgi-bin/index.cgi[/url] 如果看到hello world ，就说明成功了。嘿嘿，就这么简单。

awstats默认的配置中只有IIS和apache的LOG格式，需要我们自定义一下
在/etc/awstats/awstats.mysite.conf里设置log格式如下(默认值是1):
LogFormat="%host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot %otherquot"

在nginx中也配置好log格式
log_format wwwlogs '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $http_x_forwarded_for';
access_log /var/log/nginx/blog_log.log wwwlogs;

再设置log的轮转

3)新建一个日志回滚,vi /etc/logrotate.d/nginx (路径根据操作系统不同而变化)
内容如下:

代码如下:

/var/log/nginx {
daily
missingok
rotate 7
compress
delaycompress notifempty
create 644 nginx root sharedscripts
prerotate
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl --config=www.mysite.com -update
endscript
postrotate
if [ -f /usr/local/nginx/nginx.pid ]; then
kill -USR1 `cat /usr/local/nginx/nginx.pid`
fi
endscript
}

[2]nginx对目录进行认证

来源: 互联网发布时间: 2013-12-24

整理下nginx下为目录增加用户认证的配置：nginx的auth_basic认证采用与apache兼容的密码文件，因此我们需要通过apache的htpasswd生成密码文件。
找到htpasswd文件地址。

找到htpasswd文件后，我们来创建一个用户，比如这个用户叫：test
/usr/bin/htpasswd –c /usr/local/ngnix/conf/authdb test

上面的命令在nginx的配置文件目录创建了用户为test的authdb密码文件，当然你也可以创建的在其他地方，此处nginx配置文件使用比较方便。

接着修改nginx的配置文件，在某个需要加auth_basic的server配置下添加如下内容

代码如下:

location /admin/ {
auth_basic "Test Auth!";
auth_basic_user_file /usr/local/ngnix/conf/authdb;
}

最后让nginx使用最新的配置：
/usr/local/ngnix/sbin/nginx -s reload

补充一下，如果你使用了集群环境，那么还需要加Proxy_Pass:

代码如下:

location /admin/ {
proxy_pass http://test.com/test/;
auth_basic "Test Auth!";
auth_basic_user_file /usr/local/ngnix/conf/authdb;
}

如果想限制某一个目录的话需要如下配置：

代码如下:

location ^~ /test/ {
auth_basic "TEST-Login!";
auth_basic_user_file /opt/nginxpwd;
}

如果不用 ^~ /test/ 而用 /test 的话那么将只能对目录进行验证直接访问其下的文件，将不会弹出登录验证

最后nginx.conf文件如下:

代码如下:

user www www;
worker_processes 1;
pid/var/run/nginx.pid;
events {
worker_connections 200;
}
http {
include   mime.types;
default_type application/octet-stream;
sendfileon;
keepalive_timeout 65;
server {
listen   8080;
server_name localhost;
charset gb2312;
location / {
fancyindex on;
fancyindex_exact_size off;
root   /data/file;
index index.html index.htm;
}
error_page   500 502 503 504 /50x.html;
location = /50x.html {
root   /data/nginx-dist;
}
location /NginxStatus {
stub_status on;
access_log on;
auth_basic "NginxStatus";
auth_basic_user_file /data/passwds;
}
location ^~ /test1/ {
auth_basic "Please input your Passwords!";
auth_basic_user_file /data/passwds;
fancyindex on;
fancyindex_exact_size off;
root   /data/file;
index index.html index.htm;
}

location ^~ /test/ {
auth_basic "Please input your Passwords!";
auth_basic_user_file /data/passwds;
fancyindex on;
fancyindex_exact_size off;
root   /data/file;
index index.html index.htm;
}
}
}

[3]nginx中配置404错误页面的教程

来源: 互联网发布时间: 2013-12-24

什么是404页面
如果网站出了问题，或者用户试图访问一个并不存在的页面时，此时服务器会返回代码为404的错误信息，此时对应页面就是404页面。
404页面的默认内容和具体的服务器有关。如果后台用的是NGINX服务器，那么404页面的内容则可能为：
404 Not Found
nginx/0.8.6

为什么要自定义404页面
在访问时遇到上面这样的404错误页面，我想99%（未经调查，估计数据）的用户会把页面关掉，用户就这样悄悄的流失了。如果此时能有一个漂亮的页面能够引导用户去他想去的地方必然可以留住用户。因此，每一个网站都应该自定义自己的404页面。

NGINX下如何自定义404页面
IIS和APACHE下自定义404页面的经验介绍文章已经非常多了，NGINX的目前还比较少，凑巧我的几台服务器都是NGINX的，为了解决自家的问题特地对此作了深入的研究。研究结果表明，NGINX下配置自定义的404页面是可行的，而且很简单，只需如下几步：

1.创建自己的404.html页面

2.更改nginx.conf在http定义区域加入：
fastcgi_intercept_errors on;

3.更改nginx.conf在server 区域加入：
error_page 404 = /404.html

4.测试nginx.conf正确性：
/opt/nginx/sbin/nginx –t

如果正确应该显示如下信息：
the configuration file /opt/nginx/conf/nginx.conf syntax is ok
configuration file /opt/nginx/conf/nginx.conf test is successful
kill -HUP `cat /opt/nginx/nginx.pid `

配置文件实例：

代码如下:

……
http
{
include mime.types;
default_type application/octet-stream;

charset gb2312;
server_names_hash_bucket_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
client_max_body_size 8m;
sendfile on;
tcp_nopush on;

keepalive_timeout 60;

tcp_nodelay on;

fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
fastcgi_buffer_size 64k;
fastcgi_buffers 4 64k;
fastcgi_busy_buffers_size 128k;
fastcgi_temp_file_write_size 128k;
fastcgi_intercept_errors on;

gzip on;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_http_version 1.0;
gzip_comp_level 2;
gzip_types text/plain application/x-javascript text/css application/xml;
gzip_vary on;

#limit_zone crawler $binary_remote_addr 10m;

#65的配置信息
server
{
   listen       80;
   server_name www.65.la 65.la *.65.la;
   index index.html index.htm index.php;
   root /opt/www/65;
   location ~ .*\.(php|php5)?$
   {
     #fastcgi_pass unix:/tmp/php-cgi.sock;
     fastcgi_pass 127.0.0.1:9000;
     fastcgi_index index.php;
     include fcgi.conf;
   }
   error_page 404 = /404.html;

#502 等错误可以用同样的方法来配置。
   error_page   500 502 503 504 = /50x.html;
   ocation = /50x.html {
            root   html;
        }
   log_format 65 ‘$remote_addr – $remote_user [$time_local] "$request" ‘
              ‘$status $body_bytes_sent "$http_referer" ‘
              ‘"$http_user_agent" $http_x_forwarded_for’;
   access_log /opt/nginx/logs/65.log 65;
}

注意事项：
1.必须要添加：fastcgi_intercept_errors on; 如果这个选项没有设置，即使创建了404.html和配置了error_page也没有效果。
fastcgi_intercept_errors 语法: fastcgi_intercept_errors on|off 默认: fastcgi_intercept_errors off 添加位置: http, server, location 默认情况下，nginx不支持自定义404错误页面，只有这个指令被设置为on，nginx才支持将404错误重定向。这里需要注意的是，并不是说设置了 fastcgi_intercept_errors on，nginx就会将404错误重定向。在nginx中404错误重定向生效的前提是设置了fastcgi_intercept_errors on,并且正确的设置了error_page这个选项（包括语法和对应的404页面)

2.不要出于省事或者提高首页权重的目的将首页指定为404错误页面，也不要用其它方法跳转到首页。

3.自定义的404页面必须大于512字节，否则可能会出现IE默认的404页面。例如，假设自定义了404.html,大小只有11个字节（内容为：404错误）。用如下两个不存在的地址去访问：
问一个问题，创建的404页面放在哪儿呢？
我还没去尝试

@5169.info
放在哪里都可以，注意改下这行配置就可以了
error_page 404 = /404.html;

也就是说，每个子站都复制一份404文件，可不可以这样
error_page 404 = ../404.html;
只做一套 404放在htdocs下面
本文目前尚无任何 trackbacks 和 pingbacks.
注意: 评论者允许使用'@user:'的方式将自己的评论通知另外评论者。
例如， ABC是本文的评论者之一，则使用'@ABC:'(不包括单引号)将会自动将您的评论发送给ABC。
user必须和评论者名相匹配,区分大小写。