Linux Nginx構建反向代理緩存服務器

2018-07-31 14:44 更新

防偽碼：曾經(jīng)滄海難為水，除卻巫山不是云。

代理服務可簡單的分為正向代理和反向代理:

正向代理: 用于代理內部網(wǎng)絡對Internet的連接請求(如VPN/NAT),客戶端指定代理服務器,并將本來要直接發(fā)送給目標Web服務器的HTTP請求先發(fā)送到代理服務器上,然后由代理服務器去訪問Web服務器, 并將Web服務器的Response回傳給客戶端: 

反向代理: 與正向代理相反,如果局域網(wǎng)向Internet提供資源,并讓Internet上的其他用戶可以訪問局域網(wǎng)內資源, 也可以設置一個代理服務器, 它提供的服務就是反向代理. 反向代理服務器接受來自Internet的連接,然后將請求轉發(fā)給內部網(wǎng)絡上的服務器,并將Response回傳給Internet上請求連接的客戶端: 

一、nginx反向代理：Web服務器的調度器

1、反向代理（Reverse Proxy）方式是指以代理服務器來接受客戶端的連接請求，然后將請求轉發(fā)給網(wǎng)絡上的web服務器（可能是apache、nginx、tomcat、iis等），并將從web服務器上得到的結果返回給請求連接的客戶端，此時代理服務器對外就表現(xiàn)為一個服務器。

從上圖可以看出：反向代理服務器代理網(wǎng)站Web服務器接收Http請求，對請求進行轉發(fā)。而且nginx作為反向代理服務器可以根據(jù)用戶請求的內容把請求轉發(fā)給后端不同的web服務器，例如靜動分離，再例如在nginx上創(chuàng)建多個虛擬主機，這樣就成功的做到了在瀏覽器中輸入不同域名（url）的時候訪問后端的不同web服務器或web群集。

 

2、反向代理的作用

①保護網(wǎng)站安全：任何來自Internet的請求都必須先經(jīng)過代理服務器；

②通過配置緩存功能加速Web請求：可以緩存真實Web服務器上的某些靜態(tài)資源，減輕真實Web服務器的負載壓力；

③實現(xiàn)負載均衡：充當負載均衡服務器均衡地分發(fā)請求，平衡集群中各個服務器的負載壓力；

二、什么是nginx

1、nginx簡介

Nginx是一款輕量級的網(wǎng)頁服務器、反向代理器以及電子郵件代理服務器。因它的穩(wěn)定性、豐富的功能集、示例配置文件和低系統(tǒng)資源的消耗而聞名。Nginx（發(fā)音同engine x），它是由俄羅斯程序員Igor Sysoev所開發(fā)的。起初是供俄國大型的門戶網(wǎng)站及搜索引擎Rambler（俄語：Рамблер）使用。此軟件BSD-like協(xié)議下發(fā)行，可以在UNIX、GNU/Linux、BSD、Mac OS X、Solaris，以及Microsoft Windows等操作系統(tǒng)中運行。

Nginx的應用現(xiàn)狀

Nginx 已經(jīng)在俄羅斯最大的門戶網(wǎng)站── Rambler Media（www.rambler.ru）上運行，同時俄羅斯超過20%的虛擬主機平臺采用Nginx作為反向代理服務器。

在國內，已經(jīng)有淘寶、新浪博客、新浪播客、網(wǎng)易新聞、六間房、56.com、Discuz!、水木社區(qū)、豆瓣、YUPOO、海內、迅雷在線等多家網(wǎng)站使用 Nginx 作為Web服務器或反向代理服務器。

2、Nginx的核心特點

（1）跨平臺：Nginx 可以在大多數(shù)OS編譯運行，而且也有Windows的版本；

（2）配置異常簡單：非常容易上手。

（3）非阻塞、高并發(fā)連接：官方測試能夠支撐5萬并發(fā)連接，在實際生產環(huán)境中跑到2～3萬并發(fā)連接數(shù)。（這得益于Nginx使用了最新的epoll模型）；

注：

對于一個Web服務器來說，首先看一個請求的基本過程：建立連接—接收數(shù)據(jù)—發(fā)送數(shù)據(jù)，在系統(tǒng)底層看來：上述過程（建立連接—接收數(shù)據(jù)—發(fā)送數(shù)據(jù)）在系統(tǒng)底層就是讀寫事件。

 

如果采用阻塞調用的方式，當讀寫事件沒有準備好時，那么就只能等待，當前線程被掛起，等事件準備好了，才能進行讀寫事件。

如果采用非阻塞調用的方式：事件馬上返回，告訴你事件還沒準備好呢，過會再來吧。過一會，再來檢查一下事件，直到事件準備好了為止，在這期間，你就可以先去做其它事情，然后再來看看事件好了沒。雖然不阻塞了，但你得不時地過來檢查一下事件的狀態(tài)，你可以做更多的事情了，但帶來的開銷也是不小的。非阻塞調用指在不能立刻得到結果之前，該調用不會阻塞當前線程

（4）事件驅動：通信機制采用epoll模型，支持更大的并發(fā)連接。

非阻塞通過不斷檢查事件的狀態(tài)來判斷是否進行讀寫操作，這樣帶來的開銷很大，因此就有了異步非阻塞的事件處理機制。這種機制讓你可以同時監(jiān)控多個事件，調用他們是非阻塞的，但可以設置超時時間，在超時時間之內，如果有事件準備好了，就返回。這種機制解決了上面阻塞調用與非阻塞調用的兩個問題。

以epoll模型為例：當事件沒有準備好時，就放入epoll(隊列)里面。如果有事件準備好了，那么就去處理；當事件沒有準備好時，才在 epoll里面等著。這樣，我們就可以并發(fā)處理大量的并發(fā)了，當然，這里的并發(fā)請求，是指未處理完的請求。線程只有一個，所以同時能處理的請求當然只有一個了，只是在請求之間進行不斷地切換而已，切換也是因為異步事件未準備好，而主動讓出的。這里的切換是沒有任何代價，你可以理解為循環(huán)處理多個準備好的事件。

多線程方式相比，這種事件處理方式是有很大的優(yōu)勢的，不需要創(chuàng)建線程，每個請求占用的內存也很少，沒有上下文切換，事件處理非常的輕量級，并發(fā)數(shù)再多也不會導致無謂的資源浪費（上下文切換）。對于apache服務器，每個請求會獨占一個工作線程，當并發(fā)數(shù)上到幾千時，就同時有幾千的線程在處理請求了。這對操作系統(tǒng)來說，是個不小的挑戰(zhàn)：因為線程帶來的內存占用非常大，線程的上下文切換帶來的cpu開銷很大，自然性能就上不去，從而導致在高并發(fā)場景下性能下降嚴重。

總結：通過異步非阻塞的事件處理機制，Nginx實現(xiàn)由進程循環(huán)處理多個準備好的事件，從而實現(xiàn)高并發(fā)和輕量級。

（5）Master/Worker結構：一個master進程，生成一個或多個worker進程。

注：Master-Worker設計模式主要包含兩個主要組件Master和Worker，Master維護著Worker隊列，將請求下發(fā)到多個Worker并行執(zhí)行，Worker主要進行實際邏輯計算，并將結果返回給Master。

nginx采用這種進程模型有什么好處？采用獨立的進程，可以讓互相之間不會影響，一個進程退出后，其它進程還在工作，服務不會中斷，Master 進程則很快重新啟動新的Worker進程。當然，Worker進程的異常退出，肯定是程序有bug了，異常退出，會導致當前Worker上的所有請求失敗，不過不會影響到所有請求，所以降低了風險。

（6）內存消耗小：處理大并發(fā)的請求內存消耗非常小。在3萬并發(fā)連接下，開啟的10個Nginx 進程才消耗150M內存（15M*10=150M）。

（7）內置的健康檢查功能：如果 Nginx 代理的后端的某臺 Web 服務器宕機了，不會影響前端訪問。

（8）節(jié)省帶寬：支持 GZIP 壓縮，可以添加瀏覽器本地緩存的 Header 頭。

（9）穩(wěn)定性高：用于反向代理，宕機的概率微乎其微。

三、Nginx+apache構筑Web服務器集群的負載均衡

nginx配置反向代理

配置nginx作為反向代理和負載均衡，同時利用其緩存功能，將靜態(tài)頁面在nginx緩存，以達到降低后端服務器連接數(shù)的目的并檢查后端web服務器的健康狀況。

 

1、安裝nginx

環(huán)境：

1
2
3
4
OS:centos7.2
nginx：192.168.31.83
apache1:192.168.31.141
apache2:192.168.31.250

安裝zlib-devel、pcre-devel等依賴包

1
[root@www ~]# yum -y install gcc gcc-c++make libtool zlib zlib-devel pcre pcre-devel openssl openssl-devel

注：

結合proxy和upstream模塊實現(xiàn)后端web負載均衡

使用proxy模塊實現(xiàn)靜態(tài)文件緩存

結合nginx默認自帶的 ngx_http_proxy_module 模塊 和ngx_http_upstream_module模塊實現(xiàn)后端服務器的健康檢查，也可以使用第三方模塊nginx_upstream_check_module

使用nginx-sticky-module擴展模塊實現(xiàn)Cookie會話黏貼（保持會話）

使用ngx_cache_purge實現(xiàn)更強大的緩存清除功能

上面提到的2個模塊都屬于第三方擴展模塊，需要提前下好源碼，然后編譯時通過--add-moudle=src_path一起安裝。

安裝nginx

1
2
[root@www ~]# groupadd www    #添加www組
[root@www ~]# useradd -g www www -s/sbin/nologin    #創(chuàng)建nginx運行賬戶www并加入到www組，不允許www用戶直接登錄系統(tǒng)
1
2
3
4
5
6
#tar zxf nginx-1.10.2.tar.gz
#tar zxf ngx_cache_purge-2.3.tar.gz 
#tar zxf master.tar.gz
# cd nginx-1.10.2/
[root@www nginx-1.10.2]# ./configure--prefix=/usr/local/nginx1.10 --user=www --group=www--with-http_stub_status_module --with-http_realip_module --with-http_ssl_module--with-http_gzip_static_module--http-client-body-temp-path=/var/tmp/nginx/client--http-proxy-temp-path=/var/tmp/nginx/proxy --http-fastcgi-temp-path=/var/tmp/nginx/fcgi--with-pcre --add-module=../ngx_cache_purge-2.3 --with-http_flv_module --add-module=../nginx-goodies-nginx-sticky-module-ng-08a395c66e42
[root@www nginx-1.10.2]# make &&make install

注：nginx的所有模塊必須在編譯的時候添加，不能再運行的時候動態(tài)加載。

優(yōu)化nginx程序的執(zhí)行路徑

1
2
3
4
5
6
7
[root@www nginx-1.10.2]# ln -s/usr/local/nginx1.10/sbin/nginx /usr/local/sbin/
[root@www nginx-1.10.2]# nginx -t
[root@www nginx-1.10.2]# mkdir -p/var/tmp/nginx/client
[root@www nginx-1.10.2]# chown -Rwww:www /var/tmp/nginx/
[root@www nginx-1.10.2]# nginx -t
nginx: the configuration file/usr/local/nginx1.10/conf/nginx.conf syntax is ok
nginx: configuration file/usr/local/nginx1.10/conf/nginx.conf test is successful

2、編寫nginx服務腳本：

[root@www ~]# vi /etc/init.d/nginx  內容如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
#!/bin/bash
# chkconfig: 2345 99 20
# description: Nginx Service ControlScript
PROG="/usr/local/nginx1.10/sbin/nginx"
PIDF="/usr/local/nginx1.10/logs/nginx.pid"
case "$1" in
 start)
  netstat -anplt |grep ":80" &> /dev/null &&pgrep "nginx" &> /dev/null
  if [ $? -eq 0 ]
  then
    echo "Nginx service alreadyrunning."
  else
    $PROG -t &> /dev/null
    if [ $? -eq 0 ] ; then 
      $PROG
      echo "Nginx service start success."
    else
    $PROG -t
    fi
  fi
  ;;
 stop)
  netstat -anplt |grep ":80" &> /dev/null &&pgrep "nginx" &> /dev/null
  if [ $? -eq 0 ]
  then
   kill -s QUIT $(cat $PIDF)
   echo "Nginx service stop success." 
  else
   echo "Nginx service already stop"
  fi
  ;;
 restart)
   $0 stop
   $0 start
   ;;
 status)
  netstat -anplt |grep ":80" &> /dev/null &&pgrep "nginx" &> /dev/null
  if [ $? -eq 0 ]
  then
    echo "Nginx service is running."
  else
    echo "Nginx is stop."
  fi
 ;; 
 reload)
  netstat -anplt |grep ":80" &> /dev/null &&pgrep "nginx" &> /dev/null
  if [ $? -eq 0 ]
  then
   $PROG -t &> /dev/null
   if [ $? -eq 0 ] ; then
     kill -s HUP $(cat $PIDF)
     echo "reload Nginx config success."
   else
     $PROG -t
   fi
  else
   echo "Nginx service is not run." 
  fi 
   ;;
 *)
  echo "Usage: $0 {start|stop|restart|reload}"
  exit 1
esac
[root@www ~]# chmod +x /etc/init.d/nginx
[root@www ~]# chkconfig --add nginx
[root@www ~]# chkconfig nginx on
[root@www ~]# service  nginx start
Nginx service start success.
[root@www ~]# service  nginx status
Nginx service is running.
[root@www ~]# netstat -anpt | grep nginx
tcp        0     0 0.0.0.0:80             0.0.0.0:*               LISTEN      3977/nginx: master  
[root@www ~]# firewall-cmd --permanent--add-port=80/tcp
success
[root@www ~]# firewall-cmd --reload
Success

注：如果你想在已安裝好的nginx上添加第三方模塊，依然需要重新編譯，但為了不覆蓋你原有的配置，請不要make install，而是直接拷貝可執(zhí)行文件：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# nginx –V
[root@www nginx-1.10.2]#./configure  --add-module=……   #你的第三方模塊
[root@www nginx-1.10.2] #make后不要makeinstall,改為手動拷貝，先備份
[root@www nginx-1.10.2]#cp /usr/local/nginx1.10/sbin/nginx /usr/local/nginx1.10/sbin/nginx.bak
[root@wwwnginx-1.10.2] #cp objs/nginx /usr/local/nginx1.10/sbin/nginx
配置nginx反向代理：反向代理+負載均衡+健康探測
查看nginx加載的模塊
[root@www ~]## nginx -V
nginx version: nginx/1.10.2
built by gcc 4.8.5 20150623 (Red Hat4.8.5-4) (GCC) 
built with OpenSSL 1.0.1e-fips 11 Feb2013
TLS SNI support enabled
configure arguments:--prefix=/usr/local/nginx1.10 --user=www --group=www--with-http_stub_status_module --with-http_realip_module --with-http_ssl_module--with-http_gzip_static_module--http-client-body-temp-path=/var/tmp/nginx/client--http-proxy-temp-path=/var/tmp/nginx/proxy--http-fastcgi-temp-path=/var/tmp/nginx/fcgi --with-pcre--add-module=../ngx_cache_purge-2.3 --with-http_flv_module --add-module=../nginx-goodies-nginx-sticky-module-ng-08a395c66e42
nginx的所有模塊必須在編譯的時候添加，不能再運行的時候動態(tài)加載。

3、nginx-sticky-module模塊：

這個模塊的作用是通過cookie黏貼的方式將來自同一個客戶端（瀏覽器）的請求發(fā)送到同一個后端服務器上處理，這樣一定程度上可以解決多個backend servers的session同步的問題 —— 因為不再需要同步，而RR輪詢模式必須要運維人員自己考慮session同步的實現(xiàn)。

另外內置的 ip_hash 也可以實現(xiàn)根據(jù)客戶端IP來分發(fā)請求，但它很容易造成負載不均衡的情況，而如果nginx前面有CDN網(wǎng)絡或者來自同一局域網(wǎng)的訪問，它接收的客戶端IP是一樣的，容易造成負載不均衡現(xiàn)象。nginx-sticky-module的cookie過期時間，默認瀏覽器關閉就過期。

這個模塊并不合適不支持 Cookie 或手動禁用了cookie的瀏覽器，此時默認sticky就會切換成RR。它不能與ip_hash同時使用。

1
2
3
4
5
upstream backend {
       server 192.168.31.141:80 weight=1;
       server 192.168.31.250:80 weight=1;
       sticky;
}

配置起來超級簡單，一般來說一個sticky指令就夠了。

相關信息可以查看官方文檔

1
https://bitbucket.org/nginx-goodies/nginx-sticky-module-ng

4、load-balance其它調度方案：

這里順帶介紹一下nginx的負載均衡模塊支持的其它調度算法：

輪詢（默認） ：每個請求按時間順序逐一分配到不同的后端服務器，如果后端某臺服務器宕機，故障系統(tǒng)被自動剔除，使用戶訪問不受影響。Weight 指定輪詢權值，Weight值越大，分配到的訪問機率越高，主要用于后端每個服務器性能不均的情況下。

ip_hash ： 每個請求按訪問IP的hash結果分配，這樣來自同一個IP的訪客固定訪問一個后端服務器，有效解決了動態(tài)網(wǎng)頁存在的session共享問題。當然如果這個節(jié)點不可用了，會發(fā)到下個節(jié)點，而此時沒有session同步的話就注銷掉了。

least_conn ：請求被發(fā)送到當前活躍連接最少的realserver上。會考慮weight的值。

url_hash ： 此方法按訪問url的hash結果來分配請求，使每個url定向到同一個后端服務器，可以進一步提高后端緩存服務器的效率。Nginx本身是不支持url_hash的，如果需要使用這種調度算法，必須安裝Nginx 的hash軟件包 nginx_upstream_hash 。

fair ：這是比上面兩個更加智能的負載均衡算法。此種算法可以依據(jù)頁面大小和加載時間長短智能地進行負載均衡，也就是根據(jù)后端服務器的響應時間來分配請求，響應時間短的優(yōu)先分配。Nginx本身是不支持fair的，如果需要使用這種調度算法，必須下載Nginx的 upstream_fair 模塊。

 

5、負載均衡與健康檢查：

嚴格來說，nginx自帶是沒有針對負載均衡后端節(jié)點的健康檢查的，但是可以通過默認自帶的 ngx_http_proxy_module 模塊和ngx_http_upstream_module 模塊中的相關指令來完成當后端節(jié)點出現(xiàn)故障時，自動切換到下一個節(jié)點來提供訪問。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
upstream backend {
       sticky;
       server 192.168.31.141:80 weight=1 max_fails=2 fail_timeout=10s;
       server 192.168.31.250:80 weight=1 max_fails=2 fail_timeout=10s;
}
server {
  ……
location / {
           proxy_pass http://backend;
}
……
}
weight ： 輪詢權值也是可以用在ip_hash的，默認值為1
max_fails ： 允許請求失敗的次數(shù)，默認為1。當超過最大次數(shù)時，返回proxy_next_upstream模塊定義的錯誤。
fail_timeout ： 有兩層含義，一是在10s 時間內最多容許2 次失?。欢窃诮?jīng)歷了 2 次失敗以后，10s時間內不分配請求到這臺服務器。

6、nginx的proxy緩存使用：

緩存也就是將js、css、image等靜態(tài)文件從后端服務器緩存到nginx指定的緩存目錄下，既可以減輕后端服務器負擔，也可以加快訪問速度，但這樣緩存及時清理成為了一個問題，所以需要 ngx_cache_purge 這個模塊來在過期時間未到之前，手動清理緩存。

proxy模塊中常用的指令時proxy_pass和proxy_cache.

nginx的web緩存功能的主要是由proxy_cache、fastcgi_cache指令集和相關指令集完成，proxy_cache指令負責反向代理緩存后端服務器的靜態(tài)內容，fastcgi_cache主要用來處理FastCGI動態(tài)進程緩存。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
http {
   #$upstream_cache_status記錄緩存命中率
log_format  main  '$remote_addr - $remote_user [$time_local]"$request" '
                      '$status $body_bytes_sent"$http_referer" '
                     '"$http_user_agent" "$http_x_forwarded_for"'
                      '"$upstream_cache_status"';
access_log  logs/access.log  main;
proxy_buffering on;   #代理的時候，開啟或關閉緩沖后端服務器的響應
proxy_temp_path /usr/local/nginx1.10/proxy_temp;
   proxy_cache_path /usr/local/nginx1.10/proxy_cachelevels=1:2 keys_zone=my-cache:100m  inactive=600mmax_size=2g;
   server {
       listen       80;
       server_name  localhost;
       root   html;
       index  index.php index.htmlindex.htm;
       #ngx_cache_purge實現(xiàn)緩存清除
       location  ~/purge(/.*) {
           allow 127.0.0.1;
           allow 192.168.31.0/24;
           deny all;
          proxy_cache_purge my-cache$host$1$is_args$args;
       }
     location ~ .*\.(gif|jpg|png|html|htm|css|js|ico|swf|pdf)(.*) {
           proxy_pass  http://backend;
           proxy_redirect off;
           proxy_set_headerHost $host;
           proxy_set_header X-Real-IP$remote_addr;
           proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;
           proxy_ignore_headers Set-Cookie;
proxy_hide_header Set-Cookie;
           proxy_next_upstream error timeoutinvalid_header http_500 http_502 http_503 http_504;
           proxy_cachemy-cache;
           add_header Nginx-Cache$upstream_cache_status;
           proxy_cache_valid200 304 301 302 8h;
           proxy_cache_valid 404 1m;
           proxy_cache_valid any 1d;
           proxy_cache_key$host$uri$is_args$args;
          expires30d;
      }

相關選項說明：

proxy_buffering on; 代理的時候，開啟或關閉緩沖后端服務器的響應。

當開啟緩沖時，nginx盡可能快地從被代理的服務器接收響應，再將它存入緩沖區(qū)中。

 

proxy_temp_path ： 緩存臨時目錄。后端的響應并不直接返回客戶端，而是先寫到一個臨時文件中，然后被rename一下當做緩存放在 proxy_cache_path 。0.8.9版本以后允許temp和cache兩個目錄在不同文件系統(tǒng)上（分區(qū)），然而為了減少性能損失還是建議把它們設成一個文件系統(tǒng)上。

 

proxy_cache_path： 設置緩存目錄，目錄里的文件名是cache_key 的MD5值。

levels=1:2 keys_zone=my-cache:100m表示采用2級目錄結構，第一層目錄只有一個字符，是由levels=1:2設置，總共二層目錄，子目錄名字由二個字符組成。Web緩存區(qū)名稱為my-cache，內存緩存空間大小為100MB，這個緩沖zone可以被多次使用。文件系統(tǒng)上看到的緩存文件名類似于 /usr/local/nginx1.10/proxy_cache/c/29/b7f54b2df7773722d382f4809d65029c。

inactive=600 max_size=2g表示600分鐘沒有被訪問的內容自動清除，硬盤最大緩存空間為2GB，超過這個大小將清除最近最少使用的數(shù)據(jù)。

 

需要在默認情況，nginx不緩存從后端響應的http頭中帶有Set-Cookie的對象。如果客戶端發(fā)送的請求帶有Cookie header，varnish將忽略緩存，直接將請求傳遞到后端。nginx中通過proxy_ignore_headers設置忽略它們，設置方法如下：

解決辦法：  

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
proxy_ignore_headers Set-Cookie;
proxy_hide_header Set-Cookie;
  
  
  
proxy_cache ： 引用前面定義的緩存區(qū) my-cache
  
proxy_cache_key ：定義如何生成緩存的鍵，設置web緩存的key值，nginx根據(jù)key值md5哈希存儲緩存
  
proxy_cache_valid ： 為不同的響應狀態(tài)碼設置不同的緩存時間，比如200、302等正常結果可以緩存的時間長點，而404、500等緩存時間設置短一些，這個時間到了文件就會過期，而不論是否剛被訪問過。
  
add_header指令來設置response header,語法: add_header name value;
$upstream_cache_status這個變量來顯示緩存的狀態(tài)，我們可以在配置中添加一個http頭來顯示這一狀態(tài)，
$upstream_cache_status包含以下幾種狀態(tài)： ·MISS 未命中，請求被傳送到后端 ·HIT 緩存命中 ·EXPIRED 緩存已經(jīng)過期請求被傳送到后端 ·UPDATING 正在更新緩存，將使用舊的應答 ·STALE 后端將得到過期的應答
  
expires ： 在響應頭里設置Expires:或Cache-Control:max-age，返回給客戶端的瀏覽器緩存失效時間。
  
下面的nginx.conf實現(xiàn)nginx在前端做反向代理服務器的完整配置文件的例子，處理js、png等靜態(tài)文件，jsp/php等動態(tài)請求轉發(fā)到其它服務器tomcat/apache
user www www;
worker_processes  4;
worker_cpu_affinity 0001 0010 0100 1000;
error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
worker_rlimit_nofile 10240;
pid        logs/nginx.pid;
events {
   use epoll;
   worker_connections  4096;
}
http {
   include       mime.types;
   default_type application/octet-stream;
   log_format  main  '$remote_addr - $remote_user [$time_local]"$request" '
                      '$status $body_bytes_sent"$http_referer" '
                     '"$http_user_agent""$http_x_forwarded_for"'
                     '"$upstream_cache_status"';
access_log  logs/access.log  main;
server_tokensoff;
   sendfile        on;
   #tcp_nopush     on;
   #keepalive_timeout  0;
   keepalive_timeout  65;
   #Compression Settings
   gzip on;
   gzip_comp_level 6;
   gzip_http_version 1.1;
   gzip_proxied any;
   gzip_min_length 1k;
   gzip_buffers 16 8k;
   gzip_types text/plain text/css text/javascript application/jsonapplication/javascript application/x-javascript application/xml;
   gzip_vary on;
   #end gzip
   # http_proxy Settings
   client_max_body_size   10m;
   client_body_buffer_size   128k;
   proxy_connect_timeout   75;
   proxy_send_timeout   75;
   proxy_read_timeout   75;
   proxy_buffer_size   4k;
   proxy_buffers   4 32k;
   proxy_busy_buffers_size   64k;
proxy_temp_file_write_size  64k;
proxy_bufferingon;
   proxy_temp_path /usr/local/nginx1.10/proxy_temp;
   proxy_cache_path /usr/local/nginx1.10/proxy_cache levels=1:2keys_zone=my-cache:100m max_size=1000m inactive=600m max_size=2g;
   #load balance Settings
   upstream backend {
       sticky;
       server 192.168.31.141:80 weight=1 max_fails=2 fail_timeout=10s;
       server 192.168.31.250:80 weight=1 max_fails=2 fail_timeout=10s;
   }
   #virtual host Settings
   server {
       listen       80;
       server_name  localhost;
       charset utf-8;
       location  ~/purge(/.*) {
           allow 127.0.0.1;
           allow 192.168.31.0/24;
           deny all;
           proxy_cache_purge my-cache$host$1$is_args$args;
       }
       location / {
            index  index.php index.html index.htm;
            proxy_pass        http://backend;
            proxy_redirect off;
           proxy_set_header  Host $host;
            proxy_set_header  X-Real-IP $remote_addr;
            proxy_set_header  X-Forwarded-For  $proxy_add_x_forwarded_for;
            proxy_ignore_headers Set-Cookie;
proxy_hide_header Set-Cookie;
            proxy_next_upstream error timeoutinvalid_header http_500 http_502 http_503 http_504;
       }
       location ~ .*\.(gif|jpg|png|html|htm|css|js|ico|swf|pdf)(.*) {
           proxy_pass  http://backend;
           proxy_redirect off;
           proxy_set_header Host $host;
           proxy_set_header X-Real-IP$remote_addr;
           proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;
           proxy_next_upstream error timeoutinvalid_header http_500 http_502 http_503 http_504;
           proxy_cache my-cache;
           add_header Nginx-Cache$upstream_cache_status;
           proxy_cache_valid 200 304 301 3028h;
           proxy_cache_valid 404 1m;
           proxy_cache_valid any 1d;
           proxy_cache_key$host$uri$is_args$args;
          expires 30d;
       }
       location /nginx_status {
            stub_status on;
            access_log off;
            allow 192.168.31.0/24;
            deny all;
       }
   }
}

常用指令說明:

main全局配置:

woker_processes 4
在配置文件的頂級main部分，worker角色的工作進程的個數(shù)，master進程是接收并分配請求給worker處理。這個數(shù)值簡單一點可以設置為cpu的核數(shù)grep^processor /proc/cpuinfo | wc -l，也是 auto 值，如果開啟了ssl和gzip更應該設置成與邏輯CPU數(shù)量一樣甚至為2倍，可以減少I/O操作。如果nginx服務器還有其它服務，可以考慮適當減少。

 

worker_cpu_affinity
也是寫在main部分。在高并發(fā)情況下，通過設置cpu粘性來降低由于多CPU核切換造成的寄存器等現(xiàn)場重建帶來的性能損耗。如worker_cpu_affinity0001 0010 0100 1000; （四核）。

附：

CPU工作狀況：（輸入 top 后，按1 查看）

上面的配置表示：4核CPU，開啟4個進程。0001表示開啟第一個cpu內核， 0010表示開啟第二個cpu內核，依次類推；有多少個核，就有幾位數(shù)，1表示該內核開啟，0表示該內核關閉。

例如：

1、2核CPU，開啟2個進程

worker_processes  2;

worker_cpu_affinity 0110;

2、2核CPU，開啟4進程

worker_processes 4;

worker_cpu_affinity 01100110;

、2核CPU，開啟8進程

worker_processes  8;

worker_cpu_affinity 0110011001100110;

4、8核CPU，開啟2進程

worker_processes  2;

worker_cpu_affinity 10101010  01010101;

說明：10101010表示開啟了第2,4,6,8內核，01010101表示開始了1,3,5,7內核

通過 apache 的ab測試查看nginx對CPU的使用狀況：

如果多個CPU內核的利用率都相差不多，證明nginx己經(jīng)成功的利用了多核CPU。

測試結束后，CPU內核的負載應該都同時降低。

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
worker_connections 4096寫在events部分。每一個worker進程能并發(fā)處理（發(fā)起）的最大連接數(shù)（包含與客戶端或后端被代理服務器間等所有連接數(shù)）。
  
worker_rlimit_nofile 10240寫在main部分。worker進程的最大打開文件數(shù)限制。默認是沒有設置，如果沒設置的話，這個值為操作系統(tǒng)的限制(ulimit-n)?？梢韵拗茷椴僮飨到y(tǒng)最大的限制65535。把這個值設高，這樣nginx就不會有“too many open files”問題了。
  
use epoll寫在events部分。在Linux操作系統(tǒng)下，nginx默認使用epoll事件模型，得益于此，nginx在Linux操作系統(tǒng)下效率相當高。同時Nginx在OpenBSD或FreeBSD操作系統(tǒng)上采用類似于epoll的高效事件模型kqueue。
  
http服務器:
與提供http服務相關的一些配置參數(shù)。例如：是否使用keepalive啊，是否使用gzip進行壓縮等。
sendfile on開啟高效文件傳輸模式。
  
keepalive_timeout 65 : 長連接超時時間，單位是秒，長連接請求大量小文件的時候，可以減少重建連接的開銷，如果設置時間過長，用戶又多，長時間保持連接會占用大量資源。
client_max_body_size 10m允許客戶端請求的最大單文件字節(jié)數(shù)。如果有上傳較大文件，請設置它的限制值
client_body_buffer_size 128k緩沖區(qū)代理緩沖用戶端請求的最大字節(jié)數(shù)
server_tokens off;
隱藏nginx的版本號
  
模塊http_proxy：這個模塊實現(xiàn)的是nginx作為反向代理服務器的功能，包括緩存功能
proxy_connect_timeoutnginx跟后端服務器連接超時時間(代理連接超時)
  
proxy_read_timeout定義從后端服務器讀取響應的超時。此超時是指相鄰兩次讀操作之間的最長時間間隔，而不是整個響應傳輸完成的最長時間。如果后端服務器在超時時間段內沒有傳輸任何數(shù)據(jù)，連接將被關閉。
  
proxy_send_timeout
定義向后端服務器傳輸請求的超時。此超時是指相鄰兩次寫操作之間的最長時間間隔，而不是整個請求傳輸完成的最長時間。如果后端服務器在超時時間段內沒有接收到任何數(shù)據(jù)，連接將被關閉。
  
proxy_buffer_size 4k設置緩沖區(qū)的大小為size。nginx從被代理的服務器讀取響應時，使用該緩沖區(qū)保存響應的開始部分。這部分通常包含著一個小小的響應頭。該緩沖區(qū)大小默認等于proxy_buffers指令設置的一塊緩沖區(qū)的大小，但它也可以被設置得更小。
  
proxy_buffers 8 4k
語法: proxy_buffers the_numberis_size;
為每個連接設置緩沖區(qū)的數(shù)量為number，每塊緩沖區(qū)的大小為size。這些緩沖區(qū)用于保存從被代理的服務器讀取的響應。每塊緩沖區(qū)默認等于一個內存頁的大小。這個值是4K還是8K，取決于平臺。
附：查看Linux內存頁大小
[root@www ~]# getconf PAGESIZE
4096
或
[root@www ~]# getconf PAGE_SIZE
4096
  
proxy_busy_buffers_size 64k高負荷下緩沖大?。J大小是proxy_buffers指令設置單塊緩沖大小的2倍）
  
proxy_max_temp_file_size當 proxy_buffers 放不下后端服務器的響應內容時，會將一部分保存到硬盤的臨時文件中，這個值用來設置最大臨時文件大小，默認1024M。
  
proxy_temp_file_write_size 64k當緩存被代理的服務器響應到臨時文件時，這個選項限制每次寫臨時文件的大小。
  
模塊http_gzip：
gzip on : 開啟gzip壓縮輸出，減少網(wǎng)絡傳輸。
  
gzip_min_length 1k ： 設置允許壓縮的頁面最小字節(jié)數(shù)，頁面字節(jié)數(shù)從header頭得content-length中進行獲取。建議設置成大于1k的字節(jié)數(shù)，小于1k可能會越壓越大。
  
gzip_buffers 4 16k ： 設置系統(tǒng)獲取幾個單位的緩存用于存儲gzip的壓縮結果數(shù)據(jù)流。416k代表以16k為單位，按照原始數(shù)據(jù)大小以16k為單位的4倍申請內存。如果沒有設置，默認值是申請跟原始數(shù)據(jù)相同大小的內存空間去存儲gzip壓縮結果
  
gzip_http_version 1.1 ： 用于識別 http 協(xié)議的版本，早期的瀏覽器不支持 Gzip 壓縮，用戶就會看到亂碼，所以為了支持前期版本加上了這個選項，如果你用了 Nginx 的反向代理并期望也啟用 Gzip 壓縮的話，由于末端通信是 http/1.1，故請設置為 1.1。
  
gzip_comp_level 6 ： gzip壓縮比，1壓縮比最小處理速度最快，9壓縮比最大但處理速度最慢(傳輸快但比較消耗cpu)
  
gzip_types ：匹配mime類型進行壓縮，無論是否指定”text/html”類型總是會被壓縮的。
默認值: gzip_types text/html (默認不對js/css文件進行壓縮)# 壓縮類型，匹配MIME類型進行壓縮# 不能用通配符 text/*# (無論是否指定)text/html默認已經(jīng)壓縮 # 設置哪壓縮種文本文件可參考 conf/mime.types
  
gzip_proxied any ： Nginx作為反向代理的時候啟用，根據(jù)某些請求和應答來決定是否在對代理請求的應答啟用gzip壓縮，是否壓縮取決于請求頭中的“Via”字段，指令中可以同時指定多個不同的參數(shù)，意義如下：
off – 關閉所有的代理結果數(shù)據(jù)的壓縮expired – 啟用壓縮，如果header頭中包含 “Expires” 頭信息no-cache – 啟用壓縮，如果header頭中包含 “Cache-Control:no-cache” 頭信息no-store – 啟用壓縮，如果header頭中包含 “Cache-Control:no-store” 頭信息private – 啟用壓縮，如果header頭中包含 “Cache-Control:private” 頭信息no_last_modified – 啟用壓縮,如果header頭中不包含 “Last-Modified” 頭信息no_etag – 啟用壓縮 ,如果header頭中不包含 “ETag” 頭信息auth – 啟用壓縮 , 如果header頭中包含 “Authorization” 頭信息any – 無條件啟用壓縮
  
gzip_vary on ：和http頭有關系，加個vary頭，給代理服務器用的，有的瀏覽器支持壓縮，有的不支持，所以避免浪費不支持的也壓縮，所以根據(jù)客戶端的HTTP頭來判斷，是否需要壓縮
  
模塊http_stream：這個模塊通過一個簡單的調度算法來實現(xiàn)客戶端IP到后端服務器的負載均衡，upstream后接負載均衡器的名字，后端realserver以 host:portoptions; 方式組織在 {} 中。如果后端被代理的只有一臺，也可以直接寫在 proxy_pass 。
  
Location:
root /var/www/html
定義服務器的默認網(wǎng)站根目錄位置。如果locationURL匹配的是子目錄或文件，root沒什么作用，一般放在server指令里面或/下。
  
index index.jsp index.html index.htm
定義路徑下默認訪問的文件名，一般跟著root放
  
proxy_pass http:/backend
請求轉向backend定義的服務器列表，即反向代理，對應upstream負載均衡器。也可以proxy_pass http://ip:port。
  
proxy_redirect off;
指定是否修改被代理服務器返回的響應頭中的location頭域跟refresh頭域數(shù)值
例如：
設置后端服務器“Location”響應頭和“Refresh”響應頭的替換文本。假設后端服務器返回的響應頭是 “Location: http://localhost:8000/two/some/uri/”，那么指令
proxy_redirecthttp://localhost:8000/two/ http://frontend/one/;
將把字符串改寫為 “Location: http://frontend/one/some/uri/”。
proxy_set_headerHost $host;
允許重新定義或者添加發(fā)往后端服務器的請求頭。
Host的含義是表明請求的主機名，nginx反向代理服務器會向后端真實服務器發(fā)送請求，并且請求頭中的host字段重寫為proxy_pass指令設置的服務器。因為nginx作為反向代理使用，而如果后端真實的服務器設置有類似防盜鏈或者根據(jù)http請求頭中的host字段來進行路由或判斷功能的話，如果反向代理層的nginx不重寫請求頭中的host字段，將會導致請求失敗。
proxy_set_headerX-Forwarded-For $proxy_add_x_forwarded_for;
后端的Web服務器可以通過X-Forwarded-For獲取用戶真實IP
X_Forward_For字段表示該條http請求是有誰發(fā)起的？如果反向代理服務器不重寫該請求頭的話，那么后端真實服務器在處理時會認為所有的請求都來自反向代理服務器，如果后端有防攻擊策略的話，那么機器就被封掉了。因此，在配置用作反向代理的nginx中一般會增加兩條配置，修改http的請求頭：proxy_set_header Host $host;proxy_set_header X-Forward-For $remote_addr;
  
proxy_next_upstream error timeoutinvalid_header http_500 http_502 http_503 http_504;
增加故障轉移，如果后端的服務器返回502、504、執(zhí)行超時等錯誤，自動將請求轉發(fā)到upstream負載均衡池中的另一臺服務器，實現(xiàn)故障轉移。
  
proxy_set_header X-Real-IP $remote_addr;
web服務器端獲得用戶的真實ip但是，實際上要獲得用戶的真實ip，也可以通過X-Forward-For


 7、驗證：nginx反向代理的緩存功能、負載均衡及健康檢查

1）下面我們來測試一下緩存功能

如果在緩存時間之內需要更新被緩存的靜態(tài)文件怎么辦呢，這時候就需要手動來清除緩存了。

ngx_cache_pure清除緩存模塊使用說明

用谷歌瀏覽器測試的時候，可以按F12調用開發(fā)工具，選擇Network選項，我們可以看到，Response Headers，在這里我們可以看到，我們請求的是否是緩存

從圖中我們可以看到，我們訪問的服務器是192.168.31.83，緩存命中。

也可以查看緩存目錄或nginx的訪問日志

 

清除緩存:

上述配置的proxy_cache_purge指令用于方便的清除緩存，但必須按照第三方的ngx_cache_purge 模塊才能使用

使用 ngx_cache_purge 模塊清除緩存（直接刪除緩存目錄下的文件也算一種辦法）：

GET方式請求URL

即使用配置文件中的location ~ /purge(/.*)

瀏覽器訪問http://192.168.31.83/purge/your/may/path來清除緩存

緩存清除成功。

備注：
      （1）purge是ngx_cache_pure 模塊指令
      （2）your/may/path 是要清除的緩存文件URL路徑

2）若只有一臺客戶端要驗證負載均衡和健康檢查可以先關掉緩存功能和保持session會話

#proxy_buffering off;

#sticky

測試過程略

 

擴展知識1：
nginx修改版本等信息
1、vi /usr/local/src/nginx-1.0.12/src/core/nginx.h   #編譯前編輯

1
2
3
4
#define nginx_version
#define NGINX_VERSION
#define NGINX_VER
#define NGINX_VAR

修改上面的信息，即可更改nginx顯示版本。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
2
、
vi/usr/local/src/nginx-1.0.12/src/http/ngx_http_special_response.c   #
編譯前編輯
static u_char ngx_http_error_full_tail[] =
static u_char ngx_http_error_tail[] =
修改上面的信息為你自己的。
3
、
vi/usr/local/src/nginx-1.0.12/src/http/ngx_http_header_filter_module.c   #
編譯前編輯
static char ngx_http_server_string[]=
修改上面的信息為你自己的。
4
、編譯完成之后，修改
/usr/local/nginx/conf
目錄下面
fastcgi.conf
、
fastcgi.conf.default
、
fastcgi_params
、
fastcgi_params.default
這四個文件里面的版本名稱
/usr/local/nginx/sbin/nginx -V  #
查看
nginx
版本號

以上內容是否對您有幫助：
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號