Linux Nginx優(yōu)化與防盜鏈

2018-07-31 14:44 更新

防偽碼：每一個不曾起舞的日子，都是對生命的辜負。

Nginx是俄羅斯人編寫的十分輕量級的HTTP服務(wù)器,Nginx，它的發(fā)音為“engine X”，是一個高性能的HTTP和反向代理服務(wù)器，同時也是一個IMAP/POP3/SMTP 代理服務(wù)器．Nginx是由俄羅斯人 Igor Sysoev為俄羅斯訪問量第二的 Rambler.ru站點開發(fā).

Nginx以事件驅(qū)動（epoll）的方式編寫，所以有非常好的性能，同時也是一個非常高效的反向代理、負載平衡。但是Nginx并不支持cgi方式運行，原因是可以減少因此帶來的一些程序上的漏洞。所以必須使用FastCGI方式來執(zhí)行PHP程序。

由于Nginx本身的一些優(yōu)點，輕量，開源，易用，越來越多的公司使用nginx作為自己公司的web應(yīng)用服務(wù)器，本文詳細介紹nginx源碼安裝的同時并對nginx進行優(yōu)化配置。

一、Nginx的優(yōu)化

1、編譯安裝前優(yōu)化

編譯前的優(yōu)化主要是用來修改程序名等等，目的更改源碼隱藏軟件名稱和版本號

安裝zlib-devel、pcre-devel等依賴包

1
[root@www ~]# yum -y install gcc gcc-c++make libtool zlib zlib-devel pcre pcre-devel openssl openssl-devel

下載nginx的源碼包：http://nginx.org/download

解壓源碼包：

1
2
[root@www ~]# tar zxf nginx-1.10.2.tar.gz
[root@www ~]# cd nginx-1.10.2/

隱藏軟件名稱和版本號

1
[root@www nginx-1.10.2]# vimsrc/core/nginx.h
1
2
3
4
5
6
7
8
9
//此行修改的是你想要的版本
#define NGINX_VERSION      "1.10.2"     //第13行
//此行修改的是你想修改的軟件名稱
#define NGINX_VER          "nginx/"NGINX_VERSION  //第14行
修改上面的信息，即可更改nginx顯示版本。例如：
#define NGINX_VERSION      "7.0"
#define NGINX_VER          "IIS/"NGINX_VERSION
修改HTTP頭信息中的connection字段，防止回顯具體版本號
拓展：通用http頭，通用頭包含請求和響應(yīng)消息都支持的頭，通用頭包含Cache-Control、 Connection、Date、Pragma、Transfer-Encoding、Upgrade、Via。對通用頭的擴展要求通訊雙方都支持此擴展，如果存在不支持的通用頭，一般將會作為實體頭處理。那么也就是說有部分設(shè)備，或者是軟件，能獲取到connection，部分不能，要隱藏就要徹底！
1
2
3
4
5
6
7
[root@www nginx-1.10.2]# visrc/http/ngx_http_header_filter_module.c
修改前：
static charngx_http_server_string[] = "Server: nginx"CRLF;  //第49行
修改后：
static char ngx_http_server_string[] ="Server: IIS" CRLF;
定義了http錯誤碼的返回
有時候我們頁面程序出現(xiàn)錯誤，Nginx會代我們返回相應(yīng)的錯誤代碼，回顯的時候，會帶上nginx和版本號，我們把他隱藏起來
1
2
3
4
5
6
7
8
9
10
11
12
13
[root@www nginx-1.10.2]# visrc/http/ngx_http_special_response.c
修改前
static u_char ngx_http_error_tail[] =     //第29行
"<hr><center>nginx</center>" CRLF
"</body>" CRLF
"</html>" CRLF
;
修改后
static u_char ngx_http_error_tail[] =
"<hr><center>IIS</center>" CRLF
"</body>" CRLF
"</html>" CRLF
;

2、安裝ngnix

1
2
3
4
5
[root@www ~]# groupadd www   #添加www組
[root@www ~]# useradd -g www www -s/sbin/nologin  #創(chuàng)建nginx運行賬戶www并加入到www組，不允許www用戶直接登錄系統(tǒng)
[root@www nginx-1.10.2]# ./configure--prefix=/usr/local/nginx1.10 --with-http_dav_module--with-http_stub_status_module --with-http_addition_module--with-http_sub_module --with-http_flv_module --with-http_mp4_module--with-pcre --with-http_ssl_module --with-http_gzip_static_module 
--user=www --group=www
[root@www nginx-1.10.2]# make&&make install

相關(guān)選項說明

1
2
3
4
5
6
7
--with-http_dav_module  #增加PUT,DELETE,MKCOL：創(chuàng)建集合，COPY和MOVE方法
--with-http_stub_status_module  #獲取Nginx的狀態(tài)統(tǒng)計信息
--with-http_addition_module   #作為一個輸出過濾器，支持不完全緩沖，分部分相應(yīng)請求
--with-http_sub_module     #允許一些其他文本替換Nginx相應(yīng)中的一些文本
--with-http_flv_module     #提供支持flv視頻文件支持
--with-http_mp4_module  #提供支持mp4視頻文件支持，提供偽流媒體服務(wù)端支持
--with-http_ssl_module         #啟用ngx_http_ssl_module

如果pcre是通過編譯安裝的話，例如

1
2
3
4
5
6
# tar zxvf /usr/local/src/pcre-8.36.tar.gz-C /usr/local/src/
# cd  /usr/local/src/pcre-8.36
# ./configure&&make && makeinstall
則--with-pcre=/usr/local/src/pcre-8.36 #需要注意，這里指的是源碼,用#./configure --help |greppcre查看幫助
[root@www nginx-1.10.2]# ln -s/usr/local/nginx1.10/sbin/nginx /usr/local/sbin/
[root@www nginx-1.10.2]# nginx -t

啟動nginx

1
2
3
[root@www nginx-1.10.2]# nginx
[root@www nginx-1.10.2]# netstat -anpt |grep nginx
tcp  0   0 0.0.0.0:80     0.0.0.0:*    LISTEN     9834/nginx: master

測試是否隱藏了版本和軟件名

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
[root@www ~]# curl -I http://127.0.0.1
HTTP/1.1 200 OK
Server: IIS/7.0
Date: Sat, 05 Nov 2016 14:38:21 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Sat, 05 Nov 2016 14:19:47GMT
Connection: keep-alive
ETag: "581dea83-264"
Accept-Ranges: bytes
[root@www ~]# nginx -h
nginx version: IIS/7.0
Usage: nginx [-?hvVtTq] [-s signal] [-cfilename] [-p prefix] [-g directives]
Options:
 -v            : show version andexit
 -V            : show version andconfigure options then exit
 -t            : test configurationand exit
 -T            : testconfiguration, dump it and exit
 -q            : suppress non-errormessages during configuration testing
 -s signal     : send signal to amaster process: stop, quit, reopen, reload
 -p prefix     : set prefix path(default: /usr/local/nginx1.10/)
 -c filename   : set configurationfile (default: conf/nginx.conf)
 -g directives : set global directives out of configuration file

3、nginx配置項優(yōu)化

1
2
3
[root@www ~]# ps -ef | grep nginx
root     9834      1 0 22:36 ?        00:00:00 nginx: master process nginx
www       9953   9834  0 22:43 ?        00:00:00 nginx: worker process

在這里我們還可以看到在查看的時候，work進程是nginx程序用戶，但是master進程還是root，其中，master是監(jiān)控進程，也叫主進程，work是工作進程，部分還有cache相關(guān)進程，關(guān)系如圖：

可以直接理解為master是管理員，work進程才是為用戶提供服務(wù)的！

(1):Nginx運行工作進程個數(shù)，一般我們設(shè)置CPU的核心或者核心數(shù)x2

如果不了解cpu的核數(shù)，可以top命令之后按1也可以看出來，也可以查看/proc/cpuinfo文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#grep ^processor /proc/cpuinfo | wc -l
[root@www ~]# vi/usr/local/nginx1.10/conf/nginx.conf
worker_processes  4;
[root@www ~]# /usr/local/nginx1.10/sbin/nginx-s reload
[root@www ~]# ps -aux | grep nginx |grep -v grep
root 9834  0.0  0.0 47556  1948 ?       Ss  22:36   0:00 nginx: master processnginx
www 10135  0.0 0.0  50088  2004 ?       S    22:58   0:00 nginx: worker process
www 10136  0.0  0.0 50088  2004 ?        S   22:58   0:00 nginx: worker process
www 10137  0.0  0.0 50088  2004 ?        S   22:58   0:00 nginx: worker process
www 10138  0.0  0.0 50088  2004 ?        S   22:58   0:00 nginx: worker process
Nginx運行CPU親和力
比如4核配置
worker_processes  4;
worker_cpu_affinity 0001 0010 0100 1000
比如8核配置
worker_processes 8;
worker_cpu_affinity 00000001 0000001000000100 00001000 00010000 00100000 01000000 10000000;
worker_processes最多開啟8個，8個以上性能提升不會再提升了，而且穩(wěn)定性變得更低，所以8個進程夠用了。
Nginx最多可以打開文件數(shù)
worker_rlimit_nofile65535;
這個指令是指當一個nginx進程打開的最多文件描述符數(shù)目，理論值應(yīng)該是最多打開文件數(shù)（ulimit -n）與nginx進程數(shù)相除，但是nginx分配請求并不是那么均勻，所以最好與ulimit -n的值保持一致。
注：
文件資源限制的配置可以在/etc/security/limits.conf設(shè)置，針對root/user等各個用戶或者*代表所有用戶來設(shè)置。
*     soft   nofile  65535
*     hard  nofile   65535
用戶重新登錄生效（ulimit -n）

(2)Nginx事件處理模型

events {

1
2
3
4
5
6
7
8
use epoll;
worker_connections 65535;
multi_accept on;
}
nginx采用epoll事件模型，處理效率高
work_connections是單個worker進程允許客戶端最大連接數(shù)，這個數(shù)值一般根據(jù)服務(wù)器性能和內(nèi)存來制定，實際最大值就是worker進程數(shù)乘以work_connections
實際我們填入一個65535，足夠了，這些都算并發(fā)值，一個網(wǎng)站的并發(fā)達到這么大的數(shù)量，也算一個大站了！
multi_accept 告訴nginx收到一個新連接通知后接受盡可能多的連接，默認是on，設(shè)置為on后，多個worker按串行方式來處理連接，也就是一個連接只有一個worker被喚醒，其他的處于休眠狀態(tài)，設(shè)置為off后，多個worker按并行方式來處理連接，也就是一個連接會喚醒所有的worker，直到連接分配完畢，沒有取得連接的繼續(xù)休眠。當你的服務(wù)器連接數(shù)不多時，開啟這個參數(shù)會讓負載有一定的降低，但是當服務(wù)器的吞吐量很大時，為了效率，可以關(guān)閉這個參數(shù)。

(3)開啟高效傳輸模式

1
2
3
4
5
6
7
http {
include mime.types;
default_type application/octet-stream;
……
sendfile on;
tcp_nopush on;
……

Include mime.types; //媒體類型,include 只是一個在當前文件中包含另一個文件內(nèi)容的指令

default_typeapplication/octet-stream;   //默認媒體類型足夠

sendfile on；//開啟高效文件傳輸模式，sendfile指令指定nginx是否調(diào)用sendfile函數(shù)來輸出文件，對于普通應(yīng)用設(shè)為 on，如果用來進行下載等應(yīng)用磁盤IO重負載應(yīng)用，可設(shè)置為off，以平衡磁盤與網(wǎng)絡(luò)I/O處理速度，降低系統(tǒng)的負載。

注意：如果圖片顯示不正常把這個改成off。

tcp_nopush on；必須在sendfile開啟模式才有效，防止網(wǎng)路阻塞，積極的減少網(wǎng)絡(luò)報文段的數(shù)量（將響應(yīng)頭和正文的開始部分一起發(fā)送，而不一個接一個的發(fā)送。）

(4)連接超時時間

主要目的是保護服務(wù)器資源，CPU，內(nèi)存，控制連接數(shù)，因為建立連接也是需要消耗資源的

1
<span style="font-family:arial, helvetica, sans-serif;font-size:18px;">keepalive_timeout 60;<br><br></span><span style="font-family:arial, helvetica, sans-serif;font-size:18px;">tcp_nodelay on;</span>
client_header_buffer_size 4k;
open_file_cache max=102400 inactive=20s;
open_file_cache_valid 30s;
open_file_cache_min_uses 1;
client_header_timeout 15;
client_body_timeout 15;
reset_timedout_connection on;
send_timeout 15;
server_tokens off;
client_max_body_size 10m;

keepalived_timeout客戶端連接保持會話超時時間，超過這個時間，服務(wù)器斷開這個鏈接

tcp_nodelay；也是防止網(wǎng)絡(luò)阻塞，不過要包涵在keepalived參數(shù)才有效

client_header_buffer_size4k;
客戶端請求頭部的緩沖區(qū)大小，這個可以根據(jù)你的系統(tǒng)分頁大小來設(shè)置，一般一個請求頭的大小不會超過 1k，不過由于一般系統(tǒng)分頁都要大于1k，所以這里設(shè)置為分頁大小。分頁大小可以用命令getconf PAGESIZE取得。
open_file_cache max=102400 inactive=20s;
這個將為打開文件指定緩存，默認是沒有啟用的，max指定緩存數(shù)量，建議和打開文件
數(shù)一致，inactive 是指經(jīng)過多長時間文件沒被請求后刪除緩存。
open_file_cache_valid 30s;
這個是指多長時間檢查一次緩存的有效信息。
open_file_cache_min_uses 1;
open_file_cache指令中的inactive 參數(shù)時間內(nèi)文件的最少使用次數(shù)，如果超過這個數(shù)字，文
件描述符一直是在緩存中打開的，如上例，如果有一個文件在inactive 時間內(nèi)一次沒被使用，它將被移除。

client_header_timeout設(shè)置請求頭的超時時間。我們也可以把這個設(shè)置低些，如果超過這個時間沒有發(fā)送任何數(shù)據(jù)，nginx將返回request time out的錯誤

client_body_timeout設(shè)置請求體的超時時間。我們也可以把這個設(shè)置低些，超過這個時間沒有發(fā)送任何數(shù)據(jù)，和上面一樣的錯誤提示

reset_timeout_connection 告訴nginx關(guān)閉不響應(yīng)的客戶端連接。這將會釋放那個客戶端所占有的內(nèi)存空間。

send_timeout響應(yīng)客戶端超時時間，這個超時時間僅限于兩個活動之間的時間，如果超過這個時間，客戶端沒有任何活動，nginx關(guān)閉連接

server_tokens  并不會讓nginx執(zhí)行的速度更快，但它可以關(guān)閉在錯誤頁面中的nginx版本數(shù)字，這樣對于安全性是有好處的。

client_max_body_size上傳文件大小限制
 
(5)fastcgi調(diào)優(yōu)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
fastcgi_connect_timeout     600;
fastcgi_send_timeout600;
fastcgi_read_timeout600;
fastcgi_buffer_size64k;
fastcgi_buffers4 64k;
fastcgi_busy_buffers_size128k;
fastcgi_temp_file_write_size128k;
fastcgi_temp_path/usr/local/nginx1.10/nginx_tmp;
fastcgi_intercept_errorson;
fastcgi_cache_path/usr/local/nginx1.10/fastcgi_cache levels=1:2 keys_zone=cache_fastcgi:128minactive=1d max_size=10g;
fastcgi_connect_timeout 600; #指定連接到后端FastCGI的超時時間。
fastcgi_send_timeout 600; #向FastCGI傳送請求的超時時間。
fastcgi_read_timeout 600; #指定接收FastCGI應(yīng)答的超時時間。
fastcgi_buffer_size 64k; #指定讀取FastCGI應(yīng)答第一部分需要用多大的緩沖區(qū)，默認的緩沖區(qū)大小為fastcgi_buffers指令中的每塊大小，可以將這個值設(shè)置更小。


 

fastcgi_buffers 4 64k; #指定本地需要用多少和多大的緩沖區(qū)來緩沖FastCGI的應(yīng)答請求，如果一個php腳本所產(chǎn)生的頁面大小為256KB，那么會分配4個64KB的緩沖區(qū)來緩存，如果頁面大小大于256KB，那么大于256KB的部分會緩存到fastcgi_temp_path指定的路徑中，但是這并不是好方法，因為內(nèi)存中的數(shù)據(jù)處理速度要快于磁盤。一般這個值應(yīng)該為站點中php腳本所產(chǎn)生的頁面大小的中間值，如果站點大部分腳本所產(chǎn)生的頁面大小為256KB，那么可以把這個值設(shè)置為“8 32K”、“4 64k”等。

fastcgi_busy_buffers_size 128k; #建議設(shè)置為fastcgi_buffers的兩倍，繁忙時候的buffer

fastcgi_temp_file_write_size 128k;   #在寫入fastcgi_temp_path時將用多大的數(shù)據(jù)塊，默認值是fastcgi_buffers的兩倍，該數(shù)值設(shè)置小時若負載上來時可能報502Bad Gateway

fastcgi_temp_path #緩存臨時目錄

fastcgi_intercept_errors on;#這個指令指定是否傳遞4xx和5xx錯誤信息到客戶端，或者允許nginx使用error_page處理錯誤信息。

注：靜態(tài)文件不存在會返回404頁面，但是php頁面則返回空白頁??！

fastcgi_cache_path/usr/local/nginx1.10/fastcgi_cache levels=1:2 keys_zone=cache_fastcgi:128minactive=1d max_size=10g;# fastcgi_cache緩存目錄，可以設(shè)置目錄層級，比如1:2會生成16*256個子目錄，cache_fastcgi是這個緩存空間的名字，cache是用多少內(nèi)存（這樣熱門的內(nèi)容nginx直接放內(nèi)存，提高訪問速度），inactive表示默認失效時間，如果緩存數(shù)據(jù)在失效時間內(nèi)沒有被訪問,將被刪除，max_size表示最多用多少硬盤空間。

 

fastcgi_cache cache_fastcgi;  #表示開啟FastCGI緩存并為其指定一個名稱。開啟緩存非常有用，可以有效降低CPU的負載，并且防止502的錯誤放生。cache_fastcgi為proxy_cache_path指令創(chuàng)建的緩存區(qū)名稱

 

fastcgi_cache_valid 200 302 1h;  #用來指定應(yīng)答代碼的緩存時間，實例中的值表示將200和302應(yīng)答緩存一小時，要和fastcgi_cache配合使用

fastcgi_cache_valid 301 1d;      #將301應(yīng)答緩存一天

fastcgi_cache_valid any 1m;      #將其他應(yīng)答緩存為1分鐘

fastcgi_cache_min_uses 1;        #該指令用于設(shè)置經(jīng)過多少次請求的相同URL將被緩存。

fastcgi_cache_key http://$host$request_uri;#該指令用來設(shè)置web緩存的Key值,nginx根據(jù)Key值md5哈希存儲.一般根據(jù)$host(域名)、$request_uri(請求的路徑)等變量組合成proxy_cache_key 。

fastcgi_pass #指定FastCGI服務(wù)器監(jiān)聽端口與地址，可以是本機或者其它

總結(jié)：

nginx的緩存功能有：proxy_cache /fastcgi_cache

proxy_cache的作用是緩存后端服務(wù)器的內(nèi)容，可能是任何內(nèi)容，包括靜態(tài)的和動態(tài)。
fastcgi_cache的作用是緩存fastcgi生成的內(nèi)容，很多情況是php生成的動態(tài)的內(nèi)容。
proxy_cache緩存減少了nginx與后端通信的次數(shù)，節(jié)省了傳輸時間和后端寬帶。
fastcgi_cache緩存減少了nginx與php的通信的次數(shù)，更減輕了php和數(shù)據(jù)庫(mysql)的壓力。

 

(6)gzip調(diào)優(yōu)

使用gzip壓縮功能，可能為我們節(jié)約帶寬，加快傳輸速度，有更好的體驗，也為我們節(jié)約成本，所以說這是一個重點。

Nginx啟用壓縮功能需要你來ngx_http_gzip_module模塊，apache使用的是mod_deflate

一般我們需要壓縮的內(nèi)容有：文本，js，html，css，對于圖片，視頻，flash什么的不壓縮，同時也要注意，我們使用gzip的功能是需要消耗CPU的！

gzip on;

gzip_min_length  2k;

gzip_buffers     4 32k;

gzip_http_version 1.1;

gzip_comp_level 6;

gzip_typestext/plaintext/css text/javascript application/json application/javascriptapplication/x-javascript application/xml;

gzip_vary on;

gzip_proxied any;

gzip on;     #開啟壓縮功能

gzip_min_length 1k; #設(shè)置允許壓縮的頁面最小字節(jié)數(shù)，頁面字節(jié)數(shù)從header頭的Content-Length中獲取，默認值是0，不管頁面多大都進行壓縮，建議設(shè)置成大于1K，如果小與1K可能會越壓越大。

gzip_buffers 4 32k; #壓縮緩沖區(qū)大小，表示申請4個單位為32K的內(nèi)存作為壓縮結(jié)果流緩存，默認值是申請與原始數(shù)據(jù)大小相同的內(nèi)存空間來存儲gzip壓縮結(jié)果。

gzip_http_version 1.1; #壓縮版本，用于設(shè)置識別HTTP協(xié)議版本，默認是1.1，目前大部分瀏覽器已經(jīng)支持GZIP解壓，使用默認即可

gzip_comp_level 6; #壓縮比例，用來指定GZIP壓縮比，1壓縮比最小，處理速度最快，9壓縮比最大，傳輸速度快，但是處理慢，也比較消耗CPU資源。

gzip_types text/css text/xmlapplication/javascript; #用來指定壓縮的類型，‘text/html’類型總是會被壓縮。

默認值: gzip_types text/html (默認不對js/css文件進行壓縮)
# 壓縮類型，匹配MIME類型進行壓縮
# 不能用通配符 text/*
# (無論是否指定)text/html默認已經(jīng)壓縮 
# 設(shè)置哪壓縮種文本文件可參考 conf/mime.types

gzip_vary on;  #vary header支持，改選項可以讓前端的緩存服務(wù)器緩存經(jīng)過GZIP壓縮的頁面，例如用Squid緩存經(jīng)過nginx壓縮的數(shù)據(jù)

(7)expires緩存調(diào)優(yōu)

緩存，主要針對于圖片，css，js等元素更改機會比較少的情況下使用，特別是圖片，占用帶寬大，我們完全可以設(shè)置圖片在瀏覽器本地緩存365d，css，js，html可以緩存?zhèn)€10來天，這樣用戶第一次打開加載慢一點，第二次，就非?？炝?！緩存的時候，我們需要將需要緩存的拓展名列出來， Expires緩存配置在server字段里面

1
2
3
4
5
6
7
8
9
10
11
location ~*\.(ico|jpe?g|gif|png|bmp|swf|flv)$ {
  expires 30d;
  #log_not_found off;
  access_log off;
}
  
location ~* \.(js|css)$ {
  expires 7d;
  log_not_found off;
  access_log off;
}

注：log_not_found off;是否在error_log中記錄不存在的錯誤。默認是。

總結(jié)：

expire功能優(yōu)點 （1）expires可以降低網(wǎng)站購買的帶寬，節(jié)約成本（2）同時提升用戶訪問體驗（3）減輕服務(wù)的壓力，節(jié)約服務(wù)器成本，是web服務(wù)非常重要的功能。 expire功能缺點：被緩存的頁面或數(shù)據(jù)更新了，用戶看到的可能還是舊的內(nèi)容，反而影響用戶體驗。解決辦法：第一個縮短緩存時間，例如：1天，但不徹底，除非更新頻率大于1天；第二個對緩存的對象改名。

網(wǎng)站不希望被緩存的內(nèi)容 1）網(wǎng)站流量統(tǒng)計工具2）更新頻繁的文件（google的logo）

(8)防盜鏈

防止別人直接從你網(wǎng)站引用圖片等鏈接，消耗了你的資源和網(wǎng)絡(luò)流量，那么我們的解決辦法由幾種： 1：水印，品牌宣傳，你的帶寬，服務(wù)器足夠 2：防火墻，直接控制，前提是你知道IP來源 3：防盜鏈策略下面的方法是直接給予404的錯誤提示

1
2
3
4
5
6
7
8
9
location ~*^.+\.(jpg|gif|png|swf|flv|wma|wmv|asf|mp3|mmf|zip|rar)$ {
    valid_referers none blocked www.benet.com benet.com;
    if ($invalid_referer) {
      #return 302 http://www.benet.com/img/nolink.jpg;
      return 404;
       break;
    }
    access_log off;
 }

參數(shù)可以使如下形式：

none 意思是不存在的Referer頭(表示空的，也就是直接訪問，比如直接在瀏覽器打開一個圖片)
blocked 意為根據(jù)防火墻偽裝Referer頭，如：“Referer: XXXXXXX”。
server_names 為一個或多個服務(wù)器的列表，0.5.33版本以后可以在名稱中使用“*”通配符。

(9)內(nèi)核參數(shù)優(yōu)化

fs.file-max =999999：這個參數(shù)表示進程（比如一個worker進程）可以同時打開的最大句柄數(shù)，這個參數(shù)直線限制最大并發(fā)連接數(shù)，需根據(jù)實際情況配置。

net.ipv4.tcp_max_tw_buckets= 6000 #這個參數(shù)表示操作系統(tǒng)允許TIME_WAIT套接字數(shù)量的最大值，如果超過這個數(shù)字，TIME_WAIT套接字將立刻被清除并打印警告信息。該參數(shù)默認為180000，過多的TIME_WAIT套接字會使Web服務(wù)器變慢。

注：主動關(guān)閉連接的服務(wù)端會產(chǎn)生TIME_WAIT狀態(tài)的連接
net.ipv4.ip_local_port_range = 1024 65000 #允許系統(tǒng)打開的端口范圍。
net.ipv4.tcp_tw_recycle = 1#啟用timewait快速回收。
net.ipv4.tcp_tw_reuse = 1#開啟重用。允許將TIME-WAITsockets重新用于新的TCP連接。這對于服務(wù)器來說很有意義，因為服務(wù)器上總會有大量TIME-WAIT狀態(tài)的連接。

net.ipv4.tcp_keepalive_time= 30：這個參數(shù)表示當keepalive啟用時，TCP發(fā)送keepalive消息的頻度。默認是2小時，若將其設(shè)置的小一些，可以更快地清理無效的連接。
net.ipv4.tcp_syncookies = 1#開啟SYN Cookies，當出現(xiàn)SYN等待隊列溢出時，啟用cookies來處理。
net.core.somaxconn = 40960 #web 應(yīng)用中 listen 函數(shù)的 backlog 默認會給我們內(nèi)核參數(shù)的net.core.somaxconn 限制到128，而nginx定義的NGX_LISTEN_BACKLOG 默認為511，所以有必要調(diào)整這個值。

注：對于一個TCP連接，Server與Client需要通過三次握手來建立網(wǎng)絡(luò)連接.當三次握手成功后,我們可以看到端口的狀態(tài)由LISTEN轉(zhuǎn)變?yōu)?/span>ESTABLISHED,接著這條鏈路上就可以開始傳送數(shù)據(jù)了.每一個處于監(jiān)聽(Listen)狀態(tài)的端口,都有自己的監(jiān)聽隊列.監(jiān)聽隊列的長度與如somaxconn參數(shù)和使用該端口的程序中listen()函數(shù)有關(guān)

somaxconn參數(shù):定義了系統(tǒng)中每一個端口最大的監(jiān)聽隊列的長度,這是個全局的參數(shù),默認值為128，對于一個經(jīng)常處理新連接的高負載 web服務(wù)環(huán)境來說，默認的 128 太小了。大多數(shù)環(huán)境這個值建議增加到 1024 或者更多。大的偵聽隊列對防止拒絕服務(wù) DoS 攻擊也會有所幫助。
net.core.netdev_max_backlog = 262144 #每個網(wǎng)絡(luò)接口接收數(shù)據(jù)包的速率比內(nèi)核處理這些包的速率快時，允許送到隊列的數(shù)據(jù)包的最大數(shù)目。
net.ipv4.tcp_max_syn_backlog = 262144 #這個參數(shù)標示TCP三次握手建立階段接受SYN請求隊列的最大長度，默認為1024，將其設(shè)置得大一些可以使出現(xiàn)Nginx繁忙來不及accept新連接的情況時，Linux不至于丟失客戶端發(fā)起的連接請求。

net.ipv4.tcp_rmem =10240 87380 12582912#這個參數(shù)定義了TCP接受緩存（用于TCP接受滑動窗口）的最小值、默認值、最大值。

net.ipv4.tcp_wmem = 10240 87380 12582912：這個參數(shù)定義了TCP發(fā)送緩存（用于TCP發(fā)送滑動窗口）的最小值、默認值、最大值。
net.core.rmem_default = 6291456：這個參數(shù)表示內(nèi)核套接字接受緩存區(qū)默認的大小。

net.core.wmem_default = 6291456：這個參數(shù)表示內(nèi)核套接字發(fā)送緩存區(qū)默認的大小。

net.core.rmem_max = 12582912：這個參數(shù)表示內(nèi)核套接字接受緩存區(qū)的最大大小。

net.core.wmem_max = 12582912：這個參數(shù)表示內(nèi)核套接字發(fā)送緩存區(qū)的最大大小。

net.ipv4.tcp_syncookies= 1：該參數(shù)與性能無關(guān)，用于解決TCP的SYN攻擊。

下面貼一個完整的內(nèi)核優(yōu)化設(shè)置：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
fs.file-max = 999999
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route= 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_rmem = 10240 87380 12582912
net.ipv4.tcp_wmem = 10240 87380 12582912
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 40960
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000927000000
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_keepalive_time = 30
net.ipv4.ip_local_port_range = 102465000
執(zhí)行sysctl  -p使內(nèi)核修改生效

(10)關(guān)于系統(tǒng)連接數(shù)的優(yōu)化：

linux 默認值 open files為1024

#ulimit -n

1024

說明server只允許同時打開1024個文件

使用ulimit -a 可以查看當前系統(tǒng)的所有限制值，使用ulimit -n 可以查看當前的最大打開文件數(shù)。

新裝的linux 默認只有1024 ，當作負載較大的服務(wù)器時，很容易遇到error: too many open files。因此，需要將其改大

1
2
3
4
5
在/etc/security/limits.conf最后增加：
*                soft    nofile          65535
*                hard    nofile          65535
*                soft    noproc          65535
*                hard    noproc          65535

二、部署LNMP

1、安裝php

(1)解決依賴關(guān)系

1
[root@www ~]# yum -y installlibxml2-devel libcurl-devel openssl-devel bzip2-devel

安裝libmcrypt

1
2
3
[root@www ~]# tar zxflibmcrypt-2.5.7.tar.gz 
[root@wwwr ~]# cd libmcrypt-2.5.7/
[root@www libmcrypt-2.5.7]# ./configure--prefix=/usr/local/libmcrypt && make && make install

(2)編譯安裝php

1
2
3
4
[root@www ~]# tar zxf php-5.6.27.tar.gz
[root@www ~]# cd php-5.6.27/
[root@www php-5.6.27]# ./configure--prefix=/usr/local/php5.6 --with-mysql=mysqlnd --with-pdo-mysql=mysqlnd--with-mysqli=mysqlnd --with-openssl --enable-fpm --enable-sockets--enable-sysvshm --enable-mbstring --with-freetype-dir --with-jpeg-dir--with-png-dir --with-zlib --with-libxml-dir=/usr --enable-xml --with-mhash--with-mcrypt=/usr/local/libmcrypt --with-config-file-path=/etc--with-config-file-scan-dir=/etc/php.d --with-bz2--enable-maintainer-zts
[root@www php-5.6.27]# make&&make install

(3)提供php配置文件

1
[root@www php-5.6.27]# cpphp.ini-production /etc /php.ini

(4)為php-fpm提供腳本

1
2
3
4
[root@www php-5.6.27]# cpsapi/fpm/init.d.php-fpm /etc/init.d/php-fpm
[root@www php-5.6.27]# chmod +x/etc/init.d/php-fpm 
[root@www php-5.6.27]# chkconfig --addphp-fpm
[root@www php-5.6.27]# chkconfig php-fpm on

(5)提供php-fpm配置文件并編輯：

1
2
3
4
5
6
7
8
9
# cp/usr/local/php5.6/etc/php-fpm.conf.default /usr/local/php5.6/etc/php-fpm.conf
[root@www ~]# vi/usr/local/php5.6/etc/php-fpm.conf
修改內(nèi)容如下：
pid = run/php-fpm.pid
listen = 0.0.0.0:9000
pm.max_children =300
pm.start_servers =20
pm.min_spare_servers = 20
pm.max_spare_servers = 100

啟動php-fpm服務(wù)：

1
2
3
4
5
6
7
8
[root@www ~]# service  php-fpm start
Starting php-fpm  done
[root@www ~]# netstat -anpt | grepphp-fpm
tcp        0     0 0.0.0.0:9000           0.0.0.0:*               LISTEN     25456/php-fpm: mast 
[root@www ~]# firewall-cmd --permanent--add-port=9000/tcp
success
[root@www ~]# firewall-cmd --reload
Success

在nginx.conf文件的server中添加下面內(nèi)容支持php

1
2
3
4
5
6
7
8
9
10
11
12
13
location ~ .*\.(php|php5)?$ {
            root html;
            fastcgi_pass 127.0.0.1:9000;
            fastcgi_index index.php;
            include fastcgi.conf;
            fastcgi_cache cache_fastcgi;
            fastcgi_cache_valid 200 302 1h;
            fastcgi_cache_valid 301 1d;
            fastcgi_cache_valid any 1m;
            fastcgi_cache_min_uses 1;
            fastcgi_cache_use_stale errortimeout invalid_header http_500;
            fastcgi_cache_keyhttp://$host$request_uri;
}

下面是nginx.conf的一個完整配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
user www www;
worker_processes  4;
worker_cpu_affinity 0001 0010 0100 1000;
error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
  
pid        logs/nginx.pid;
  
  
events {
use epoll;
   worker_connections  65535;
   multi_accept on;
}
  
  
http {
include       mime.types;
   default_type application/octet-stream;
  
   #log_format  main  '$remote_addr - $remote_user [$time_local]"$request" '
   #                  '$status$body_bytes_sent "$http_referer" '
   #                 '"$http_user_agent" "$http_x_forwarded_for"';
  
   #access_log  logs/access.log  main;
  
   sendfile        on;
   tcp_nopush     on;
   keepalive_timeout  65;
   tcp_nodelay on;
   client_header_buffer_size 4k;
   open_file_cache max=102400 inactive=20s;
   open_file_cache_valid 30s;
   open_file_cache_min_uses 1;
   client_header_timeout 15;
   client_body_timeout 15;
   reset_timedout_connection on;
   send_timeout 15;
   server_tokens off;
   client_max_body_size 10m;
  
   fastcgi_connect_timeout     600;
   fastcgi_send_timeout 600;
   fastcgi_read_timeout 600;
   fastcgi_buffer_size 64k;
   fastcgi_buffers     4 64k;
   fastcgi_busy_buffers_size 128k;
   fastcgi_temp_file_write_size 128k;
   fastcgi_temp_path /usr/local/nginx1.10/nginx_tmp;
   fastcgi_intercept_errors on;
   fastcgi_cache_path /usr/local/nginx1.10/fastcgi_cache levels=1:2keys_zone=cache_fastcgi:128m inactive=1d max_size=10g;
  
gzip on;
   gzip_min_length  2k;
   gzip_buffers     4 32k;
   gzip_http_version 1.1;
   gzip_comp_level 6;
   gzip_types  text/plain text/csstext/javascript application/json application/javascriptapplication/x-javascript application/xml;
   gzip_vary on;
   gzip_proxied any;
server {
       listen       80;
       server_name  www.benet.com;
  
       #charset koi8-r;
  
       #access_log logs/host.access.log  main;
  
       location ~* ^.+\.(jpg|gif|png|swf|flv|wma|wmv|asf|mp3|mmf|zip|rar)$ {
            valid_referers none blocked  www.benet.com benet.com;
            if ($invalid_referer) {
                #return 302  http://www.benet.com/img/nolink.jpg;
                return 404;
                break;
             }
             access_log off;
       }
       location / {
             root   html;
             index  index.php index.html index.htm;
       }
       location ~* \.(ico|jpe?g|gif|png|bmp|swf|flv)$ {
            expires 30d;
            #log_not_found off;
            access_log off;
       }
  
       location ~* \.(js|css)$ {
            expires 7d;
            log_not_found off;
            access_log off;
       }      
  
       location = /(favicon.ico|roboots.txt) {
            access_log off;
            log_not_found off;
       }
       location /status {
            stub_status on;
       }
       location ~ .*\.(php|php5)?$ {
            root html;
            fastcgi_pass 127.0.0.1:9000;
            fastcgi_index index.php;
            include fastcgi.conf;
            fastcgi_cache cache_fastcgi;
            fastcgi_cache_valid 200 302 1h;
            fastcgi_cache_valid 301 1d;
            fastcgi_cache_valid any 1m;
            fastcgi_cache_min_uses 1;
            fastcgi_cache_use_stale errortimeout invalid_header http_500;
            fastcgi_cache_keyhttp://$host$request_uri;
       }
       #error_page  404              /404.html;
  
       # redirect server error pages to the static page /50x.html
       #
       error_page   500 502 503 504  /50x.html;
       location = /50x.html {
             root   html;
       }
  }
}

重載nginx服務(wù)

1
[root@www ~]#/usr/local/nginx1.10/sbin/nginx -s reload

三、驗證、壓力測試

(1)驗證防盜鏈

使用apache做為一個測試站點，域名為www.test.com，在測試頁上做一個超鏈接，鏈接nginx站點的一張圖片

[root@centos1 ~]# cat/var/www/html/index.html

<a rel="external nofollow" target="_blank" >lianjie</a>

Nginx站點的網(wǎng)頁目錄結(jié)如下

tree /usr/local/nginx1.10/html/

/usr/local/nginx1.10/html/

├── 11.gif

├── 50x.html

├── img

│   └── nolink.jpg

├── index.html

├── test.php

在客戶端瀏覽器中輸入www.test.com  (注意域名解析和防火墻)

點擊頁面鏈接

從上圖可以看到防盜鏈設(shè)置生效了

(2)驗證gzip功能

使用谷歌瀏覽器測試訪問，如下圖顯示結(jié)果：（提示：在訪問測試頁之前按F12鍵）

用戶訪問test.php文件，在上圖中content-encoding:gzip表明響應(yīng)給用戶的數(shù)據(jù)是壓縮傳輸。

(3)壓力測試

安裝httpd-tools軟件包

1
2
3
4
5
[root@www ~]# yum -y install httpd-tools
[root@www ~]# ab -c 500 -n 50000 http://www.benet.com/index.html
This is ApacheBench, Version 2.3<$Revision: 1430300 $>
Copyright 1996 Adam Twiss, ZeusTechnology Ltd, http://www.zeustech.net/
Licensed to The Apache SoftwareFoundation, http://www.apache.org/
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
Benchmarking www.benet.com (be patient)
Completed 5000 requests
Completed 10000 requests
Completed 15000 requests
Completed 20000 requests
Completed 25000 requests
Completed 30000 requests
Completed 35000 requests
Completed 40000 requests
Completed 45000 requests
Completed 50000 requests
Finished 50000 requests
  
  
Server Software:        IIS
Server Hostname:        www.benet.com
Server Port:            80
  
Document Path:          /index.html
Document Length:        612 bytes
  
Concurrency Level:      500
Time taken for tests:   5.734 seconds
Complete requests:      50000
Failed requests:        0
Write errors:           0
Total transferred:      41800000 bytes
HTML transferred:       30600000 bytes
Requests persecond:    8719.82 [#/sec] (mean)
Time per request:       57.341 [ms] (mean)
Time per request:       0.115 [ms] (mean, across all concurrentrequests)
Transfer rate:          7118.92 [Kbytes/sec] received
  
Connection Times (ms)
min mean[+/-sd] median   max
Connect:        1  25   4.2     25     38
Processing:     7  32   5.5     31     47
Waiting:        4  24   6.8     21     39
Total:         40  57   3.9     57     71
  
Percentage of the requests served withina certain time (ms)
 50%     57
 66%     59
 75%     59
 80%     60
 90%     61
 95%     62
 98%     63
  99%    64
 100%    71 (longest request)


第二次壓力測試，比較兩次的差異

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
[root@www ~]# ab -c 1000 -n 100000http://www.benet.com/index.html
This is ApacheBench, Version 2.3<$Revision: 1430300 $>
Copyright 1996 Adam Twiss, ZeusTechnology Ltd, http://www.zeustech.net/
Licensed to The Apache SoftwareFoundation, http://www.apache.org/
  
Benchmarking www.benet.com (be patient)
Completed 10000 requests
Completed 20000 requests
Completed 30000 requests
Completed 40000 requests
Completed 50000 requests
Completed 60000 requests
Completed 70000 requests
Completed 80000 requests
Completed 90000 requests
Completed 100000 requests
Finished 100000 requests
  
  
Server Software:        IIS
Server Hostname:        www.benet.com
Server Port:            80
  
Document Path:          /index.html
Document Length:        612 bytes
  
Concurrency Level:      1000
Time taken for tests:   12.010 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      83600000 bytes
HTML transferred:       61200000 bytes
Requests persecond:    8326.49 [#/sec] (mean)
Time per request:       120.099 [ms] (mean)
Time per request:       0.120 [ms] (mean, across all concurrentrequests)
Transfer rate:          6797.80 [Kbytes/sec] received
  
Connection Times (ms)
min mean[+/-sd] median   max
Connect:        1  53   8.9     53     82
Processing:    17  67  11.4     66     98
Waiting:        0  49  14.3     43     84
Total:         70 119   6.5    120    140
  
Percentage of the requests served withina certain time (ms)
 50%    120
 66%    122
 75%    123
 80%    124
 90%    126
 95%    128
 98%    129
 99%    130
 100%   140 (longest request)
(5)xcache加速php
安裝xcache
wgethttp://xcache.lighttpd.net/pub/Releases/3.2.0/xcache-3.2.0.tar.gz #下載
[root@www ~]# tar zxfxcache-3.2.0.tar.gz #解壓
[root@www ~]# cd xcache-3.2.0/ #進入安裝目錄
[root@www xcache-3.2.0]#/usr/local/php5.6/bin/phpize#用phpize生成configure配置文件
[root@www xcache-3.2.0]# ./configure--enable-xcache --enable-xcache-coverager --enable-xcache-optimizer --with-php-config=/usr/local/php5.6/bin/php-config  #配置
[root@www xcache-3.2.0]# make &&make install  #編譯、安裝

Installing sharedextensions:

/usr/local/php5.6/lib/php/extensions/no-debug-zts-20131226/

 安裝完成之后，出現(xiàn)下面的界面，記住以下路徑，后面會用到

/usr/local/php5.6/lib/php/extensions/no-debug-zts-20131226/

2）創(chuàng)建xcache緩存文件

1
2
# touch /tmp/xcache
# chmod 777 /tmp/xcache

3）拷貝xcache后臺管理程序到網(wǎng)站根目錄

1
[root@www xcache-3.2.0]# cp -r htdocs/ /usr/local/nginx1.10/html/xcache

4）配置php支持xcache

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
vi / etc/php.ini #編輯配置文件，在最后一行添加以下內(nèi)容
[xcache-common]
extension =/usr/local/php5.6/lib/php/extensions/no-debug-zts-20131226/xcache.so
[xcache.admin]
xcache.admin.enable_auth = Off
[xcache]
xcache.shm_scheme ="mmap"
xcache.size=60M
xcache.count =1
xcache.slots =8K
xcache.ttl=0
xcache.gc_interval =0
xcache.var_size=64M
xcache.var_count =1
xcache.var_slots =8K
xcache.var_ttl=0
xcache.var_maxttl=0
xcache.var_gc_interval =300
xcache.test =Off
xcache.readonly_protection = Off
xcache.mmap_path="/tmp/xcache"
xcache.coredump_directory =""
xcache.cacher =On
xcache.stat=On
xcache.optimizer =Off
[xcache.coverager]
xcache.coverager =On
xcache.coveragedump_directory=""

測試

service php-fpm restart #重啟php-fpm

瀏覽器打開網(wǎng)站根目錄下面的xcache

http://http://www.benet.com/xcache可以看到如下頁面：

測試對php動態(tài)頁面的壓力測試

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
[root@www ~]# ab -c 1000 -n 100000http://www.benet.com/test.php
This is ApacheBench, Version 2.3<$Revision: 1430300 $>
Copyright 1996 Adam Twiss, ZeusTechnology Ltd, http://www.zeustech.net/
Licensed to The Apache SoftwareFoundation, http://www.apache.org/
  
Benchmarking www.benet.com (be patient)
Completed 10000 requests
Completed 20000 requests
Completed 30000 requests
Completed 40000 requests
Completed 50000 requests
Completed 60000 requests
Completed 70000 requests
Completed 80000 requests
Completed 90000 requests
Completed 100000 requests
Finished 100000 requests
  
  
Server Software:        IIS
Server Hostname:        www.benet.com
Server Port:            80
  
Document Path:          /test.php
Document Length:        85102 bytes
  
Concurrency Level:      1000
Time taken for tests:   13.686 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      8527900000 bytes
HTML transferred:       8510200000 bytes
Requests persecond:    7306.71 [#/sec] (mean)
Time per request:       136.861 [ms] (mean)
Time per request:       0.137 [ms] (mean, across all concurrentrequests)
Transfer rate:          608504.46 [Kbytes/sec] received
  
Connection Times (ms)
min mean[+/-sd] median   max
Connect:        0  17   5.5     17     81
Processing:    21 119  10.8    121    140
Waiting:        1  17   6.7     16     68
Total:         50 136   8.1    137    151
  
Percentage of the requests served withina certain time (ms)
 50%    137
 66%    139
 75%    140
 80%    141
 90%    143
 95%    144
 98%    146
 99%    148
 100%   151 (longest request)


 

 


本文出自 “一盞燭光” 博客，謝絕轉(zhuǎn)載！

以上內(nèi)容是否對您有幫助：
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號