Python Tornado 介紹

本文出處：http://demo.pythoner.com/itt2zh/
在線地址：http://m.hgci.cn/python_tornado/

中文翻譯：你像從前一樣

在過去的五年里，Web開發(fā)人員的可用工具實現(xiàn)了跨越式地增長。當技術(shù)專家不斷推動極限，使Web應(yīng)用無處不在時，我們也不得不升級我們的工具、創(chuàng)建框架以保證構(gòu)建更好的應(yīng)用。我們希望能夠使用新的工具，方便我們寫出更加整潔、可維護的代碼，使部署到世界各地的用戶時擁有高效的可擴展性。

這就讓我們談?wù)摰絋ornado，一個編寫易創(chuàng)建、擴展和部署的強力Web應(yīng)用的夢幻選擇。我們?nèi)齻€都因為Tornado的速度、簡單和可擴展性而深深地愛上了它，在一些個人項目中嘗試之后，我們將其運用到日常工作中。我們已經(jīng)看到，Tornado在很多大型或小型的項目中提升了開發(fā)者的速度（和樂趣?。?，同時，其魯棒性和輕量級也給開發(fā)者一次又一次留下了深刻的印象。

本教程的目的是對Tornado Web服務(wù)器進行一個概述，通過框架基礎(chǔ)、一些示例應(yīng)用和真實世界使用的最佳實踐來引導讀者。我們將使用示例來詳細講解Tornado如何工作，你可以用它做什么，以及在構(gòu)建自己第一個應(yīng)用時要避免什么。

在本教程中，我們假定你對Python已經(jīng)有了粗略的了解，知道Web服務(wù)如何運作，對數(shù)據(jù)庫有一定的熟悉。有一些不錯的書籍可以為你深入了解這些提供參考（比如Learning Python，Restful Web Service和MongoDB: The Definitive Guide）。

你可以在Github上獲得本書中示例的代碼。如果你有關(guān)于這些示例或其他方面的任何思想，歡迎在那里告訴我們。

所以，事不宜遲，讓我們開始深入了解吧！

1.1 Tornado是什么？

Tornado是使用Python編寫的一個強大的、可擴展的Web服務(wù)器。它在處理嚴峻的網(wǎng)絡(luò)流量時表現(xiàn)得足夠強健，但卻在創(chuàng)建和編寫時有著足夠的輕量級，并能夠被用在大量的應(yīng)用和工具中。

我們現(xiàn)在所知道的Tornado是基于Bret Taylor和其他人員為FriendFeed所開發(fā)的網(wǎng)絡(luò)服務(wù)框架，當FriendFeed被Facebook收購后得以開源。不同于那些最多只能達到10,000個并發(fā)連接的傳統(tǒng)網(wǎng)絡(luò)服務(wù)器，Tornado在設(shè)計之初就考慮到了性能因素，旨在解決C10K問題，這樣的設(shè)計使得其成為一個擁有非常高性能的框架。此外，它還擁有處理安全性、用戶驗證、社交網(wǎng)絡(luò)以及與外部服務(wù)（如數(shù)據(jù)庫和網(wǎng)站API）進行異步交互的工具。

延伸閱讀：C10K問題

基于線程的服務(wù)器，如Apache，為了傳入的連接，維護了一個操作系統(tǒng)的線程池。Apache會為每個HTTP連接分配線程池中的一個線程，如果所有的線程都處于被占用的狀態(tài)并且尚有內(nèi)存可用時，則生成一個新的線程。盡管不同的操作系統(tǒng)會有不同的設(shè)置，大多數(shù)Linux發(fā)布版中都是默認線程堆大小為8MB。Apache的架構(gòu)在大負載下變得不可預測，為每個打開的連接維護一個大的線程池等待數(shù)據(jù)極易迅速耗光服務(wù)器的內(nèi)存資源。

大多數(shù)社交網(wǎng)絡(luò)應(yīng)用都會展示實時更新來提醒新消息、狀態(tài)變化以及用戶通知，這就要求客戶端需要保持一個打開的連接來等待服務(wù)器端的任何響應(yīng)。這些長連接或推送請求使得Apache的最大線程池迅速飽和。一旦線程池的資源耗盡，服務(wù)器將不能再響應(yīng)新的請求。

異步服務(wù)器在這一場景中的應(yīng)用相對較新，但他們正是被設(shè)計用來減輕基于線程的服務(wù)器的限制的。當負載增加時，諸如Node.js，lighttpd和Tornodo這樣的服務(wù)器使用協(xié)作的多任務(wù)的方式進行優(yōu)雅的擴展。也就是說，如果當前請求正在等待來自其他資源的數(shù)據(jù)（比如數(shù)據(jù)庫查詢或HTTP請求）時，一個異步服務(wù)器可以明確地控制以掛起請求。異步服務(wù)器用來恢復暫停的操作的一個常見模式是當合適的數(shù)據(jù)準備好時調(diào)用回調(diào)函數(shù)。我們將會在第五章講解回調(diào)函數(shù)模式以及一系列Tornado異步功能的應(yīng)用。

自從2009年9月10日發(fā)布以來，TornadoTornado已經(jīng)獲得了很多社區(qū)的支持，并且在一系列不同的場合得到應(yīng)用。除FriendFeed和Facebook外，還有很多公司在生產(chǎn)上轉(zhuǎn)向Tornado，包括Quora、Turntable.fm、Bit.ly、Hipmunk以及MyYearbook等。

總之，如果你在尋找你那龐大的CMS或一體化開發(fā)框架的替代品，Tornado可能并不是一個好的選擇。Tornado并不需要你擁有龐大的模型建立特殊的方式，或以某種確定的形式處理表單，或其他類似的事情。它所做的是讓你能夠快速簡單地編寫高速的Web應(yīng)用。如果你想編寫一個可擴展的社交應(yīng)用、實時分析引擎，或RESTful API，那么簡單而強大的Python，以及Tornado（和這本書）正是為你準備的！

1.1.1 Tornado入門

在大部分*nix系統(tǒng)中安裝Tornado非常容易--你既可以從PyPI獲?。ú⑹褂?code>easy_install或pip安裝），也可以從Github上下載源碼編譯安裝，如下所示[1]：

$ curl -L -O https://github.com/facebook/tornado/archive/v3.1.0.tar.gz
$ tar xvzf v3.1.0.tar.gz
$ cd tornado-3.1.0
$ python setup.py build
$ sudo python setup.py install

Tornado官方并不支持Windows，但你可以通過ActivePython的PyPM包管理器進行安裝，類似如下所示：

C:\> pypm install tornado

一旦Tornado在你的機器上安裝好，你就可以很好的開始了！壓縮包中包含很多demo，比如建立博客、整合Facebook、運行聊天服務(wù)等的示例代碼。我們稍后會在本書中通過一些示例應(yīng)用逐步講解，不過你也應(yīng)該看看這些官方demo。

本書中的代碼假定你使用的是基于Unix的系統(tǒng)，并且使用的是Python2.6或2.7版本。如果是這樣，你就不需要任何除了Python標準庫之外的東西。如果你的Python版本是2.5或更低，在安裝pycURL、simpleJSON和Python開發(fā)頭文件后可以運行Tornado。[2]

1.1.2 社區(qū)和支持

對于問題、示例和一般的指南，Tornado官方文檔是個不錯的選擇。在tornadoweb.org上有大量的例子和功能缺陷，更多細節(jié)和變更可以在Tornado在Github上的版本庫中看到。而對于更具體的問題，可以到Tornado的Google Group中咨詢，那里有很多活躍的日常使用Tornado的開發(fā)者。

1.2 簡單的Web服務(wù)

既然我們已經(jīng)知道了Tornado是什么了，現(xiàn)在讓我們看看它能做什么吧。我們首先從使用Tornado編寫一個簡單的Web應(yīng)用開始。

1.2.1 Hello Tornado

Tornado是一個編寫對HTTP請求響應(yīng)的框架。作為程序員，你的工作是編寫響應(yīng)特定條件HTTP請求的響應(yīng)的handler。下面是一個全功能的Tornado應(yīng)用的基礎(chǔ)示例：

代碼清單1-1 基礎(chǔ)：hello.py

import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web

from tornado.options import define, options
define("port", default=8000, help="run on the given port", type=int)

class IndexHandler(tornado.web.RequestHandler):
    def get(self):
        greeting = self.get_argument('greeting', 'Hello')
        self.write(greeting + ', friendly user!')

if __name__ == "__main__":
    tornado.options.parse_command_line()
    app = tornado.web.Application(handlers=[(r"/", IndexHandler)])
    http_server = tornado.httpserver.HTTPServer(app)
    http_server.listen(options.port)
    tornado.ioloop.IOLoop.instance().start()

編寫一個Tornado應(yīng)用中最多的工作是定義類繼承Tornado的RequestHandler類。在這個例子中，我們創(chuàng)建了一個簡單的應(yīng)用，在給定的端口監(jiān)聽請求，并在根目錄（"/"）響應(yīng)請求。

你可以在命令行里嘗試運行這個程序以測試輸出：

$ python hello.py --port=8000

現(xiàn)在你可以在瀏覽器中打開 http://localhost:8000，或者打開另一個終端窗口使用curl測試我們的應(yīng)用：

$ curl http://localhost:8000/
Hello, friendly user!
$ curl http://localhost:8000/?greeting=Salutations
Salutations, friendly user!

讓我們把這個例子分成小塊，逐步分析它們：

import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web

在程序的最頂部，我們導入了一些Tornado模塊。雖然Tornado還有另外一些有用的模塊，但在這個例子中我們必須至少包含這四個模塊。

from tornado.options import define, options
define("port", default=8000, help="run on the given port", type=int)

Tornado包括了一個有用的模塊（tornado.options）來從命令行中讀取設(shè)置。我們在這里使用這個模塊指定我們的應(yīng)用監(jiān)聽HTTP請求的端口。它的工作流程如下：如果一個與define語句中同名的設(shè)置在命令行中被給出，那么它將成為全局options的一個屬性。如果用戶運行程序時使用了--help選項，程序?qū)⒋蛴〕鏊心愣x的選項以及你在define函數(shù)的help參數(shù)中指定的文本。如果用戶沒有為這個選項指定值，則使用default的值進行代替。Tornado使用type參數(shù)進行基本的參數(shù)類型驗證，當不合適的類型被給出時拋出一個異常。因此，我們允許一個整數(shù)的port參數(shù)作為options.port來訪問程序。如果用戶沒有指定值，則默認為8000。

class IndexHandler(tornado.web.RequestHandler):
    def get(self):
        greeting = self.get_argument('greeting', 'Hello')
        self.write(greeting + ', friendly user!')

這是Tornado的請求處理函數(shù)類。當處理一個請求時，Tornado將這個類實例化，并調(diào)用與HTTP請求方法所對應(yīng)的方法。在這個例子中，我們只定義了一個get方法，也就是說這個處理函數(shù)將對HTTP的GET請求作出響應(yīng)。我們稍后將看到實現(xiàn)不止一個HTTP方法的處理函數(shù)。

greeting = self.get_argument('greeting', 'Hello')

Tornado的RequestHandler類有一系列有用的內(nèi)建方法，包括get_argument，我們在這里從一個查詢字符串中取得參數(shù)greeting的值。（如果這個參數(shù)沒有出現(xiàn)在查詢字符串中，Tornado將使用get_argument的第二個參數(shù)作為默認值。）

self.write(greeting + ', friendly user!')

RequestHandler的另一個有用的方法是write，它以一個字符串作為函數(shù)的參數(shù)，并將其寫入到HTTP響應(yīng)中。在這里，我們使用請求中g(shù)reeting參數(shù)提供的值插入到greeting中，并寫回到響應(yīng)中。

if __name__ == "__main__":
    tornado.options.parse_command_line()
    app = tornado.web.Application(handlers=[(r"/", IndexHandler)])

這是真正使得Tornado運轉(zhuǎn)起來的語句。首先，我們使用Tornado的options模塊來解析命令行。然后我們創(chuàng)建了一個Tornado的Application類的實例。傳遞給Application類init方法的最重要的參數(shù)是handlers。它告訴Tornado應(yīng)該用哪個類來響應(yīng)請求。馬上我們講解更多相關(guān)知識。

http_server = tornado.httpserver.HTTPServer(app)
http_server.listen(options.port)
tornado.ioloop.IOLoop.instance().start()

從這里開始的代碼將會被反復使用：一旦Application對象被創(chuàng)建，我們可以將其傳遞給Tornado的HTTPServer對象，然后使用我們在命令行指定的端口進行監(jiān)聽（通過options對象取出。）最后，在程序準備好接收HTTP請求后，我們創(chuàng)建一個Tornado的IOLoop的實例。

1.2.1.1 參數(shù)handlers

讓我們再看一眼hello.py示例中的這一行：

app = tornado.web.Application(handlers=[(r"/", IndexHandler)])

這里的參數(shù)handlers非常重要，值得我們更加深入的研究。它應(yīng)該是一個元組組成的列表，其中每個元組的第一個元素是一個用于匹配的正則表達式，第二個元素是一個RequestHanlder類。在hello.py中，我們只指定了一個正則表達式-RequestHanlder對，但你可以按你的需要指定任意多個。

1.2.1.2 使用正則表達式指定路徑

Tornado在元組中使用正則表達式來匹配HTTP請求的路徑。（這個路徑是URL中主機名后面的部分，不包括查詢字符串和碎片。）Tornado把這些正則表達式看作已經(jīng)包含了行開始和結(jié)束錨點（即，字符串"/"被看作為"^/$"）。

如果一個正則表達式包含一個捕獲分組（即，正則表達式中的部分被括號括起來），匹配的內(nèi)容將作為相應(yīng)HTTP請求的參數(shù)傳到RequestHandler對象中。我們將在下個例子中看到它的用法。

1.2.2 字符串服務(wù)

例1-2是一個我們目前為止看到的更復雜的例子，它將介紹更多Tornado的基本概念。

代碼清單1-2 處理輸入：string_service.py

import textwrap

import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web

from tornado.options import define, options
define("port", default=8000, help="run on the given port", type=int)

class ReverseHandler(tornado.web.RequestHandler):
    def get(self, input):
        self.write(input[::-1])

class WrapHandler(tornado.web.RequestHandler):
    def post(self):
        text = self.get_argument('text')
        width = self.get_argument('width', 40)
        self.write(textwrap.fill(text, int(width)))

if __name__ == "__main__":
    tornado.options.parse_command_line()
    app = tornado.web.Application(
        handlers=[
            (r"/reverse/(\w+)", ReverseHandler),
            (r"/wrap", WrapHandler)
        ]
    )
    http_server = tornado.httpserver.HTTPServer(app)
    http_server.listen(options.port)
    tornado.ioloop.IOLoop.instance().start()

如同運行第一個例子，你可以在命令行中運行這個例子使用如下的命令：

$ python string_service.py --port=8000

這個程序是一個通用的字符串操作的Web服務(wù)端基本框架。到目前為止，你可以用它做兩件事情。其一，到/reverse/string的GET請求將會返回URL路徑中指定字符串的反轉(zhuǎn)形式。

$ curl http://localhost:8000/reverse/stressed
desserts

$ curl http://localhost:8000/reverse/slipup
pupils

其二，到/wrap的POST請求將從參數(shù)text中取得指定的文本，并返回按照參數(shù)width指定寬度裝飾的文本。下面的請求指定一個沒有寬度的字符串，所以它的輸出寬度被指定為程序中的get_argument的默認值40個字符。

$ http://localhost:8000/wrap -d text=Lorem+ipsum+dolor+sit+amet,+consectetuer+adipiscing+elit.
Lorem ipsum dolor sit amet, consectetuer
adipiscing elit.

字符串服務(wù)示例和上一節(jié)示例代碼中大部分是一樣的。讓我們關(guān)注那些新的代碼。首先，讓我們看看傳遞給Application構(gòu)造函數(shù)的handlers參數(shù)的值：

app = tornado.web.Application(handlers=[
    (r"/reverse/(\w+)", ReverseHandler),
    (r"/wrap", WrapHandler)
])

在上面的代碼中，Application類在"handlers"參數(shù)中實例化了兩個RequestHandler類對象。第一個引導Tornado傳遞路徑匹配下面的正則表達式的請求：

/reverse/(\w+)

正則表達式告訴Tornado匹配任何以字符串/reverse/開始并緊跟著一個或多個字母的路徑。括號的含義是讓Tornado保存匹配括號里面表達式的字符串，并將其作為請求方法的一個參數(shù)傳遞給RequestHandler類。讓我們檢查ReverseHandler的定義來看看它是如何工作的：

class ReverseHandler(tornado.web.RequestHandler):
    def get(self, input):
        self.write(input[::-1])

你可以看到這里的get方法有一個額外的參數(shù)input。這個參數(shù)將包含匹配處理函數(shù)正則表達式第一個括號里的字符串。（如果正則表達式中有一系列額外的括號，匹配的字符串將被按照在正則表達式中出現(xiàn)的順序作為額外的參數(shù)傳遞進來。）

現(xiàn)在，讓我們看一下WrapHandler的定義：

class WrapHandler(tornado.web.RequestHandler):
    def post(self):
        text = self.get_argument('text')
        width = self.get_argument('width', 40)
        self.write(textwrap.fill(text, int(width)))

WrapHandler類處理匹配路徑為/wrap的請求。這個處理函數(shù)定義了一個post方法，也就是說它接收HTTP的POST方法的請求。

我們之前使用RequestHandler對象的get_argument方法來捕獲請求查詢字符串的的參數(shù)。同樣，我們也可以使用相同的方法來獲得POST請求傳遞的參數(shù)。（Tornado可以解析URLencoded和multipart結(jié)構(gòu)的POST請求）。一旦我們從POST中獲得了文本和寬度的參數(shù)，我們使用Python內(nèi)建的textwrap模塊來以指定的寬度裝飾文本，并將結(jié)果字符串寫回到HTTP響應(yīng)中。

1.2.3 關(guān)于RequestHandler的更多知識

到目前為止，我們已經(jīng)了解了RequestHandler對象的基礎(chǔ)：如何從一個傳入的HTTP請求中獲得信息（使用get_argument和傳入到get和post的參數(shù)）以及寫HTTP響應(yīng)（使用write方法）。除此之外，還有很多需要學習的，我們將在接下來的章節(jié)中進行講解。同時，還有一些關(guān)于RequestHandler和Tornado如何使用它的只是需要記住。

1.2.3.1 HTTP方法

截止到目前討論的例子，每個RequestHandler類都只定義了一個HTTP方法的行為。但是，在同一個處理函數(shù)中定義多個方法是可能的，并且是有用的。把概念相關(guān)的功能綁定到同一個類是一個很好的方法。比如，你可能會編寫一個處理函數(shù)來處理數(shù)據(jù)庫中某個特定ID的對象，既使用GET方法，也使用POST方法。想象GET方法來返回這個部件的信息，而POST方法在數(shù)據(jù)庫中對這個ID的部件進行改變：

# matched with (r"/widget/(\d+)", WidgetHandler)
class WidgetHandler(tornado.web.RequestHandler):
    def get(self, widget_id):
        widget = retrieve_from_db(widget_id)
        self.write(widget.serialize())

    def post(self, widget_id):
        widget = retrieve_from_db(widget_id)
        widget['foo'] = self.get_argument('foo')
        save_to_db(widget)

我們到目前為止只是用了GET和POST方法，但Tornado支持任何合法的HTTP請求（GET、POST、PUT、DELETE、HEAD、OPTIONS）。你可以非常容易地定義上述任一種方法的行為，只需要在RequestHandler類中使用同名的方法。下面是另一個想象的例子，在這個例子中針對特定frob ID的HEAD請求只根據(jù)frob是否存在給出信息，而GET方法返回整個對象：

# matched with (r"/frob/(\d+)", FrobHandler)
class FrobHandler(tornado.web.RequestHandler):
    def head(self, frob_id):
        frob = retrieve_from_db(frob_id)
        if frob is not None:
            self.set_status(200)
        else:
            self.set_status(404)
    def get(self, frob_id):
        frob = retrieve_from_db(frob_id)
        self.write(frob.serialize())

1.2.3.2 HTTP狀態(tài)碼

從上面的代碼可以看出，你可以使用RequestHandler類的ser_status()方法顯式地設(shè)置HTTP狀態(tài)碼。然而，你需要記住在某些情況下，Tornado會自動地設(shè)置HTTP狀態(tài)碼。下面是一個常用情況的綱要：

404 Not Found

Tornado會在HTTP請求的路徑無法匹配任何RequestHandler類相對應(yīng)的模式時返回404（Not Found）響應(yīng)碼。

400 Bad Request

如果你調(diào)用了一個沒有默認值的get_argument函數(shù)，并且沒有發(fā)現(xiàn)給定名稱的參數(shù)，Tornado將自動返回一個400（Bad Request）響應(yīng)碼。

405 Method Not Allowed

如果傳入的請求使用了RequestHandler中沒有定義的HTTP方法（比如，一個POST請求，但是處理函數(shù)中只有定義了get方法），Tornado將返回一個405（Methos Not Allowed）響應(yīng)碼。

500 Internal Server Error

當程序遇到任何不能讓其退出的錯誤時，Tornado將返回500（Internal Server Error）響應(yīng)碼。你代碼中任何沒有捕獲的異常也會導致500響應(yīng)碼。

200 OK

如果響應(yīng)成功，并且沒有其他返回碼被設(shè)置，Tornado將默認返回一個200（OK）響應(yīng)碼。

當上述任何一種錯誤發(fā)生時，Tornado將默認向客戶端發(fā)送一個包含狀態(tài)碼和錯誤信息的簡短片段。如果你想使用自己的方法代替默認的錯誤響應(yīng)，你可以重寫write_error方法在你的RequestHandler類中。比如，代碼清單1-3是hello.py示例添加了常規(guī)的錯誤消息的版本。

代碼清單1-3 常規(guī)錯誤響應(yīng)：hello-errors.py

import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web

from tornado.options import define, options
define("port", default=8000, help="run on the given port", type=int)

class IndexHandler(tornado.web.RequestHandler):
    def get(self):
        greeting = self.get_argument('greeting', 'Hello')
        self.write(greeting + ', friendly user!')
    def write_error(self, status_code, **kwargs):
        self.write("Gosh darnit, user! You caused a %d error." % status_code)

if __name__ == "__main__":
    tornado.options.parse_command_line()
    app = tornado.web.Application(handlers=[(r"/", IndexHandler)])
    http_server = tornado.httpserver.HTTPServer(app)
    http_server.listen(options.port)
    tornado.ioloop.IOLoop.instance().start()

當我們嘗試一個POST請求時，會得到下面的響應(yīng)。一般來說，我們應(yīng)該得到Tornado默認的錯誤響應(yīng)，但因為我們覆寫了write_error，我們會得到不一樣的東西：

$ curl -d foo=bar http://localhost:8000/
Gosh darnit, user! You caused a 405 error.

1.2.4 下一步

現(xiàn)在你已經(jīng)明白了最基本的東西，我們渴望你想了解更多。在接下來的章節(jié)，我們將向你展示能夠幫助你使用Tornado創(chuàng)建成熟的Web服務(wù)和應(yīng)用的功能和技術(shù)。首先是：Tornado的模板系統(tǒng)。

[1] 壓縮包地址已更新到Tornado的最新版本3.1.0。
[2] 書中原文中關(guān)于Python3.X版本的兼容性問題目前已不存在，因此省略該部分。