Tornado 異步和非阻塞 I/O

2022-04-24 19:00 更新

異步和非阻塞 I/O

實(shí)時(shí) Web 功能需要每個(gè)用戶的長(zhǎng)期空閑連接。在傳統(tǒng)的同步 Web 服務(wù)器中,這意味著為每個(gè)用戶分配一個(gè)線程,這可能非常昂貴。

為了最小化并發(fā)連接的成本,Tornado 使用單線程事件循環(huán)。這意味著所有應(yīng)用程序代碼都應(yīng)該以異步和非阻塞為目標(biāo),因?yàn)橐淮沃荒芗せ钜粋€(gè)操作。

術(shù)語(yǔ)異步和非阻塞密切相關(guān),經(jīng)?;Q使用,但它們并不完全相同。

阻塞

當(dāng)一個(gè)函數(shù)在返回之前等待某事發(fā)生時(shí)會(huì)阻塞。一個(gè)函數(shù)可能會(huì)因?yàn)槎喾N原因而阻塞:網(wǎng)絡(luò) I/O、磁盤 I/O、互斥鎖等。事實(shí)上,每個(gè)函數(shù)在運(yùn)行和使用 CPU 時(shí)都會(huì)阻塞,至少有一點(diǎn)點(diǎn)阻塞(舉一個(gè)極端的例子來(lái)演示為什么 CPU 阻塞必須像其他類型的阻塞一樣受到重視,請(qǐng)考慮密碼散列函數(shù),如 bcrypt,其設(shè)計(jì)使用數(shù)百毫秒的 CPU 時(shí)間,遠(yuǎn)遠(yuǎn)超過典型的網(wǎng)絡(luò)或磁盤訪問)。

一個(gè)函數(shù)在某些方面可以是阻塞的,而在其他方面可以是非阻塞的。在 Tornado 的上下文中,我們通常在網(wǎng)絡(luò) I/O 的上下文中討論阻塞,盡管所有類型的阻塞都將被最小化。

異步

異步函數(shù)在完成之前返回,并且通常會(huì)在觸發(fā)應(yīng)用程序中的某些未來(lái)操作之前在后臺(tái)發(fā)生一些工作(與正常的 同步函數(shù)相反,它們?cè)诜祷刂巴瓿伤鼈儗⒁龅乃惺虑椋?。異步接口有多種風(fēng)格:

  • 回調(diào)參數(shù)
  • 返回占位符 ( Future, Promise, Deferred)
  • 交付到隊(duì)列
  • 回調(diào)注冊(cè)表(例如 POSIX 信號(hào))

無(wú)論使用哪種類型的接口, 根據(jù)定義,異步函數(shù)與其調(diào)用者的交互方式不同;沒有免費(fèi)的方法可以以對(duì)其調(diào)用者透明的方式使同步函數(shù)異步(像gevent 之類的系統(tǒng)使用輕量級(jí)線程來(lái)提供與異步系統(tǒng)相當(dāng)?shù)男阅?,但它們?shí)際上并沒有使事情異步)。

Tornado 中的異步操作通常返回占位符對(duì)象 ( Futures),但一些低級(jí)組件(例如IOLoop使用回調(diào)的組件)除外。Futures通常使用awaitoryield 關(guān)鍵字轉(zhuǎn)換成它們的結(jié)果。

演示例子

這是一個(gè)同步函數(shù):

from tornado.httpclient import HTTPClient

def synchronous_fetch(url):
    http_client = HTTPClient()
    response = http_client.fetch(url)
    return response.body

這是作為原生協(xié)程異步重寫的相同函數(shù):

from tornado.httpclient import AsyncHTTPClient

async def asynchronous_fetch(url):
    http_client = AsyncHTTPClient()
    response = await http_client.fetch(url)
    return response.body

或者為了與舊版本Python兼容,請(qǐng)使用以下?tornado.gen?模塊

from tornado.httpclient import AsyncHTTPClient
from tornado import gen

@gen.coroutine
def async_fetch_gen(url):
    http_client = AsyncHTTPClient()
    response = yield http_client.fetch(url)
    raise gen.Return(response.body)

協(xié)程有點(diǎn)神奇,但它們?cè)趦?nèi)部做的事情是這樣的:

from tornado.concurrent import Future

def async_fetch_manual(url):
    http_client = AsyncHTTPClient()
    my_future = Future()
    fetch_future = http_client.fetch(url)
    def on_fetch(f):
        my_future.set_result(f.result().body)
    fetch_future.add_done_callback(on_fetch)
    return my_future

請(qǐng)注意:協(xié)程?Future?在 fetch 完成之前返回它。這就是使協(xié)同程序異步的原因。
任何你可以用協(xié)程做的事情,你也可以通過傳遞回調(diào)對(duì)象來(lái)做,但是協(xié)程提供了一個(gè)重要的簡(jiǎn)化,它讓你以與同步時(shí)相同的方式組織你的代碼。這對(duì)于錯(cuò)誤處理尤其重要,因?yàn)?try?/?except?塊的工作方式與您在協(xié)程中所期望的一樣,而這很難通過回調(diào)實(shí)現(xiàn)。本指南的下一部分將深入討論協(xié)程


以上內(nèi)容是否對(duì)您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號(hào)
微信公眾號(hào)

編程獅公眾號(hào)