TaylorWu的博客
Tornado的性能改善(一)：線程池的使用
編輯于:2016-07-18
導(dǎo)語(yǔ)
Tornado是一款優(yōu)秀的開(kāi)源Web框架，其簡(jiǎn)單易用，性能卓越等特性受到開(kāi)發(fā)者的青睞。但是由于Tornado的單線程結(jié)構(gòu)，假如執(zhí)行耗時(shí)任務(wù)，此時(shí)線程則會(huì)阻塞，無(wú)法響應(yīng)其他請(qǐng)求。下面就我對(duì)Tornado使用的經(jīng)驗(yàn)，對(duì)其性能作出改善。
一. 線程池提高并發(fā)處理量
1. 使用Tornado自帶的concurrent的語(yǔ)法糖run_on_executor。
2. 使用Python自帶的concurrent的ThreadPoolExecutor線程池庫(kù)。
代碼區(qū)間
from tornado.concurrent import run_on_executor
from concurrent.futures import ThreadPoolExecutor
import time
class Test():
executor = ThreadPoolExecutor(10)? ? ? #set up a threadpool
@run_on_executor
def longTimeTask():
print "go to sleep"
time.sleep(20)? ? ? #go to sleep
print "wake up"
if __name__ == "__main__":
test = Test()
test.longTimeTask()
print "print very soon"
上述例子當(dāng)中，executor為初始化的線程池對(duì)象，而Test類中的longTimeTask被語(yǔ)法糖run_on_executor包裹，將該函數(shù)的執(zhí)行傳遞給線程池executor的線程執(zhí)行，優(yōu)化了處理耗時(shí)性任務(wù)，以致達(dá)到不阻塞主線程的效果。
其實(shí)，上述的采用線程池優(yōu)化并不是最優(yōu)方案。耗時(shí)任務(wù)，通常涉及IO，其中常見(jiàn)的操作即是寫日志，寫數(shù)據(jù)庫(kù)等數(shù)據(jù)持久化操作。此時(shí)我們更可以采取分布式任務(wù)隊(duì)列的方式來(lái)進(jìn)行優(yōu)化。常見(jiàn)的有Celery + RabbitMq + Redis方案構(gòu)建分布式任務(wù)隊(duì)列系統(tǒng)。
