Python網(wǎng)絡(luò)編程之協(xié)程

What is the association?

與子例程一樣，協(xié)程也是一種程序組件。 相對子例程而言，協(xié)程更為一般和靈活，但在實踐中使用沒有子例程那樣廣泛。 協(xié)程源自Simula和Modula-2語言，但也有其他語言支持。 協(xié)程更適合于用來實現(xiàn)彼此熟悉的程序組件，如合作式多任務(wù)，迭代器，無限列表和管道。

來自維基百科 https://zh.wikipedia.org/wiki/協(xié)程

協(xié)程擁有自己的寄存器上下文和棧，協(xié)程調(diào)度切換時，將寄存器上下文和棧保存到其他地方，在切回來的時候，恢復(fù)先前保存的寄存器上下文和棧。因此：協(xié)程能保留上一次調(diào)用時的狀態(tài)（即所有局部狀態(tài)的一個特定組合），每次過程重入時，就相當(dāng)于進入上一次調(diào)用的狀態(tài)，換種說法：進入上一次離開時所處邏輯流的位置。

協(xié)程的優(yōu)缺點：

優(yōu)點

1. 無需線程上下文切換的開銷

2. 無需原子操作鎖定及同步的開銷(更改一個變量)

3. 方便切換控制流，簡化編程模型

4. 高并發(fā)+高擴展性+低成本：一個CPU支持上萬的協(xié)程都不是問題。所以很適合用于高并發(fā)處理。

缺點：

1. 無法利用多核資源：協(xié)程的本質(zhì)是個單線程,它不能多核，協(xié)程需要和進程配合才能運行在多CPU上，當(dāng)然我們?nèi)粘Ｋ帉懙慕^大部分應(yīng)用都沒有這個必要，除非是CPU密集型應(yīng)用。

2. 進行阻塞（Blocking）操作（如IO時）會阻塞掉整個程序

實現(xiàn)協(xié)程實例

yield

1. def consumer(name):

2.    print("--->starting eating baozi...")

3.    while True:

4.        new_baozi = yield  # 直接返回

5.        print("[%s] is eating baozi %s" % (name, new_baozi))

7. def producer():

8.    r = con.__next__()

9.    r = con2.__next__()

10.    n = 0

11.    while n < 5:

12.        n += 1

13.        con.send(n)  # 喚醒生成器的同時傳入一個參數(shù)

14.        con2.send(n)

15.        print("\033[32;1m[producer]\033[0m is making baozi %s" % n)

17. if __name__ == '__main__':

18.    con = consumer("c1")

19.    con2 = consumer("c2")

20.    p = producer()

Greenlet

安裝greenlet

1. pip3 install greenlet

1. # -*- coding:utf-8 -*-

2. from greenlet import greenlet

4. def func1():

5.    print(12)

6.    gr2.switch()

7.    print(34)

8.    gr2.switch()

10. def func2():

11.    print(56)

12.    gr1.switch()

13.    print(78)

15. # 創(chuàng)建兩個攜程

16. gr1 = greenlet(func1)

17. gr2 = greenlet(func2)

18. gr1.switch()  # 手動切換

Gevent

Gevent可以實現(xiàn)并發(fā)同步或異步編程，在gevent中用到的主要模式是Greenlet， 它是以C擴展模塊形式接入Python的輕量級協(xié)程，Greenlet全部運行在主程序操作系統(tǒng)進程的內(nèi)部，但它們被協(xié)作式地調(diào)度。

安裝Gevent

1. pip3 install gevent

1. import gevent

3. def foo():

4.    print('Running in foo')

5.    gevent.sleep(2)

6.    print('Explicit context switch to foo again')

8. def bar():

9.    print('Explicit context to bar')

10.    gevent.sleep(3)

11.    print('Implicit context switch back to bar')

13. # 自動切換

14. gevent.joinall([

15.    gevent.spawn(foo),  # 啟動一個協(xié)程

16.    gevent.spawn(bar),

17. ])

頁面抓取

1. from urllib import request

2. from gevent import monkey

3. import gevent

4. import time

6. monkey.patch_all()  # 當(dāng)前程序中只要設(shè)置到IO操作的都做上標(biāo)記

8. def wget(url):

9.    print('GET: %s' % url)

10.    resp = request.urlopen(url)

11.    data = resp.read()

12.    print('%d bytes received from %s.' % (len(data), url))

14. urls = [

15.    'https://www.python.org/',

16.    'https://www.python.org/',

17.    'https://github.com/',

18.    'https://yw666.blog.51cto.com/',

19. ]

21. # 串行抓取

22. start_time = time.time()

23. for n in urls:

24.    wget(n)

25. print("串行抓取使用時間：", time.time() - start_time)

27. # 并行抓取

28. ctrip_time = time.time()

29. gevent.joinall([

30.    gevent.spawn(wget, 'https://www.python.org/'),

31.    gevent.spawn(wget, 'https://www.python.org/'),

32.    gevent.spawn(wget, 'https://github.com/'),

33.    gevent.spawn(wget, 'https://yw666.blog.51cto.com/'),

34. ])

35. print("并行抓取使用時間：", time.time() - ctrip_time)

輸出

1. C:\Python\Python35\python.exe E:/MyCodeProjects/協(xié)程/s4.py

2. GET: https://www.python.org/

3. 47424 bytes received from https://www.python.org/.

4. GET: https://www.python.org/

5. 47424 bytes received from https://www.python.org/.

6. GET: https://github.com/

7. 25735 bytes received from https://github.com/.

8. GET: https://blog.ansheng.me/

9. 82693 bytes received from https://yw666.blog.51cto.com/.

10. 串行抓取使用時間： 15.143015384674072

11. GET: https://www.python.org/

12. GET: https://www.python.org/

13. GET: https://github.com/

14. GET: https://blog.ansheng.me/

15. 25736 bytes received from https://github.com/.

16. 47424 bytes received from https://www.python.org/.

17. 82693 bytes received from https://yw666.blog.51cto.com/.

18. 47424 bytes received from https://www.python.org/.

19. 并行抓取使用時間： 3.781306266784668

21. Process finished with exit code 0

本文出自 “一盞燭光” 博客，謝絕轉(zhuǎn)載！