python 多進程并行編程 ProcessPoolExecutor的實現

 更新時間:2019年10月11日 14:28:54   作者:颹蕭蕭   我要評論
這篇文章主要介紹了python 多進程并行編程 ProcessPoolExecutor的實現,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

使用 ProcessPoolExecutor

from concurrent.futures import ProcessPoolExecutor, as_completed
import random

斐波那契數列

當 n 大于 30 時拋出異常

def fib(n):
  if n > 30:
    raise Exception('can not > 30, now %s' % n)
  if n <= 2:
    return 1
  return fib(n-1) + fib(n-2)

準備數組

nums = [random.randint(0, 33) for _ in range(0, 10)]
'''
[13, 17, 0, 22, 19, 33, 7, 12, 8, 16]
'''

方案一:submit

submit 輸出結果按照子進程執行結束的先后順序,不可控

 with ProcessPoolExecutor(max_workers=3) as executor:
    futures = {executor.submit(fib, n):n for n in nums}
    for f in as_completed(futures):
      try:
        print('fib(%s) result is %s.' % (futures[f], f.result()))
      except Exception as e:
        print(e)
'''
fib(13) result is 233.
fib(17) result is 1597.
fib(0) result is 1.
fib(22) result is 17711.
fib(19) result is 4181.
can not > 30, now 33
fib(7) result is 13.
fib(12) result is 144.
fib(8) result is 21.
fib(16) result is 987.

'''

等價寫法:

 with ProcessPoolExecutor(max_workers=3) as executor:
    futures = {}
    for n in nums:
      job = executor.submit(fib, n)
      futures[job] = n

    for job in as_completed(futures):
      try:
        re = job.result()
        n = futures[job]
        print('fib(%s) result is %s.' % (n, re))
      except Exception as e:
        print(e)
'''
fib(13) result is 233.
fib(17) result is 1597.
fib(0) result is 1.
fib(22) result is 17711.
can not > 30, now 33
fib(7) result is 13.
fib(19) result is 4181.
fib(8) result is 21.
fib(12) result is 144.
fib(16) result is 987.
'''

方案二:map

map 輸出結果按照輸入數組的順序

缺點:某一子進程異常會導致整體中斷

 with ProcessPoolExecutor(max_workers=3) as executor:
    try:
      results = executor.map(fib, nums)
      for num, result in zip(nums, results):
        print('fib(%s) result is %s.' % (num, result))
    except Exception as e:
      print(e)
'''
fib(13) result is 233.
fib(17) result is 1597.
fib(0) result is 1.
fib(22) result is 17711.
fib(19) result is 4181.
can not > 30, now 33
'''

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。

相關文章

  • Python實現爬取知乎神回復簡單爬蟲代碼分享

    Python實現爬取知乎神回復簡單爬蟲代碼分享

    這篇文章主要介紹了Python實現爬取知乎神回復簡單爬蟲代碼分享,本文實現了爬取知乎的“如何正確地吐槽”收藏夾,是對個人的一個興趣實現,需要的朋友可以參考下
    2015-01-01
  • Django分頁功能的實現代碼詳解

    Django分頁功能的實現代碼詳解

    在本篇文章里小編給大家整理了關于Django分頁功能的實現代碼以及相關知識點內容,需要的朋友們可以跟著學習參考下。
    2019-07-07
  • 詳解Python 函數如何重載?

    詳解Python 函數如何重載?

    這篇文章主要介紹了Python函數重載,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2019-04-04
  • python遍歷小寫英文字母的方法

    python遍歷小寫英文字母的方法

    今天小編就為大家分享一篇python遍歷小寫英文字母的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • Selenium鼠標與鍵盤事件常用操作方法示例

    Selenium鼠標與鍵盤事件常用操作方法示例

    這篇文章主要介紹了Selenium鼠標與鍵盤事件常用操作方法,結合實例形式分析了Selenium鼠標事件與鍵盤事件常見方法與相關使用技巧,需要的朋友可以參考下
    2018-08-08
  • python獲取文件版本信息、公司名和產品名的方法

    python獲取文件版本信息、公司名和產品名的方法

    這篇文章主要介紹了python獲取文件版本信息、公司名和產品名的方法,是Python程序設計中非常實用的技巧,需要的朋友可以參考下
    2014-10-10
  • python pandas 如何替換某列的一個值

    python pandas 如何替換某列的一個值

    python pandas 如何替換某列的一個值?今天小編就為大家分享一篇python pandas 實現替換某列的一個值方法,具有很好的參考價值,希望對大家有所幫助
    2018-06-06
  • 對Django 轉發和重定向的實例詳解

    對Django 轉發和重定向的實例詳解

    今天小編就為大家分享一篇對Django 轉發和重定向的實例詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-08-08
  • python批量識別圖片指定區域文字內容

    python批量識別圖片指定區域文字內容

    這篇文章主要為大家詳細介紹了python識別圖片指定區域文字內容,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-04-04
  • Python 腳本獲取ES 存儲容量的實例

    Python 腳本獲取ES 存儲容量的實例

    今天小編就為大家分享一篇Python 腳本獲取ES 存儲容量的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-12-12

最新評論

pc蛋蛋计划下载