この記事では、Pythonの`ThreadPoolExecutor`と`ProcessPoolExecutor`という二つの並行処理モデルについて詳しく解説します。具体的なコード例とその解説、応用例を含めています。これを通じて、各々の利点と欠点を理解し、どちらがどのようなシナリオで適しているのかを見極めましょう。
ThreadPoolExecutorとは
ThreadPoolExecutorはPythonのconcurrent.futuresモジュールに含まれるクラスです。このクラスを用いることで、マルチスレッドによる並行処理が簡単に行えます。
基本的な使い方
ThreadPoolExecutorの基本的な使い方を以下のコードで示します。
from concurrent.futures import ThreadPoolExecutor
def task(n):
return n * 2
with ThreadPoolExecutor() as executor:
future = executor.submit(task, 5)
print(future.result())
コード解説
このコードでは、`task`関数を定義し、その関数を`ThreadPoolExecutor`で非同期に実行しています。`executor.submit()`メソッドで非同期処理をスケジュールし、`future.result()`で結果を取得しています。
ProcessPoolExecutorとは
ProcessPoolExecutorもPythonのconcurrent.futuresモジュールに含まれていますが、こちらはマルチプロセスによる並行処理を行います。
基本的な使い方
ProcessPoolExecutorの基本的な使い方を以下のコードで説明します。
from concurrent.futures import ProcessPoolExecutor
def task(n):
return n * 2
with ProcessPoolExecutor() as executor:
future = executor.submit(task, 5)
print(future.result())
コード解説
このコードもThreadPoolExecutorと同様に、`task`関数を非同期に実行しています。ただし、こちらはマルチプロセスを用いています。
ThreadPoolExecutorとProcessPoolExecutorの比較
性能
一般に、CPUバウンドのタスク（計算が重い）はProcessPoolExecutorで、IOバウンドのタスク（データの読み書きが多い）はThreadPoolExecutorで高速に動作します。
メモリ使用量
ThreadPoolExecutorはスレッドを用いるため、ProcessPoolExecutorよりもメモリ効率が良い場合があります。
使いやすさ
両者のAPIは非常によく似ているため、使いやすさには大きな違いはありません。
応用例
ファイルのダウンロード（ThreadPoolExecutor）
import requests
from concurrent.futures import ThreadPoolExecutor
def download_file(url, filename):
response = requests.get(url)
with open(filename, 'wb') as f:
f.write(response.content)
urls = ['http://example.com/file1', 'http://example.com/file2']
with ThreadPoolExecutor() as executor:
executor.map(download_file, urls, ['file1', 'file2'])
解説
この応用例では、ThreadPoolExecutorを使って複数のファイルを並行してダウンロードしています。
数値計算（ProcessPoolExecutor）
from concurrent.futures import ProcessPoolExecutor
def complex_calculation(x):
return x * x + 2 * x + 1
numbers = [1, 2, 3, 4]
with ProcessPoolExecutor() as executor:
results = list(executor.map(complex_calculation, numbers))
print(results)
解説
この応用例では、CPUバウンドな数値計算をProcessPoolExecutorを使って並行処理しています。
まとめ
ThreadPoolExecutorとProcessPoolExecutorは、それぞれ異なるケースで最適です。性能、メモリ効率、使いやすさに関して理解することで、より効率的なプログラムを作成できます。
コメント