大容量のJSONファイルをメモリ効率よく読み書きする方法

この記事では、Pythonを使用して大容量のJSONファイルをメモリ効率よく読み書きする方法について解説します。具体的なコード例とその解説、応用例を含めて説明します。

目次

はじめに

大容量のJSONファイルを取り扱う際には、メモリの効率が一つの大きな課題となります。通常の方法で読み込むと、メモリ不足でプログラムがクラッシュする可能性があります。本記事では、この問題を解決するいくつかの方法とその具体例を紹介します。

基本的な読み書き方法

まずはPythonでJSONファイルを読み書きする基本的な方法を見ていきましょう。

基本的な読み込み方法

通常、JSONファイルは以下のように読み込みます。

import json

with open('data.json', 'r') as f:
    data = json.load(f)

基本的な書き込み方法

JSONファイルへの書き込みは以下のように行います。

import json

data = {'key': 'value'}

with open('data.json', 'w') as f:
    json.dump(data, f)

メモリ効率の良い読み書き方法

大容量のJSONファイルを扱う際の問題点と解決策について考察します。

問題点

基本的な読み書き方法では、ファイル全体をメモリにロードしてしまうため、大容量のファイルには不適です。

解決策

ファイルを部分的に読み込むことで、メモリを効率的に使用する方法があります。

import json

# メモリ効率のためにファイルを部分的に読む
with open('large_data.json', 'r') as f:
    for line in f:
        obj = json.loads(line)
        # ここで何らかの処理

応用例

大容量のJSONファイルの効率的な読み書きができるようになったら、次は具体的な応用例を考えてみましょう。

応用例1: データのフィルタリング

filtered_data = []
with open('large_data.json', 'r') as f:
    for line in f:
        obj = json.loads(line)
        if obj['age'] > 20:
            filtered_data.append(obj)

応用例2: 集計作業

age_sum = 0
count = 0

with open('large_data.json', 'r') as f:
    for line in f:
        obj = json.loads(line)
        age_sum += obj['age']
        count += 1

average_age = age_sum / count

応用例3: 並列処理

from concurrent.futures import ThreadPoolExecutor

def process_line(line):
    obj = json.loads(line)
    # 何らかの処理

with open('large_data.json', 'r') as f:
    with ThreadPoolExecutor() as executor:
        executor.map(process_line, f)

まとめ

大容量のJSONファイルを効率よく読み書きする方法には、基本的な方法とは異なるアプローチが必要です。特に、ファイルを部分的に読み込むことでメモリを効率よく使用できます。応用例を通じて、さまざまなシナリオでこの手法が有用であることを示しました。

コメント

コメントする

目次