Multiprocessing

Python

Pythonの共有dictをプロセス間キャッシュにしたら遅すぎた話

この記事の内容BigQueryから抽出したParquet形式のデータをPandas DataFrameとして読み込み、各行の数値に計算処理を行う必要があった。現時点におけるレコードは数百万行であるものの、将来的に数千万レコードに増加すること...
macOS

macOS – multiprocessingのQueue.qsize() NotImplementedErrorを解決する!

環境Python 3.9MacOS 13.0やりたいことサブプロセスを複数生成してデータを並列処理し、キューに結果をputしていく別のサブプロセスから順次結果を取り出して利用するキューの文字列に"all done"を見つけたら処理を終了する...