Python

Python

Pythonの共有dictをプロセス間キャッシュにしたら遅すぎた話

この記事の内容BigQueryから抽出したParquet形式のデータをPandas DataFrameとして読み込み、各行の数値に計算処理を行う必要があった。現時点におけるレコードは数百万行であるものの、将来的に数千万レコードに増加すること...
2023.03.15
Python
GCP

Cloud Runジョブでバッチジョブをサーバーレスに定期実行する！

Cloud Runジョブとはコンテナを立ち上げ後定型処理を行い結果をアップロードして終了するといったバッチ処理のサーバレス化にぴったりなCloud Runのデプロイ形態。サポートする環境Cloud RunでサポートするDockerイメージは...
2023.03.12
GCPLinuxPython
macOS

macOS – multiprocessingのQueue.qsize() NotImplementedErrorを解決する!

環境Python 3.9MacOS 13.0やりたいことサブプロセスを複数生成してデータを並列処理し、キューに結果をputしていく別のサブプロセスから順次結果を取り出して利用するキューの文字列に"all done"を見つけたら処理を終了する...
2023.02.19
macOSPython