GCP

LocustとGKEによる30分Webパフォーマンス測定環境構築レシピ

この記事についてLocust+GKEの組み合わせでWebアプリの規模に柔軟に追従可能なロードテスト環境をさくっと構築する。なお、ベースとなるドキュメントはGCPのもの。環境についてLocust特徴は以下の通り。スケーラブルPODのスケーリン...
2023.04.16
GCP
GCP

Agones探訪 on GKE#1

この記事についてGoogleとUbisoftにより開発されたオープンソースのゲームプラットフォームAgonesに関する理解を深めていく。AgonesについてAgonesにより、デベロッパーはFPSやMMOといったマルチプレイヤーゲームにおけ...
2023.03.27
GCP
GCP

GCPのfunctions_frameworkでPyCharmのデバッガを使えるようにする!

この記事についてPythonでGCP Cloud Functionsのコードを書いていた時に、デバッガで変数の値や型を確認したくてしょうがなかったときの解決法をまとめたメモ。解決法functions_frameworkにPyCharmのデバ...
2023.03.23
GCP
Python

Pythonの共有dictをプロセス間キャッシュにしたら遅すぎた話

この記事の内容BigQueryから抽出したParquet形式のデータをPandas DataFrameとして読み込み、各行の数値に計算処理を行う必要があった。現時点におけるレコードは数百万行であるものの、将来的に数千万レコードに増加すること...
2023.03.15
Python
GCP

Cloud Runジョブでバッチジョブをサーバーレスに定期実行する！

Cloud Runジョブとはコンテナを立ち上げ後定型処理を行い結果をアップロードして終了するといったバッチ処理のサーバレス化にぴったりなCloud Runのデプロイ形態。サポートする環境Cloud RunでサポートするDockerイメージは...
2023.03.12
GCPLinuxPython
GCP

Terraformのマルチプロバイダ構成でリソースデプロイ先を切り替える！

Terraformのマルチプロバイダ構成Terraformではモジュール内に複数のプロバイダを定義できる。さらにailiasをキーとして同じプロバイダを複数の異なるパラメータでproviderリソースとして定義できる。このマルチプロバイダ構...
2023.03.07
GCPTerraform
サーバー

nginxのsub_filterで文字列が置換されない

記事の内容nginx.confを見直したらそれまでnginx sub_filterで置換していた文字列が置換されなくなったので調査したときのメモ。解決策/etc/nginx/nginx.conflocationディレクティブでsub_fil...
2023.02.25
サーバー
macOS

macOS – multiprocessingのQueue.qsize() NotImplementedErrorを解決する!

環境Python 3.9MacOS 13.0やりたいことサブプロセスを複数生成してデータを並列処理し、キューに結果をputしていく別のサブプロセスから順次結果を取り出して利用するキューの文字列に"all done"を見つけたら処理を終了する...
2023.02.19
macOSPython
GCP

BigQueryテーブルをパーティション化して処理データ量を1/260に削減する!

まとめ1ヶ月分のデータのうち2時間のタイムフレームを対象とするSelectクエリのデータ処理量は適切にパーティショニングされたテーブルでは非パーティショニングテーブルに比べ1/260に削減された。データセットによっては巨大なデータが知らない...
2023.01.16
GCPクラウド
次のページ