GCP
LocustとGKEによる30分Webパフォーマンス測定環境構築レシピ
GCP GCP API GatewayとFirebase Authenticationの連携を試す! – 準備編
この記事についてWebアプリの認証基盤をFirebaseにオフロードできるFirebase AuthをGCP API Gatewayで試してみる。APIの実行を認証済みユーザーに制限したいケースに適用できるパターン。環境準備が長くなるので3...
GCP LocustとGKEによる30分Webパフォーマンス測定環境構築レシピ
この記事についてLocust+GKEの組み合わせでWebアプリの規模に柔軟に追従可能なロードテスト環境をさくっと構築する。なお、ベースとなるドキュメントはGCPのもの。環境についてLocust特徴は以下の通り。スケーラブルPODのスケーリン...
GCP Agones探訪 on GKE#1
この記事についてGoogleとUbisoftにより開発されたオープンソースのゲームプラットフォームAgonesに関する理解を深めていく。AgonesについてAgonesにより、デベロッパーはFPSやMMOといったマルチプレイヤーゲームにおけ...
GCP GCPのfunctions_frameworkでPyCharmのデバッガを使えるようにする!
この記事についてPythonでGCP Cloud Functionsのコードを書いていた時に、デバッガで変数の値や型を確認したくてしょうがなかったときの解決法をまとめたメモ。解決法functions_frameworkにPyCharmのデバ...
Python Pythonの共有dictをプロセス間キャッシュにしたら遅すぎた話
この記事の内容BigQueryから抽出したParquet形式のデータをPandas DataFrameとして読み込み、各行の数値に計算処理を行う必要があった。現時点におけるレコードは数百万行であるものの、将来的に数千万レコードに増加すること...
GCP Cloud Runジョブでバッチジョブをサーバーレスに定期実行する！
Cloud Runジョブとはコンテナを立ち上げ後定型処理を行い結果をアップロードして終了するといったバッチ処理のサーバレス化にぴったりなCloud Runのデプロイ形態。サポートする環境Cloud RunでサポートするDockerイメージは...
GCP Terraformのマルチプロバイダ構成でリソースデプロイ先を切り替える！
Terraformのマルチプロバイダ構成Terraformではモジュール内に複数のプロバイダを定義できる。さらにailiasをキーとして同じプロバイダを複数の異なるパラメータでproviderリソースとして定義できる。このマルチプロバイダ構...
サーバー nginxのsub_filterで文字列が置換されない
記事の内容nginx.confを見直したらそれまでnginx sub_filterで置換していた文字列が置換されなくなったので調査したときのメモ。解決策/etc/nginx/nginx.conflocationディレクティブでsub_fil...
macOS macOS – multiprocessingのQueue.qsize() NotImplementedErrorを解決する!
環境Python 3.9MacOS 13.0やりたいことサブプロセスを複数生成してデータを並列処理し、キューに結果をputしていく別のサブプロセスから順次結果を取り出して利用するキューの文字列に"all done"を見つけたら処理を終了する...
GCP BigQueryテーブルをパーティション化して処理データ量を1/260に削減する!
まとめ1ヶ月分のデータのうち2時間のタイムフレームを対象とするSelectクエリのデータ処理量は適切にパーティショニングされたテーブルでは非パーティショニングテーブルに比べ1/260に削減された。データセットによっては巨大なデータが知らない...