アーカイブ:2026 年 03 月

BigQuery Data Transfer Service で AWS RDS(MySQL)のデータを BigQuery に取り込む

  • BigQuery
BigQuery Data Transfer Service で AWS RDS(MySQL)のデータを BigQuery に取り込む

BigQuery Data Transfer Service の MySQL コネクタを使い、AWS RDS for MySQL から BigQuery にデータを取り込む構成を Terraform で構築する。ネットワークアタッチメント経由の接続、スキーマ自動マッピング、スロット消費量の計測方法を扱う。

Dataform の operations で DTS 転送先テーブルに description を設定する

  • Dataform
Dataform の operations で DTS 転送先テーブルに description を設定する

DTS の WRITE_TRUNCATE で消える BigQuery テーブル/カラムの description を、Dataform の operations(ALTER TABLE)で毎回再設定する。

Workflows で DTS + Dataform の ETL パイプラインをオーケストレーションする

  • BigQuery
Workflows で DTS + Dataform の ETL パイプラインをオーケストレーションする

Workflows + Cloud Scheduler を使い、複数の DTS 転送を並列実行した後に Dataform を実行する ETL パイプラインを Terraform で構築する。

BigQuery Data Transfer Service で Amazon S3 の CSV / Parquet を BigQuery に取り込む

  • BigQuery
BigQuery Data Transfer Service で Amazon S3 の CSV / Parquet を BigQuery に取り込む

BigQuery Data Transfer Service の Amazon S3 コネクタを使い、S3 上の CSV / Parquet ファイルを BigQuery に取り込む構成を Terraform で構築する。