BigQuery Data Transfer Service の MySQL コネクタを使い、AWS RDS for MySQL から BigQuery にデータを取り込む構成を Terraform で構築する。ネットワークアタッチメント経由の接続、スキーマ自動マッピング、スロット消費量の計測方法を扱う。

BigQuery Data Transfer Service の Amazon S3 コネクタを使い、S3 上の CSV / Parquet ファイルを BigQuery に取り込む構成を Terraform で構築する。

BigQuery Data Transfer Service の Cloud Storage コネクタを使い、GCS 上の CSV ファイルを BigQuery に定期取り込みする構成を Terraform で構築する。

BigQuery の外部テーブルで Google Spreadsheet を参照し、スケジュールドクエリでネイティブテーブルに定期同期する構成を Terraform で構築する。

パイプライン作成、タスク設定（config/SQL）、ref()による依存関係、スケジュール実行の一連の流れ。

BigQuery テーブルの description を自動更新。Cloud Run Jobs と Python スクリプトを使って、YAML 管理されたメタデータを簡単に反映する方法を紹介します。