Kubernetes の使い方に入る前に、そもそも何を解決するための仕組みなのかを座学で整理する。コンテナオーケストレーションの役割、Docker との関係、宣言的な管理と Desired State / Current State の考え方を扱う。

BigQuery Data Transfer Service の MySQL コネクタを使い、AWS RDS for MySQL から BigQuery にデータを取り込む構成を Terraform で構築する。ネットワークアタッチメント経由の接続、スキーマ自動マッピング、スロット消費量の計測方法を扱う。

DTS の WRITE_TRUNCATE で消える BigQuery テーブル/カラムの description を、Dataform の operations（ALTER TABLE）で毎回再設定する。

Workflows + Cloud Scheduler を使い、複数の DTS 転送を並列実行した後に Dataform を実行する ETL パイプラインを Terraform で構築する。

BigQuery Data Transfer Service の Amazon S3 コネクタを使い、S3 上の CSV / Parquet ファイルを BigQuery に取り込む構成を Terraform で構築する。

BigQuery Data Transfer Service の Cloud Storage コネクタを使い、GCS 上の CSV ファイルを BigQuery に定期取り込みする構成を Terraform で構築する。