Dataform の operations で DTS 転送先テーブルに description を設定する
- Dataform

DTS の WRITE_TRUNCATE で消える BigQuery テーブル/カラムの description を、Dataform の operations(ALTER TABLE)で毎回再設定する。

DTS の WRITE_TRUNCATE で消える BigQuery テーブル/カラムの description を、Dataform の operations(ALTER TABLE)で毎回再設定する。

Workflows + Cloud Scheduler を使い、複数の DTS 転送を並列実行した後に Dataform を実行する ETL パイプラインを Terraform で構築する。

BigQuery Data Transfer Service の Amazon S3 コネクタを使い、S3 上の CSV / Parquet ファイルを BigQuery に取り込む構成を Terraform で構築する。

BigQuery Data Transfer Service の Cloud Storage コネクタを使い、GCS 上の CSV ファイルを BigQuery に定期取り込みする構成を Terraform で構築する。

BigQuery の外部テーブルで Google Spreadsheet を参照し、スケジュールドクエリでネイティブテーブルに定期同期する構成を Terraform で構築する。

Dataform の開発ワークスペースで SQLX ファイルを作成し、ref() による依存関係管理、ワークフロー実行、Git 連携までの開発フローを解説する。