Ritolabo
  1. Home

BigQuery Data Transfer Service で AWS RDS(MySQL)のデータを BigQuery に取り込む

  • BigQuery
BigQuery Data Transfer Service で AWS RDS(MySQL)のデータを BigQuery に取り込む

BigQuery Data Transfer Service の MySQL コネクタを使い、AWS RDS for MySQL から BigQuery にデータを取り込む構成を Terraform で構築する。ネットワークアタッチメント経由の接続、スキーマ自動マッピング、スロット消費量の計測方法を扱う。

Dataform の operations で DTS 転送先テーブルに description を設定する

  • Dataform
Dataform の operations で DTS 転送先テーブルに description を設定する

DTS の WRITE_TRUNCATE で消える BigQuery テーブル/カラムの description を、Dataform の operations(ALTER TABLE)で毎回再設定する。

Workflows で DTS + Dataform の ETL パイプラインをオーケストレーションする

  • Workflows
Workflows で DTS + Dataform の ETL パイプラインをオーケストレーションする

Workflows + Cloud Scheduler を使い、複数の DTS 転送を並列実行した後に Dataform を実行する ETL パイプラインを Terraform で構築する。

BigQuery Data Transfer Service で Amazon S3 の CSV / Parquet を BigQuery に取り込む

  • BigQuery
BigQuery Data Transfer Service で Amazon S3 の CSV / Parquet を BigQuery に取り込む

BigQuery Data Transfer Service の Amazon S3 コネクタを使い、S3 上の CSV / Parquet ファイルを BigQuery に取り込む構成を Terraform で構築する。

BigQuery Data Transfer Service で Cloud Storage の CSV を BigQuery に取り込む

  • BigQuery
BigQuery Data Transfer Service で Cloud Storage の CSV を BigQuery に取り込む

BigQuery Data Transfer Service の Cloud Storage コネクタを使い、GCS 上の CSV ファイルを BigQuery に定期取り込みする構成を Terraform で構築する。

Google Spreadsheet のデータを BigQuery に取り込む|外部テーブル + スケジュールドクエリ

  • BigQuery
Google Spreadsheet のデータを BigQuery に取り込む|外部テーブル + スケジュールドクエリ

BigQuery の外部テーブルで Google Spreadsheet を参照し、スケジュールドクエリでネイティブテーブルに定期同期する構成を Terraform で構築する。

Author

rito

rito

  • Backend Engineer
  • Tokyo, Japan
  • PHP 5 技術者認定上級試験 認定者
  • 統計検定 3 級