Dataform の開発ワークスペースで SQLX を使った開発を行う
- Dataform
Dataform の開発ワークスペースで SQLX ファイルを作成し、ref() による依存関係管理、ワークフロー実行、Git 連携までの開発フローを解説する。
カテゴリ：Data
Dataform 環境を Terraform で構築する
- Dataform
Dataform の環境を Terraform で構築。SA・IAM・Secret Manager・リポジトリ・リリース設定・ワークフロー設定をコード管理する。
BigQueryパイプラインでワークフロー作成｜テーブル変換・スケジュール設定など
- BigQuery
パイプライン作成、タスク設定（config/SQL）、ref()による依存関係、スケジュール実行の一連の流れ。
TROCCO 構成を Terraform で管理する
- TROCCO
BigQuery のテーブルメタデータを Cloud Run Jobs で自動更新する最小構成
- BigQuery
BigQuery テーブルの description を自動更新。Cloud Run Jobs と Python スクリプトを使って、YAML 管理されたメタデータを簡単に反映する方法を紹介します。
BigQuery の自動メタデータ生成機能を試す（プレビュー版）
- BigQuery
BigQuery ナレッジ エンジンの一部として登場した「自動メタデータ生成」。AIと連携したデータ基盤整備の第一歩を体験レポート形式で紹介します。
