BigQueryパイプラインでワークフロー作成|テーブル変換・スケジュール設定など
- BigQuery

パイプライン作成、タスク設定(config/SQL)、ref()による依存関係、スケジュール実行の一連の流れ。

パイプライン作成、タスク設定(config/SQL)、ref()による依存関係、スケジュール実行の一連の流れ。

BigQuery テーブルの description を自動更新。Cloud Run Jobs と Python スクリプトを使って、YAML 管理されたメタデータを簡単に反映する方法を紹介します。

BigQuery ナレッジ エンジンの一部として登場した「自動メタデータ生成」。AIと連携したデータ基盤整備の第一歩を体験レポート形式で紹介します。

2024 年 10 月 9 日の Google Cloud Blog にて、BigQuery と Cloud Logging におけるパイプ構文導入の記事がアップされました。このパイプ構文を、BigQuery で試してみたいと思います。

GCP 外のアプリケーションから GCP リソースを操作する場合に、サービスアカウントキーを用いずに安全にリソースへアクセスできる Workload Identity 連携を用いて、Github Actions から GCP リソースのデプロイを行います。

Google Cloud Functions の開発を効率化する Functions Framework の使用方法を解説。