パイプライン作成、タスク設定（config/SQL）、ref()による依存関係、スケジュール実行の一連の流れ。

BigQueryパイプラインでワークフロー作成｜テーブル変換・スケジュール設定など

<p>BigQuery でデータ分析基盤を構築する際、datalake 層に取り込んだデータを加工して dwh/dm 層を作成する「変換（Transform）」処理が必要になる。</p>
<p>この変換処理を UI ベースで簡単に設定できる BigQuery パイプライン を試す。</p>
<h2 id="contents">contents</h2>
<ol>
<li><a href="#bigquery-%E3%83%91%E3%82%A4%E3%83%97%E3%83%A9%E3%82%A4%E3%83%B3">BigQuery パイプライン</a>
<ol>
<li><a href="#dataform-%E3%81%A8%E3%81%AE%E9%96%A2%E4%BF%82">Dataform との関係</a></li>
</ol>
</li>
<li><a href="#bigquery-%E3%83%91%E3%82%A4%E3%83%97%E3%83%A9%E3%82%A4%E3%83%B3%E3%81%A7%E3%81%A7%E3%81%8D%E3%82%8B%E3%81%93%E3%81%A8">BigQuery パイプラインでできること</a></li>
<li><a href="#1-%E3%83%91%E3%82%A4%E3%83%97%E3%83%A9%E3%82%A4%E3%83%B3%E3%81%AE%E4%BD%9C%E6%88%90">1. パイプラインの作成</a></li>
<li><a href="#2-%E3%82%BF%E3%82%B9%E3%82%AF%E3%81%AE%E4%BD%9C%E6%88%90">2. タスクの作成</a>
<ol>
<li><a href="#01-%E3%82%BF%E3%82%B9%E3%82%AF%E8%BF%BD%E5%8A%A0">01. タスク追加</a></li>
<li><a href="#02-%E3%82%BF%E3%82%B9%E3%82%AF%E8%A8%AD%E5%AE%9A">02. タスク設定</a></li>
</ol>
</li>
<li><a href="#%E4%BE%9D%E5%AD%98%E9%96%A2%E4%BF%82%E3%81%AE%E7%A2%BA%E8%AA%8D">依存関係の確認</a>
<ol>
<li><a href="#%E4%BD%9C%E6%88%90%E3%81%99%E3%82%8B%E3%83%86%E3%83%BC%E3%83%96%E3%83%AB%E6%A7%8B%E6%88%90">作成するテーブル構成</a></li>
<li><a href="#%E4%BE%9D%E5%AD%98%E9%96%A2%E4%BF%82%E3%81%AE%E8%87%AA%E5%8B%95%E6%A4%9C%E5%87%BA-ref-%E8%A8%98%E6%B3%95">依存関係の自動検出: <code>${ref()}</code> 記法</a></li>
<li><a href="#daily_sales_report-%E3%81%AE%E4%BE%8B">daily_sales_report の例</a></li>
<li><a href="#%E4%BE%9D%E5%AD%98%E9%96%A2%E4%BF%82%E3%82%B0%E3%83%A9%E3%83%95">依存関係グラフ</a></li>
</ol>
</li>
<li><a href="#%E3%82%B9%E3%82%B1%E3%82%B8%E3%83%A5%E3%83%BC%E3%83%AB%E8%A8%AD%E5%AE%9A">スケジュール設定</a>
<ol>
<li><a href="#%E3%82%B9%E3%82%B1%E3%82%B8%E3%83%A5%E3%83%BC%E3%83%AB%E8%A8%AD%E5%AE%9A%E3%82%92%E9%96%8B%E3%81%8F">スケジュール設定を開く</a></li>
<li><a href="#%E5%AE%9F%E8%A1%8C%E3%82%AA%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3">実行オプション</a></li>
<li><a href="#%E3%82%B9%E3%82%B1%E3%82%B8%E3%83%A5%E3%83%BC%E3%83%AB%E8%A8%AD%E5%AE%9A%E3%81%AE%E7%A2%BA%E8%AA%8D%E3%81%A8%E5%AE%9F%E8%A1%8C%E7%A2%BA%E8%AA%8D">スケジュール設定の確認と実行確認</a></li>
</ol>
</li>
</ol>
<h2 id="bigquery-パイプライン">BigQuery パイプライン</h2>
<p>BigQueryパイプラインは、Dataform の技術をベースにした簡易版 UI ツール。</p>
<p>UIベースで dwh/dm テーブルの作成・依存関係管理・スケジュール実行ができる。</p>
<p>ETL でいうと <strong>「T（Transform）」と「L（Load）」</strong> を担当する。</p>
<pre><code class="hljs language-console">E (Extract)     → データソースからデータを取り出す
T (Transform)   → データを加工・変換 ← ここ
L (Load)        → 変換後のデータを格納 ← ここ
</code></pre>
<h3 id="dataform-との関係">Dataform との関係</h3>
<pre><code class="hljs language-console">Dataform（コア技術）
    ├─→ BigQuery パイプライン（UIベース簡易版）
    └─→ Dataform サービス（フル機能版、Terraform対応）
</code></pre>






























<table><thead><tr><th>項目</th><th>BigQueryパイプライン</th><th>Dataform</th></tr></thead><tbody><tr><td>設定方法</td><td>UIのみ</td><td>コード（SQLX） + UI</td></tr><tr><td>Terraform</td><td>なし</td><td>あり</td></tr><tr><td>Git連携</td><td>なし</td><td>あり</td></tr><tr><td>用途</td><td>検証・簡易利用</td><td>本番運用</td></tr></tbody></table>
<p>参考:</p>
<ul>
<li><a href="https://cloud.google.com/bigquery/docs/pipelines-introduction" rel="noopener noreferrer" target="_blank">Introduction to BigQuery pipelines | Google Cloud</a></li>
<li><a href="https://cloud.google.com/dataform/docs/overview" rel="noopener noreferrer" target="_blank">Dataform overview | Google Cloud</a></li>
</ul>
<h2 id="bigquery-パイプラインでできること">BigQuery パイプラインでできること</h2>

























<table><thead><tr><th>機能</th><th>内容</th></tr></thead><tbody><tr><td>SQLでテーブル作成</td><td>SELECT文を書いて新しいテーブル/ビューを定義</td></tr><tr><td>依存関係の自動解決</td><td>テーブル間の参照関係を自動検出、正しい順序で実行</td></tr><tr><td>スケジュール実行</td><td>毎日/毎週など定時実行の設定</td></tr><tr><td>メタデータ管理</td><td>テーブル・カラムに説明を付与</td></tr></tbody></table>
<p>参考:</p>
<ul>
<li><a href="https://cloud.google.com/bigquery/docs/create-pipelines" rel="noopener noreferrer" target="_blank">Create pipelines | BigQuery | Google Cloud</a></li>
</ul>
<h2 id="1-パイプラインの作成">1. パイプラインの作成</h2>
<p>まず最初に、パイプラインを作成する。一つのワークフローのイメージ。この中にタスクを複数配置していく流れになる。</p>
<p><strong>01. BigQuery コンソールの左メニュー「パイプライン」→「パイプラインを作成」をクリック。</strong></p>
<div class="img_wrap"><img src="/images/posts/328/01.png" width="1641" height="729" alt="パイプラインメニュー"></div>
<p><strong>02. コードアセットを保存するデフォルトのリージョンを選択。</strong></p>
<div class="img_wrap"><img src="/images/posts/328/02.png" width="370" height="729" alt="リージョン選択"></div>
<p><strong>03. 「BigQuery Pipelines へようこそ」ダイアログが表示される。</strong></p>
<div class="img_wrap"><img src="/images/posts/328/03.png" width="1370" height="678" alt="実行ユーザー選択"></div>

















<table><thead><tr><th>オプション</th><th>用途</th></tr></thead><tbody><tr><td>ユーザー認証情報で実行 [プレビュー]</td><td>個人検証・開発時</td></tr><tr><td>サービスアカウントで実行</td><td>チーム開発・本番運用時</td></tr></tbody></table>
<p>ユーザー認証でもスケジュール実行は可能。ただし、退職などでアカウントが削除されると全パイプラインが停止するリスクがある。本番運用ではサービスアカウントを使う。</p>
<p>今回は検証なので「ユーザー認証情報で実行」を選択。</p>
<p>上部に表示されているパイプライン名「無題のパイプライン」をクリックすると名前を設定できる。</p>
<div class="img_wrap"><img src="/images/posts/328/04.png" width="1641" height="670" alt="パイプライン名設定"></div>
<p>参考:</p>
<ul>
<li><a href="https://cloud.google.com/bigquery/docs/manage-pipelines" rel="noopener noreferrer" target="_blank">Manage pipelines | BigQuery | Google Cloud</a></li>
</ul>
<h2 id="2-タスクの作成">2. タスクの作成</h2>
<p>次に、ワークフロー内で実行するタスクを作成していく。</p>
<p>例えば、datalake層のデータから 2 つの dwh テーブルを作成したい場合、2つのタスクを作成するイメージ。</p>
<h3 id="01-タスク追加">01. タスク追加</h3>
<p><strong>「タスクを追加」→「テーブル」を選択</strong></p>
<div class="img_wrap"><img src="/images/posts/328/05.png" width="1641" height="812" alt="タスクを追加"></div>
<div class="img_wrap"><img src="/images/posts/328/06.png" width="1641" height="812" alt="タスクを追加"></div>
<p>タスクの種類:</p>






























<table><thead><tr><th>カテゴリ</th><th>項目</th><th>用途</th></tr></thead><tbody><tr><td>ソースの追加</td><td>ソースを宣言する</td><td>既存テーブルをソースとして定義</td></tr><tr><td>構築</td><td>テーブル</td><td>SQLで新しいテーブル/ビューを作成</td></tr><tr><td></td><td>データの準備</td><td>AIでデータクリーニング・変換</td></tr><tr><td>検証</td><td>データ品質テスト</td><td>データ品質チェック</td></tr></tbody></table>
<p>テーブル名を入力（例: <code>order_summary</code>）し、「作成」を押下すると、タスクが作成される。</p>
<div class="img_wrap"><img src="/images/posts/328/07.png" width="1641" height="1274" alt="パイプライン画面"></div>
<h3 id="02-タスク設定">02. タスク設定</h3>
<p>タスクを作成したら、作成するテーブルのSQLなどを設定していく。</p>
<p>下部パネルの「開く」ボタン、またはタスクをダブルクリックでSQLエディタを開く。</p>
<p><strong>001. メタデータ設定</strong></p>
<p>config ブロックにテーブルの設定・説明・カラムの説明を記述する。</p>
<pre><code class="hljs language-bigquery">config {
  type: "table",
  name: "order_summary",
  dataset: "dwh_sample",
  description: "注文サマリー：ユーザー別・注文別の合計金額",
  columns: {
    order_id: "注文ID",
    user_id: "ユーザーID",
    user_name: "ユーザー名",
    ordered_at: "注文日時",
    total_amount: "合計金額"
  }
}
</code></pre>





























<table><thead><tr><th>項目</th><th>説明</th></tr></thead><tbody><tr><td>type</td><td>テーブルの種類（<code>table</code> / <code>view</code>）</td></tr><tr><td>name</td><td>作成するテーブル名</td></tr><tr><td>dataset</td><td>保存先データセット</td></tr><tr><td>description</td><td>テーブルの説明（BigQueryに反映）</td></tr><tr><td>columns</td><td>各カラムの説明（BigQueryに反映）</td></tr></tbody></table>
<p><strong>002. SQLを入力</strong></p>
<p>config ブロックの下にSQLを記述。</p>
<pre><code class="hljs language-sql"><span class="hljs-keyword">SELECT</span>
  o.order_id,
  o.user_id,
  u.name <span class="hljs-keyword">AS</span> user_name,
  o.ordered_at,
  <span class="hljs-built_in">SUM</span>(oi.quantity <span class="hljs-operator">*</span> oi.unit_price) <span class="hljs-keyword">AS</span> total_amount
<span class="hljs-keyword">FROM</span> dl_sample.orders o
<span class="hljs-keyword">JOIN</span> dl_sample.users u <span class="hljs-keyword">ON</span> o.user_id <span class="hljs-operator">=</span> u.user_id
<span class="hljs-keyword">JOIN</span> dl_sample.order_items oi <span class="hljs-keyword">ON</span> o.order_id <span class="hljs-operator">=</span> oi.order_id
<span class="hljs-keyword">GROUP</span> <span class="hljs-keyword">BY</span> <span class="hljs-number">1</span>, <span class="hljs-number">2</span>, <span class="hljs-number">3</span>, <span class="hljs-number">4</span>
</code></pre>
<div class="img_wrap"><img src="/images/posts/328/08.png" width="1641" height="729" alt="config,SQL入力後"></div>
<p><strong>003. タスクを実行（検証）</strong></p>
<p>上部の「実行」ボタンでSQLの検証を実行できる。この時点ではテーブルは作成されない（検証のみ）。</p>
<p><strong>004. パイプラインを実行（テーブル作成）</strong></p>
<p>パイプライン画面に戻り、<strong>パイプラインの「実行」ボタン</strong> をクリック。</p>
<p>これでテーブルが作成される。メタデータ（テーブルの説明・カラムの説明）も反映される。</p>
<div class="img_wrap"><img src="/images/posts/328/09.png" width="1641" height="729" alt="order_summaryテーブル詳細"></div>
<p>BigQueryパイプラインを用いてのテーブル作成を、ミニマムで実現させるまでの手順はここまで。</p>
<h2 id="依存関係の確認">依存関係の確認</h2>
<p>複数のテーブルを追加して、依存関係が自動検出されることを確認する。</p>
<h3 id="作成するテーブル構成">作成するテーブル構成</h3>
<pre><code class="hljs language-console">[並列] order_summary ───┐
                        ├─→ [直列] daily_sales_report
[並列] product_sales ───┘
</code></pre>

























<table><thead><tr><th>テーブル</th><th>依存関係</th><th>実行タイミング</th></tr></thead><tbody><tr><td>order_summary</td><td>dl層のみ参照</td><td>並列実行可</td></tr><tr><td>product_sales</td><td>dl層のみ参照</td><td>並列実行可</td></tr><tr><td>daily_sales_report</td><td>上記2つを参照</td><td>上記完了後</td></tr></tbody></table>
<h3 id="依存関係の自動検出-ref-記法">依存関係の自動検出: <code>${ref()}</code> 記法</h3>
<p>パイプライン内の他テーブルを参照する場合、<code>${ref("テーブル名")}</code> を使う。</p>
<pre><code class="hljs language-sql"><span class="hljs-comment">-- 直接指定（依存関係が自動検出されない）</span>
<span class="hljs-keyword">FROM</span> dwh_sample.order_summary os

<span class="hljs-comment">-- ref記法（依存関係が自動検出される）</span>
<span class="hljs-keyword">FROM</span> ${<span class="hljs-keyword">ref</span>("order_summary")} os
</code></pre>
<p><code>ref()</code> を使うと:</p>
<ul>
<li>依存関係グラフに矢印が自動追加される</li>
<li>実行順序が自動で制御される</li>
</ul>
<h3 id="daily_sales_report-の例">daily_sales_report の例</h3>
<pre><code class="hljs language-bigquery">config {
  type: "table",
  name: "daily_sales_report",
  dataset: "dm_sample",
  description: "日次売上レポート：注文サマリーと商品売上を結合",
  columns: {
    order_date: "注文日",
    total_orders: "注文数",
    total_revenue: "総売上",
    top_category: "売上トップカテゴリ"
  }
}

SELECT
  DATE(os.ordered_at) AS order_date,
  COUNT(DISTINCT os.order_id) AS total_orders,
  SUM(os.total_amount) AS total_revenue,
  (
    SELECT ps.category
    FROM ${ref("product_sales")} ps
    ORDER BY ps.total_sales DESC
    LIMIT 1
  ) AS top_category
FROM ${ref("order_summary")} os
GROUP BY 1
</code></pre>
<h3 id="依存関係グラフ">依存関係グラフ</h3>
<p>パイプライン画面で、タスク間の依存関係が自動検出されて表示される。</p>
<div class="img_wrap"><img src="/images/posts/328/10.png" width="1637" height="561" alt="依存関係グラフ"></div>
<ul>
<li><code>order_summary</code> と <code>product_sales</code> は並列（矢印なし）</li>
<li><code>daily_sales_report</code> は上記2つから矢印が来ている</li>
</ul>
<h2 id="スケジュール設定">スケジュール設定</h2>
<p>パイプラインの定時自動実行を設定する。</p>
<h3 id="スケジュール設定を開く">スケジュール設定を開く</h3>
<p>パイプライン画面上部の「スケジュール」をクリック。</p>
<div class="img_wrap"><img src="/images/posts/328/11.png" width="1637" height="721" alt="パイプライン画面"></div>
<div class="img_wrap"><img src="/images/posts/328/12.png" width="1637" height="923" alt="スケジュール設定メニュー"></div>
<p>スケジュールの頻度を設定</p>
<div class="img_wrap"><img src="/images/posts/328/13.png" width="1637" height="964" alt="スケジュール設定メニュー"></div>





























<table><thead><tr><th>頻度</th><th>説明</th></tr></thead><tbody><tr><td>毎時</td><td>1時間ごとに実行</td></tr><tr><td>毎日</td><td>1日1回、指定時刻に実行</td></tr><tr><td>毎週</td><td>週1回、指定曜日・時刻に実行</td></tr><tr><td>毎月</td><td>月1回、指定日・時刻に実行</td></tr><tr><td>カスタム</td><td>cron形式で柔軟に指定</td></tr></tbody></table>
<h3 id="実行オプション">実行オプション</h3>
<p>「優先度の高いインタラクティブ ジョブとして実行する」</p>

















<table><thead><tr><th>設定</th><th>動作</th></tr></thead><tbody><tr><td>ON（デフォルト）</td><td>即座に実行開始</td></tr><tr><td>OFF</td><td>アイドル状態のリソースが空いたときに実行（バッチジョブ）</td></tr></tbody></table>
<p>通常はデフォルト（ON）のままでOK。コスト削減したい場合はOFFにする。</p>
<p>設定完了後、「スケジュールを作成」をクリックでスケジュールが設定される。</p>
<h3 id="スケジュール設定の確認と実行確認">スケジュール設定の確認と実行確認</h3>
<p>パイプライン画面から「スケジュールを見る」で設定を確認可能</p>
<div class="img_wrap"><img src="/images/posts/328/14.png" width="1637" height="589" alt="スケジュール設定"></div>
<p>実行数タブから、スケジュール実行されたことを確認できる。</p>
<div class="img_wrap"><img src="/images/posts/328/15.png" width="1637" height="589" alt="スケジュール設定"></div>
<p>参考:</p>
<ul>
<li><a href="https://cloud.google.com/bigquery/docs/schedule-pipelines" rel="noopener noreferrer" target="_blank">Schedule pipelines | BigQuery | Google Cloud</a></li>
</ul>
<h2 id="まとめ">まとめ</h2>
<p>BigQuery パイプラインを使って、datalake 層のデータを加工して dwh/dm 層のテーブルを作成する流れを試した。</p>
<p>良い点:</p>
<ul>
<li>UIでサクッと設定できる</li>
<li>メタデータ（テーブル・カラムの説明）も設定可能</li>
<li><code>ref()</code> 記法で依存関係を自動検出</li>
<li>スケジュール実行も設定可能</li>
</ul>
<p>辛い点:</p>
<ul>
<li>数が増えてきたら管理が煩雑になりそう</li>
<li>設定をコード管理できない</li>
<li>パイプライン間の依存管理ができない</li>
</ul>
<p>小規模でシンプルなワークフロー構築なら簡単に実現できて使い勝手が良い。</p>

Author