ETL
いーてぃーえる
ETL
一言でいうと
データを取り出し(Extract)・変換し(Transform)・別の場所に書き込む(Load)一連のデータ処理のこと。
詳しい意味
ETL(Extract / Transform / Load)は、複数のデータソースからデータを取り出し(Extract)、分析しやすい形に変換(Transform)し、データウェアハウスなどに書き込む(Load)一連のデータ処理パターンです。たとえば「業務DBから注文情報を抽出」→「商品マスタと結合・集計」→「BigQuery にロード」という流れ。バッチで深夜に走らせるのが伝統的でしたが、現代では「ELT」(先にロード → クラウドDWHで変換)パターンも増えています。代表的ツールに Airflow、dbt、Fivetran、Embulk など。データ基盤・分析環境構築の中核作業です。
何に使うか
業務DBの内容を分析環境に同期するとき。複数のSaaS(Salesforce、Stripe、GA など)からデータを集約するとき。日次・時次のレポート生成基盤を組むとき。
どんな時に出るか
「ETLジョブを組む」「ETLが落ちた」「ETLからELTに移行」といった場面で登場します。
具体例
- 毎晩のETLジョブで、本番DBの注文データを BigQuery にロードしている。
- ETL から ELT に移行して、変換処理を BigQuery 側に寄せた。
別名・略称
etl(いーてぃーえる)ELT(いーえるてぃー)Extract Transform Load(えくすとらくととらんすふぉーむろーど)
初心者向けメモ
工場の「原材料調達 → 加工 → 倉庫保管」の流れと同じです。複数の仕入先(業務DB / SaaS)から原料を集め、加工場で集計・整形し、倉庫(データウェアハウス)に整然と並べる。これがETLの仕事です。