データエンジニア
でーたえんじにあ
Data Engineer
一言でいうと
データの収集・加工・配信のパイプラインを設計・運用する役割のこと。
詳しい意味
データエンジニアは、データの収集・加工・配信のパイプライン（ETL / ELT）と、データ基盤（DWH / データレイク / データマート）を設計・構築・運用する役割です。データサイエンティスト・アナリスト・MLエンジニアが「データを使う側」なら、データエンジニアは「データを使える状態に整える側」。BigQuery / Snowflake / dbt / Airflow / Spark / Kafka などのスタックに精通します。データ品質・パイプラインの信頼性・コスト最適化・データガバナンス（誰がどのデータを使えるか）の責任を持つことが多く、SREとデータサイエンスの間に位置するハイブリッド職種です。
何に使うか
分析環境を整備したいとき。ETL / ELT パイプラインの設計と運用。複数システムのデータを統合する横断基盤の構築。
どんな時に出るか
「データエンジニアに依頼」「データパイプラインが詰まった」「データ品質の改善」といった場面で登場します。
具体例
- データエンジニアが Airflow + dbt でデータパイプラインを構築し、BIチームにマートを提供している。
- データエンジニアの不在で、データ分析の手前で常に詰まる組織になっていた。
別名・略称
data engineer(でーたえんじにあ)DE(でぃーいー)
間違えやすい語
初心者向けメモ
工場の「物流担当」のような役割です。原料（生データ）を仕入れ、加工して、必要な部署（分析者）の手元に正確に届ける。料理人（データサイエンティスト）が美味しい料理を作れるかは、物流担当の腕次第、という重要な役割です。