企業のデータ活用を支える基盤システムの設計・構築・運用を担い、分析者や機械学習エンジニアが効率的にデータを活用できる環境を提供するエンジニア職種。
0年目から到達点まで、4つのフェーズで何を学ぶべきかが一望できます。
年次ごとに最適な推薦書籍を提示。書影・著者・難易度つきで迷わず選べます。
12つの主要スキルを段階的に積み上げ、市場価値を最大化していくロードマップです。
企業のデータ活用を支える基盤システムの設計・構築・運用を担うエンジニア職種。データレイクやデータウェアハウスの構築、ETL/ELTパイプラインの開発、データ品質の管理を通じて、分析者や機械学習エンジニアが効率的にデータを活用できる環境を提供する。クラウドプラットフォーム（AWS、GCP、Azure）の分散処理技術（Spark、Hadoop）、ワークフローオーケストレーション（Airflow）、データモデリングなど、幅広い技術領域をカバーする。データ基盤は企業のデータドリブン経営を支える心臓部であり、スケーラビリティ・信頼性・セキュリティの高いシステム設計が求められる。
0年目から到達点まで、4段階のキャリアパスを年次ごとに分解。各ステップで身につけるスキル・読むべき書籍を時系列で把握できます。
SQL の基本文法とリレーショナルデータベースの仕組みを理解し、既存のETLジョブやデータパイプラインの動作を追えるようになるフェーズ。Pythonでのデータ処理スクリプト作成やクラウドプラットフォーム（AWS / GCP）の基本サービスの操作を学び、先輩エンジニアの設計したパイプラインの一部を実装・保守する経験を積む。データの流れとテーブルスキーマを読み解き、簡単なデータ品質チェックやログ確認を通じてデータ基盤の全体像を把握することが重要。
ETL/ELTパイプラインの設計と実装を自力で行えるレベルを目指すフェーズ。Airflow等のワークフローオーケストレーションツールを使った複雑なジョブスケジューリング、Spark / Hadoop による大規模データ処理の実装、データウェアハウス（BigQuery / Redshift / Snowflake）のパフォーマンス最適化を担当する。データモデリングの基礎を習得し、正規化・非正規化の使い分けやパーティショニング戦略を理解することで、分析者が使いやすいデータマートを設計できるようになる。
データ基盤全体のアーキテクチャ設計と技術選定をリードし、スケーラビリティ・信頼性・コストを考慮したシステムを構築するフェーズ。データレイク・データウェアハウス・データマートの3層アーキテクチャ設計、リアルタイムストリーミング処理基盤（Kafka / Kinesis）の導入、データ品質監視とアラート体制の確立を担う。Infrastructure as Code（Terraform / CloudFormation）による再現可能なインフラ構築や、データガバナンスポリシーの策定にも関与する。
データエンジニアリング組織の戦略策定とチームマネジメントを担い、データドリブン経営を技術面から支えるフェーズ。データ基盤の長期ロードマップ策定、機械学習基盤（MLOps）との統合設計、データセキュリティ・コンプライアンス体制の整備を主導する。他部門（ビジネス・分析・ML）との連携を強化し、データ活用のボトルネックを解消するための組織横断プロジェクトを推進する。採用・育成計画の立案やデータエンジニアリング文化の醸成を通じて、技術的リーダーシップとピープルマネジメントの両面で貢献する。
この職種で求められるスキルを、推奨レベルと参考書籍とともに一覧化しています。
| スキル | 推奨レベル | 推奨書籍 |
|---|---|---|
| スキル コンテナ技術（Docker / Kubernetes） | 推奨レベル 初級 | 推奨書籍 — |
| スキル データセキュリティ・ガバナンス | 推奨レベル 初級 | 推奨書籍 |
| スキル 分散処理基盤（Spark / Hadoop） | 推奨レベル 中級 | 推奨書籍 |
| スキル データモデリング・スキーマ設計 | 推奨レベル 中級 | 推奨書籍 |
| スキル ワークフローオーケストレーション（Airflow等） | 推奨レベル 中級 | 推奨書籍 |
| スキル データ品質管理・バリデーション | 推奨レベル 中級 | 推奨書籍 |
| スキル Infrastructure as Code | 推奨レベル 中級 | 推奨書籍 — |
| スキル Python / Scala でのデータ処理 | 推奨レベル 中級 | 推奨書籍 |
| スキル パフォーマンスチューニング | 推奨レベル 中級 | 推奨書籍 |
| スキル SQL・データベース設計 | 推奨レベル 上級 | 推奨書籍 |
| スキル クラウドデータサービス（AWS / GCP / Azure） | 推奨レベル 上級 | 推奨書籍 |
| スキル ETL/ELT パイプライン設計 | 推奨レベル 上級 | 推奨書籍 |
ステップごとに到達可能な年収帯の目安。経験・実績の積み上げに応じて市場価値が上昇していきます。
※ 公開求人データ・各種職種調査をもとにした参考値です。実際の年収は企業規模・地域・経験により大きく変動します。
データ基盤エンジニアを目指す代表的なロールモデル。あなたに近いキャリアパスを参考にしてください。
この職種に関連するペルソナは現在準備中です。
データエンジニアには SQL とデータベース設計の深い理解が必須です。加えて、Python や Scala でのデータ処理、クラウドプラットフォーム（AWS / GCP / Azure）のデータサービス（S3、BigQuery、Redshift等）の実務経験が求められます。さらに、ETL/ELTパイプラインの設計・実装能力、Airflow 等のワークフローオーケストレーションツール、Spark / Hadoop などの分散処理フレームワークの知識も重要です。Infrastructure as Code（Terraform）やコンテナ技術（Docker / Kubernetes）も扱えると市場価値が高まります。
IT未経験からの場合、1年〜1年半程度の学習期間を見込むのが現実的です。まず SQL とデータベースの基礎を3〜4ヶ月で固め、次に Python でのデータ処理と AWS / GCP のデータサービスを実際に触りながら習得します（3〜4ヶ月）。その後、ETLツールやワークフローオーケストレーション（Airflow）のハンズオン学習を進め、最後にポートフォリオとして小規模なデータパイプラインを構築すると良いでしょう。バックエンドエンジニアやインフラエンジニアからの転身であれば、6ヶ月程度で準備可能です。
データエンジニアの年収は550万円〜1,300万円と幅広いですが、データ活用の需要増加に伴い高水準の職種です。ジュニアレベルで550万〜700万円、3〜5年の実務経験で800万〜1,000万円、シニアレベルやリードエンジニアでは1,200万円以上も珍しくありません。特に、大規模データ基盤の設計・構築経験や、リアルタイムストリーミング処理（Kafka / Kinesis）、MLOps基盤の構築経験があるエンジニアは市場で非常に希少で、高い報酬を得やすいポジションです。
データエンジニアはデータ基盤の「作り手」、データサイエンティストはデータの「使い手」という位置づけです。データエンジニアは ETL/ELT パイプライン、データウェアハウス、データレイクの設計・構築・運用を担い、データサイエンティストや分析者が効率的にデータを活用できる環境を提供します。一方、データサイエンティストは統計分析や機械学習モデルの構築を通じてビジネス課題を解決します。データエンジニアは「データの流れと品質」を、データサイエンティストは「データからの洞察と予測」を重視する点が大きな違いです。
最もよくある失敗は、ツールの使い方だけ覚えて本質的な設計思想を理解しないことです。Airflow や Spark を触れるだけでは不十分で、「なぜそのツールを選ぶのか」「どのようなデータモデリングが適切か」といったアーキテクチャレベルの判断力が重要です。また、SQL の基礎力を軽視してクラウドサービスだけに注力するのも失敗の原因です。データエンジニアリングの核心は「データの流れと品質を保証する設計力」にあるため、データベース設計やパフォーマンスチューニングの基礎は必須と考えましょう。
小規模でもよいので、データ取得、加工、保存、品質チェック、可視化までを一通りつないだパイプラインを作ると評価されます。例として、公開APIやCSVを取り込み、Pythonで加工し、BigQueryやPostgreSQLへ格納し、dbtやSQLで集計テーブルを作り、最後に簡単なダッシュボードへ接続する構成が実践的です。READMEにはデータ品質の検査項目と障害時のリカバリ手順を書くと、実務を意識していることが伝わります。
現在の求人ではクラウド経験がほぼ必須に近くなっています。AWSならS3、Glue、Redshift、Athena、GCPならBigQuery、Cloud Storage、Dataflowなど、少なくとも一つのクラウドでデータ保存・変換・集計の流れを触っておくとよいでしょう。ただしクラウドサービス名を暗記するより、ストレージ、計算、メタデータ管理、権限管理、コスト管理の役割を理解することが重要です。
単純なSELECT文だけでなく、JOIN、集計、ウィンドウ関数、CTE、パーティション設計、クエリ実行計画の読み方まで理解していると実務で強みになります。データ基盤ではSQLが分析者との共通言語になるため、読みやすく再利用しやすいクエリを書く力も重要です。さらにデータ品質チェックや差分検知をSQLで表現できると、パイプライン運用の信頼性を高められます。
このロードマップで言及されている全12冊の書籍をユニークにまとめています。
