学習ストーリー
新井 朋也さん本人の学習設計の語り
データ指向アプリケーション設計で分散データ処理の原理を押さえ、クラウドとDWHで保存・加工の流れを実装する。最後に監視とリリース運用を組み込み、壊れたときに気づけるデータパイプラインに仕上げる。
バックエンドエンジニア → データエンジニア(リアルタイム基盤担当)
データ基盤エンジニア: 企業のデータ活用を支える基盤システムの設計・構築・運用を担い、分析者や機械学習エンジニアが効率的にデータを活用できる環境を提供するエンジニア職種。
完全プランを見るGoとPythonで業務APIを開発してきたが、近年はイベントログや行動データを扱う案件が増え、バッチ処理だけでは事業判断に間に合わない場面を経験している。API開発で培った信頼性設計を活かしつつ、ストリーミング処理とデータ基盤の専門性を伸ばしたい。
「アプリケーションから生まれるイベントを、分析・機械学習・監視に安全に届ける基盤を設計したい。分散システムの知識をデータ領域に転用し、リアルタイム性と品質を両立するエンジニアを目指す。」
新井 朋也さん本人の学習設計の語り
データ指向アプリケーション設計で分散データ処理の原理を押さえ、クラウドとDWHで保存・加工の流れを実装する。最後に監視とリリース運用を組み込み、壊れたときに気づけるデータパイプラインに仕上げる。
現在のスキル水準とデータエンジニア(リアルタイム基盤担当)に必要な水準を並べ、何を伸ばすべきかを可視化しています。
迷ったらこの順番で読むのが推奨。基礎 → 実践 → 視座を上げる、という流れで構成されています。
なぜこの本か
データ基盤の設計判断に必要な分散システムの考え方を、バックエンド経験と接続して理解するため。
なぜこの本か
クラウド上でデータ処理サービスをどう組み合わせるかを、手を動かせる粒度で把握するため。
なぜこの本か
パイプライン変更を安全にリリースし、失敗時に戻せる運用設計を学ぶため。
ログ、イベント、整合性、再処理
保存、変換、集計、権限管理
監視、障害対応、リリース安全性
同じ職種・近いレベル感を目指す他のペルソナです。学習プランや読む順番のバリエーションとして参考にしてください。
新井 朋也さんの学習プランは「データ基盤エンジニア」を目指す一例です。 職種全体のロードマップ・必要スキル・代表的な書籍は専用ページで体系的に確認できます。
データ基盤エンジニアのロードマップを見る →