今回のキャリアセミナーでは、データエンジニアの求人を実際に分析しました。
年収帯ごとに求められるスキルを整理しています。
AIや機械学習の実用化が進む中、データエンジニアの需要はますます高まっています。
IT業界で多くの求人を扱う転職サイト「Green」の求人情報をもとに、必要なスキルとキャリアパスを解説します。
この記事の執筆・監修
テクノロジーアンドデザインカンパニー株式会社のCEO。
日本最大級のプログラミング教育のYouTubeチャンネル「キノコード」や、プログラミング学習サービス「キノクエスト」を運営。
著書「あなたの仕事が一瞬で片付くPythonによる自動化仕事術」や、雑誌「日経ソフトウエア」や「シェルスクリプトマガジン」への寄稿など実績多数。
データエンジニアとは
データエンジニアは、企業の大量データを分析しやすい形に整理・加工するエンジニアです。
データから価値を生み出す基盤を構築・運用することが主な役割です。
従来のエンジニアがシステムの動作を重視するのに対し、データエンジニアはデータの流れと価値を重視します。
ビジネス判断に必要な情報を効果的に提供するのが仕事です。
具体的には、散らばっているデータを1箇所に集めて整理します。
データアナリストやデータサイエンティストが分析しやすい環境を作ります。
データサイエンティストが「データを分析する人」であるのに対し、データエンジニアは「データを準備する人」と言えます。
データが自動的に流れる仕組みを作り、データの品質をチェックするのが主な役割です。
主な業務内容と必要スキル
データ基盤の設計・構築が中心的な業務です。
PythonやR言語でのデータ処理も大切なスキルです。
Pythonは汎用的なプログラミング言語で、データ処理に便利なライブラリが豊富にあります。
Rは統計処理に特化した言語です。
クラウドサービス（AWS、GCP、Azureなど）を使ったデータ基盤の構築も一般的になっています。
ビッグデータの処理では、SparkやHadoopなどの分散処理フレームワークを使いこなす必要があります。
Hadoopは大規模データを複数のサーバーに分散して保存・処理するフレームワークです。
SparkはHadoopよりも高速にデータを処理できるフレームワークです。
データ可視化ツール（Tableau、Looker Studioなど）の知識もあると良いでしょう。
統計学・機械学習の基礎知識も持っていると仕事の幅が広がります。
データエンジニアの需要が高まっている背景には、企業のDX推進に伴うデータ活用の大切さの高まりがあります。
AIや機械学習の実用化に伴い、高品質なデータ基盤への需要も増加しています。
求人分析 ― 年収帯別に求められるスキル
実際のGreenの求人を3件分析しました。
年収帯別にどのようなスキルが求められるのかを見ていきましょう。
求人例1: デジタルプロフェッショナルサービス企業（年収400万〜600万円）
AWSやGCPを使ったビッグデータの分析基盤構築やデータの可視化を行う企業の求人です。
仕事内容は大きく2つあります。
1つ目はデータのビジュアライゼーションです。
データ分析基盤からデータを抽出して可視化する業務です。
2つ目はデータ分析基盤の構築・運用です。
クラウドサービスを使って要件整理、データ連携、データ蓄積を行う業務です。
使用言語はSQL、Python、Rです。
応募資格として、言語問わずITエンジニアとしての3年以上の経験が必要です。
エンジニアとしてデータ系の業務経験が半年以上あることも条件です。
歓迎スキルにはBIツールの導入経験やクラウドインフラの活用経験が含まれます。
求人例2: データエンジニアリング専門企業（年収500万〜800万円）
データを活用した社会課題・企業課題の解決を行うデータエンジニアリング専門企業の求人です。
フルリモート勤務が特徴です。
仕事内容には、データ基盤構築があります。
クライアントの社内データを集約・正規化してデータに意味を持たせる業務です。
データ可視化・分析や機械学習のサポート、外部データ連携の支援も含まれます。
技術環境としてJava、Python、SQL、JavaScriptが使われています。
GCPのサービス（BigQuery、dbt）を多く活用しています。
dbtはSQLのデータを変換するツールです。
AutoML（機械学習モデルを自動で作成するサービス）も使用されています。
連携サービスとしてGoogleタグマネージャーやGoogleアナリティクスなども必要です。
応募資格としてデータベース、ETL、インフラの実務経験が求められます。
パフォーマンスチューニング（システムの処理速度を向上させる調整）の経験も条件です。
歓迎スキルにはGoogle Cloud認定資格やAWS資格が含まれます。
求人例3: データ分析基盤の自社サービス企業（年収700万〜1200万円）
データ転送・管理・可視化を実現する自社サービス「TROCCO」を開発・運営している企業の求人です。
3社の中で最も高い年収帯です。
業務内容は3つのフェーズに分かれています。
設計・実装フェーズでは、データパイプラインの要件定義・設計・構築を行います。
クラウドサービスを使った設計・実装も担当します。
データ活用支援・運用フェーズでは、データ分析基盤の運用設計・支援を担当します。
事業面での価値創出として、自社プロダクトの機能改善やフィードバック提供も行います。
技術コミュニティの運営や登壇による社外発信も業務に含まれます。
応募資格として、AWS・GCP・Azureの使用経験が必須です。
データパイプラインの構築経験やBigQueryの使用経験も求められます。
SQLを活用した大量データの抽出・整形・可視化の業務経験も条件です。
上流工程から関わり、社外の人とのコミュニケーションも求められます。
データサイエンティストとの違い
データエンジニアとデータサイエンティスト（データアナリスト）は似ていますが、役割は異なります。
データエンジニアはデータを準備する人です。
データが自動的に流れるような仕組みを作り、データの品質をチェックします。
データアナリストやデータサイエンティストは、その整理されたデータを分析してグラフやレポートを作ります。
データサイエンティストはさらに、過去のデータから予測を行います。
「来月の売上はどうなるか」「どの商品が売れそうか」といった予測をして、改善提案をします。
つまりデータエンジニアが土台を作り、データサイエンティスト・データアナリストがデータを活用するという関係です。
データエンジニアもデータサイエンティストが使いやすいデータを意識して基盤を作ることが求められます。
分析スキルの知識があると仕事の幅が広がります。
学習ロードマップ
未経験からスタートする場合、まずSQLの基本操作とデータベースの基本概念を学びましょう。
次にPythonの基礎とデータ可視化の基礎を身につけます。
AWSやGCPなどのクラウドサービスとデータウェアハウスの理解を進めましょう。
ETL処理も学んでおくと良いでしょう。
簡単なデータパイプラインを作ってみることが実践的な学習になります。
中級者は大規模データ処理やデータパイプラインの設計を学びましょう。
リアルタイムデータ処理も大切なスキルです。
データレイクやデータウェアハウス（DWH）の設計も習得すると良いでしょう。
BIツールを使った可視化技術も身につけましょう。
上級者はマイクロサービスアーキテクチャなどの設計スキルが求められます。
データ戦略の立案やチームマネジメント、リーダーシップも必要です。
まとめ
データエンジニアの求人を分析した結果、年収400万円台から1200万円まで段階的なキャリアパスがあることがわかりました。
初級レベルではITエンジニアとしての基礎経験とデータ系の業務経験が求められます。
中級レベルではGCPやAWSでのデータ基盤構築経験が条件です。
上級レベルではデータパイプラインの設計から社外発信まで幅広いスキルが求められます。
データエンジニアは企業のデータ活用を支える大切な職種です。
AIや機械学習の実用化が進む中で、ますます需要が増えていく分野です。
まずはSQLとプログラミングの基礎を身につけ、クラウド環境に触れることから始めてみましょう。
みなさんの現在のスキルレベルを把握して、次のステップとして何をすべきかを明確にすることが大切です。
IT・Web業界への転職をお考えの方は、転職サイト「Green」をチェックしてみてください。
企業の雰囲気がわかる写真や、カジュアル面談の機能など、自分に合った企業を見つけやすい仕組みが充実しています。
