こんにちは！ エムスリーエンジニアリンググループの山口です。
2023 年 6 月にエムスリーのデータ基盤チームにソフトウェアエンジニアとして入社しました。 この記事では、自己紹介も兼ねて、転職に至った経緯や実際にエムスリーのデータ基盤チームに入ってみての感想などを書きたいと思います。
【データ基盤チーム ブログリレー 2 日目】ということで、データ基盤チームのことを少しでも知っていただけると嬉しいです。
自己紹介・経歴
新卒でクラウドコンピューティングサービスを提供する会社に入社し、クラウドサポートエンジニアとして、クラウドサービスを利用するクライアントの問題を解決する仕事をしていました。 ビッグデータ関連のサービスを専門に扱うチームに所属しており、以下で紹介されている AWS のデータ系のサービスは一通り触ったかなという印象です。
普段の業務では具体的には、データパイプラインのアーキテクチャ支援や Spark ジョブの実行が失敗した際の原因調査やパフォーマンスチューニングなどを行っていました。 その中でも、一番好きな業務が EMR での Spark/Hive などのジョブが失敗した際の原因調査で、よく大量に吐かれるログの中で溺れていました。 分散環境では様々なコンポーネントが関わり合っているので、それらのログを時系列で整理し、何が発生していたのかを特定するのがパズルを解いているようで楽しく感じます。
転職のきっかけ
前職の仕事では、AWS のデータ系のサービスに関して様々な問題と向き合うことができ充実した日々を過ごすことができました。 しかし、ある程度日が経つと、以下 3 つの理由から転職を考えるようになりました。
1.自分の成長が鈍化しているように感じたこと
当初ビッグデータチームに所属した時は、Glue や EMR など、" なにそれ美味しいの？ " といったレベルで、辛うじて DynamoDB を知っているくらいでした。 業務を通じて AWS のビッグデータ関連のサービスの知識や経験ができて成長を感じていました。 しかし、時間が経つにつれ、似たような問題に出くわすことや似たような技術検証をすることが増えてきて徐々に成長を感じなくなっていきました。
2.実際にデータ基盤の開発をしたい
前職では、様々なクライアントの問題解決を行える一方で、それぞれのクライアントのプロジェクトの一部で起きた問題の解決という側面が強い印象でした。 また、基本的には失敗したジョブを診るなど、"壊れたモノ"の対応をすることが多かったように感じます。 その結果、強固なデータ基盤を自分で開発して、その運用/保守まで携わりたいという気持ちが強くなっていきました。
3.リアルなデータを扱いたい
クライアントの環境で発生した問題を解決する関係上、技術検証では自分の環境にてクライアント環境を再現する必要があります。 その際、クライアントが実データを提供することが難しい場合が多く、サンプルとなるデータを拾ってきたり、データを生成するスクリプトを書いて擬似的なデータセットを使用していました。 データエンジニアリングの魅力の 1 つはデータそのもの (Volume, Velocity, Variety, Veracity) だと思っているので、リアルなビジネスから生まれるデータを扱いたいという気持ちが強くなりました。
どうやら、自分のやりたいこと的にはデータエンジニアのポジションがベストだということがわかり、データエンジニアのポジションに絞って転職をスタートしました。
エムスリーにした決め手
自分のやりたいことが決まったとしても、会社選びは決して簡単なことではありません。 どのような環境で働きたいかを考えた結果、以下の条件が揃っているところで働きたいと考えました。
- 圧倒的成長環境
- 自社でプロダクトを保有している会社
- チャレンジングなデータを保有している会社
結論から言いますと、複数会社を見た中でエムスリーは自分が求める 1-3 の条件がズバ抜けて揃っていました。 それぞれの項目ごとにエムスリーに対してどのように感じたかを以下で書いていきます。
圧倒的成長環境
採用の過程で、人事の方に各会社にどのようなエンジニアが集まっているか分からないので、どのように知ることができるか相談したことがありました。 すると、エンジニア文化に共感する人が集まるので、各会社のエンジニア文化を確認することを勧められました。 エムスリーのエンジニア文化としては「ギークかつスマートなエンジニア」というものがあります。 エンジニアの文化を比べる中で、エムスリーのようなエンジニア文化に共感し集まる環境では、技術力だけではなく社会人としても成長できそうだと感じました。 なお、エムスリーのエンジニアのギークさは、エムスリー公式テックチャンネルで感じることができますので、ぜひご視聴してみてください。
また、データ基盤チームは 2023 年の 4 月に発足したばかりの新しいチームです。 新しいからこそ決まっていない部分も多く、チームを作り上げていく一員となれるのも魅力的な点でした。
自社でプロダクトを保有している会社
前職の関係上、責任をもってデータ基盤の開発/保守をしていくという経験がありませんでした。 そのため、自社でプロダクトを保有している会社で、プロダクトに関するデータ基盤の開発から保守までを責任をもってやっていきたいと思っていました。 エムスリーでは医療業界に関して多岐にわたるサービスを展開しており、現在もなお新しいサービスの展開を行なっています。
このような環境では、既存のプロダクトのデータ基盤だけではなく、新しく作成されるデータ基盤の開発/保守に 1 から携わることができるのが魅力的でした。
チャレンジングなデータを保有している会社
前述で記載のようにエムスリーでは多岐に渡るサービスを展開しており、それらに関わるデータの種類や量は莫大にあります。 BigQuery 上のデータ量を見てみると現時点では以下のようになっています。
- データセット数: 240 以上
- テーブル数: 500,000 以上
- 論理ストレージ量: 800 TB 以上
エムスリーでは複数の事業チームがあり、様々なプロダクトがあるため、多くの種類と量のデータが日々生成されています。
BigQuery 上のデータだけでも様々なプロダクトに渡り多くの種類/量のデータがあることがわかります。 また、BigQuery に乗せきれていないデータもまだまだ存在し、これらのデータの BigQuery への連携や、現在あるテーブルの整理など現状タスクが多くあります。
実際に入社してみて
まだ入社して 1 ヶ月程しか経ってないですが、成長を感じる日々を送っています。 実際にエムスリーのデータ基盤チームに入って感じていることを以下に連ねてみました。
- ギークかつスマートなエンジニアの皆さんが超絶優しく相談に乗ってくれる
- エンジニアもビジネス側のディスカッションに積極的に参加する
- 技術選定から実装方針まで自分が主導で決めるので裁量が大きい
- データの Producer と Consumer のどちらのシステムのことも知っていなきゃいけないので、キャッチアップは大変
- 扱うデータの量や種類はやっぱり莫大だった
- まだまだ活用できていないデータがあるので、これからもっと楽しくなっていきそう
We are hiring!!
以上、エムスリーに転職した理由や実際に入社して思っていることを書かせていただきました。
データ基盤チームではエムスリーがもつチャレンジングなデータを活用してビジネスに貢献したいデータエンジニアを募集しています。
少しでもご興味を持った方は、以下ページよりカジュアル面談等に申し込み頂ければと思います。
