こちらはデジスマチームブログリレー6日目の記事です。
デジスマチームで開発チームのリーダーをしている田口です。日々目まぐるしくアップデートされていくAIエージェントを使って、どう生産性を向上させるかを考えることが多くなってきました。そんな中、今回はチームでDevinを導入した結果についてまとめてみました。
チームでの導入の背景
エムスリーでは今年5月に山崎さんがChief AI Officer（CAIO）に就任*1し、全社的にAI活用の流れが活発になっています。 その一環でGitHubがほぼ前提になっているDevinの導入をトライすべく、私たちのチームで先行して導入していました。 エムスリーではGitLabをメインに利用していましたが、デジスマ診療（以降デジスマ）は比較的新しいプロダクトということもあり、社内で最初にGitHub移行を計画し、去年度にGitLabから完全移行が完了しているため、先行導入にもってこいな状況でした。
GitHub移行に関してはSREチームの伴さんがリードして完遂してくれました。こちらのブログでも紹介されています。 www.m3tech.blog
Devin導入による効果
デジスマチームでは5月13日からDevinの利用を開始しました。次のグラフは日別にマージされたGitHubのプルリクエスト数を示しています。日によってDevinの利用率はばらつきがありますが、Devinの導入前と比較するとマージされたプルリクエスト総数は上昇傾向にあり、Devinによって開発スピードが底上げされていそうです。
またチーム内でデジスマと異なる新規プロジェクトを今年の1月頃に立ち上げましたが、このプロジェクトのcontributorsグラフを見るとDevinが1位になっており、立ち上げの段階でも貢献度が大きいです。
これらの結果から、導入前後でチーム全体の開発生産性が向上していることが確認できます。以降では私が利用していく中で感じたDevinの得意不得意についてまとめます。
Devinが得意なこと
Devinを導入した当初はClaude Code ActionやGitHub Copilot Coding Agent等のリモートで動くAIエージェントが他になく、Slackからタスク依頼できるという点や、少ないフィードバックでタスクをこなしてもらうという点は他のAIエージェントと大きく異なっていました。自分が他のタスクをしたりミーティングに参加したりしている間に別のタスクをDevinにやってもらい、並行して複数の業務をこなすという点では最も体験が良かったです。
特にDevinを使って上手くいった例としては、デジスマではRDB（Amazon Aurora）のデータを日次でBigQueryに連携するパイプラインを組んでいますが、これを先述した新規のプロジェクトにも作成したことが挙げられます。 デジスマでは次のようなステップのパイプラインをStep Functions、Lambdaで作成しており、これらをTerraformで記述しています。
- AuroraのSnapshotを作成
- SnapshotのデータをS3にエクスポート
- S3のファイルをGCSに転送
- GCSからBigQueryにデータをロード
これと同じ構成の仕組みについて、新規のプロジェクトではファイル構成など完全に同じではないものの、細かい差分を汲み取って作成してくれました。何度かDevinにフィードバックしながら進めましたが、自分でスクラッチで作成するのに比べると大幅に時間を短縮してタスクを完了できました。
またライブラリのバージョンアップなど、同じような修正が複数のリポジトリに必要な場合にも有用です。冒頭に述べたようにデジスマのコードベースはマイクロサービス毎にリポジトリが異なるので、人手でやる場合は同じ変更をそれぞれのリポジトリにpushして...といったタスクをまとめて依頼できるのが便利です。
やはりタスクの粒度としては細かめのもの、特にインフラ系の定型的なタスクが得意という印象です。他にもコスト削減のための開発環境を夜間に停止させる仕組みの導入などは精度良くやってくれました。この手のタスクは後回しになりがちですが、とりあえずDevinに任せるということができるようになったのは良かったです。これによりチームのリソースをより重要なタスクに集中させつつ、負債を軽減することが可能になりました。
Devinの不得意なこと、課題
一方で、Devinを活用する上での制約もいくつかありました。動作する環境がDevinのマシンになるため、社内のAWS等の環境と接続するには穴あけをする必要があります。また外部サービスとの連携も現状そこまで充実していないため、claude codeなどローカルからMCPサーバーを介して行うような連携はやりづらい、といった印象です。
また実データを参照する調査系タスクも課題です。通信の問題に加えて、Devinではデータの保持期間等が明記されておらず、個人情報が現状扱いづらいという問題があります。
他のAIエージェントにも言えるかもしれないですが、複雑なビジネスロジックの実装も苦手です。ローカルで実行するAIエージェントに比べてフィードバック回数が少なくなるので、時間がかかった割に想定と全く異なるアウトプットが出来上がったり、フィードバックが多くなってDevinの旨みが薄れたりします。
まとめ
今回はデジスマチームでDevinを導入してどうだったか、Devinの得意不得意について感じたことをまとめました。個人的には、優先度が落ちがちな細かいタスクをどんどんDevinにやらせるのが一番良い使い方だと思いました。
不得意なタスクをどのように上手くやらせるか、という試行錯誤はまだあまりできていなかったので、今後はそういったことも試しつつDevinの可能性を模索していきたいと思います。ただし昨今様々なAIエージェントが次々に出てきているので、AIエージェント毎に得意なことを任せるのが最も効率が良い、ということはあるかもしれないです。引き続きDevinを活用しながら、チーム全体の生産性向上を図っていきたいと思います。
ちなみに、本ブログもDevinに協力してもらったことで普段の1/3程度の時間で書くことができました。
We are hiring!!
エムスリーではエンジニアを絶賛募集しています！ ご興味ある方は是非カジュアル面談等ご応募ください！
