まえがき

KDDIアジャイル開発センターの末光です。

2022年末から今年の春にかけて全世界に衝撃を与えた ChatGPT の登場は、生成AI技術を民主化させたと言っても過言ではありません。 この時期を境に、業務効率化やビジネス拡大の手段として生成AIを用いることができないかを多くの企業が模索を開始し、その熱は数ヶ月経った現在でも変わっていません。

弊社も例に漏れず、生成AI技術に関するアップデートが社内チャット上で頻繁にやりとりが交わされ、大規模言語モデル(LLM)を活用したプロダクト開発も行われています。

この記事について

その一環として、弊社では、開発者のさらなる生産性向上のために、GitHub社が提供する開発支援ツール「GitHub Copilot for Business （以下、GitHub Copilot）」の利用を開始しています。

実際の開発案件への適用にあたっては、事前に検証期間を設け、導入範囲を徐々に拡大しながらの効果測定と分析を行っています。最終的には大きな費用対効果が得られると判断し、本格的な導入を決定しました。

検証においては、コーディング業務において約38%の時間短縮に寄与しているという分析結果が得られています。

本記事では、その数字の根拠である、GitHub Copilotの最終評価段階における導入効果の分析結果について共有します。 なお、この評価は2023年7月から8月にかけて実施したものです。

評価について

アンケートの前提条件

ツールの導入効果を定量的に分析するために、以下の選択肢を含むアンケートを、ツール利用者に対して実施し、56名からの回答が得られました。

1. 業務日におけるコーディング/プログラミング作業にかける平均的な時間:

   • 20%未満
   • 20-40%未満
   • 40-60%未満
   • 60-80%未満
   • 80%以上

2. 1日あたり、どれくらいの時間の節約に繋がったと思いますか:

   • 30分未満
   • 0.5-1時間
   • 1-2時間
   • 2-3時間

作業時間の劇的な変化

コーディングに費やす時間の分布とCopilot導入による1日あたりの時間節約の分布は以下の表にまとめられています。

コーディング作業時間の割合	回答者数	回答の割合 (%)
20%未満	15	26.8
20-40%未満	14	25.0
40-60%未満	17	30.4
60-80%未満	7	12.5
80%以上	3	5.4

1日あたりの節約時間	回答者数	回答の割合 (%)
30分未満	15	26.8
0.5-1時間	25	44.6
1-2時間	14	25.0
2-3時間	2	3.6

56名から得られた回答に基づき、1日あたりに短縮できたとされるコーディング時間の平均値を計算しました。短縮時間の選択肢には時間幅があるので、各選択肢の下限値、中間値、上限値を使用した「ネガティブ」、「ニュートラル」、「ポジティブ」の3つのシナリオを考えます。それぞれについて以下のような結果が得られました。

シナリオ	平均短縮時間 (分/日)
ネガティブ (下限)	32.68
ニュートラル (中間)	51.96
ポジティブ (上限)	71.25

ニュートラルのシナリオにおいて、平均短縮時間は1日あたり約52分となります。

コーディング時間の削減比率

各シナリオにおける全体のコーディング作業時間に対する削減率を分析します。計算には、コーディング時間の各項目をセグメントとして扱い、以下の式を使用します：

ネガティブシナリオ

コーディング時間 (%)	回答数	総削減時間 (h)	グループごとの平均削減率 (%)
20%未満	15	3.5	29.17
20-40%未満	14	9.0	26.79
40-60%未満	17	9.5	13.97
60-80%未満	7	6.0	15.31
80%以上	3	2.5	11.57

削減率は約21%となりました。

ニュートラルシナリオ

コーディング時間 (%)	回答数	総削減時間 (h)	グループごとの平均削減率 (%)
20%未満	15	7.75	64.58
20-40%未満	14	14.0	41.67
40-60%未満	17	14.5	21.32
60-80%未満	7	8.5	21.68
80%以上	3	3.75	17.36

削減率は約38%となりました。

ポジティブシナリオ

コーディング時間 (%)	回答数	総削減時間 (h)	グループごとの平均削減率 (%)
20%未満	15	12.0	100
20-40%未満	14	19.0	56.55
40-60%未満	17	19.5	28.68
60-80%未満	7	11.0	28.06
80%以上	3	5.0	23.15

削減率は約54%となりました。

コスト削減: Copilotの経済的効果

時間節約が企業経済に及ぼす影響を理解するため、以下のような試算を行いました。年間人件費550万円、1日あたりの稼働時間8時間、月あたりの稼働日数20日と仮定します。このとき、時間あたりの人件費は約2,865円となります。

※年間人件費の金額は、type転職エージェント に記載のITエンジニアの平均年収の金額を参考にしています。弊社の給与実績とは関係ありません。

項目	数値
年間人件費	550万円
1日あたりの稼働時間	8時間
月あたりの稼働日数	20日
時間あたりの人件費	2,865円

前述の「ネガティブ」「ニュートラル」「ポジティブ」それぞれのシナリオにおいて、金額にしてどれくらいになるのか、削減できた稼働時間から算出したものを以下に示します。

シナリオ	月間コスト削減 (円)
ネガティブ (下限)	31,203円
ニュートラル (中間)	49,618円
ポジティブ (上限)	68,033円

この数値はひとりあたりの金額ですので、組織全体で見るとかなりの金額となります。 シナリオ間で金額に幅はあるものの、GitHub Copilot のライセンス費用 (1ユーザー月あたり19USD)を大幅に上回る導入効果が得られていることがここからも分かります。

まとめ

GitHub Copilotの導入は、生成AI技術の業務利用の文脈において、組織にとって非常に大きなインパクトを与えるものとなりました。これは、コーディング作業時間のスピードアップという形でその価値を実証しています。

今後、組織としてこれらツールが提供する価値を最大限かつ継続的に獲得し、新たなビジネスの創造やエンジニア体験のさらなる向上を目指して最大限に活用していきたいと考えています。