文献

J-GLOBAL ID：202302251594170690   整理番号：23A1115357

GitHub Copilotを用いたコード自動生成における入力データ順序の影響調査

著者 (5件)： 野口広太郎 (九大) ,  小柳慶 (九大) ,  近藤将成 (九大) ,  亀井靖高 (九大) ,  鵜林尚靖 (九大)
資料名： 電子情報通信学会技術研究報告(Web)  (IEICE Technical Report (Web))
巻： 122  号： 444(KBSE2022 54-69)  ページ： 85-90 (WEB ONLY)  発行年： 2023年03月09日 
JST資料番号： U2030A  ISSN： 2432-6380  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： GitHub Copilotは,大規模言語モデルをベースとするコードの自動生成ツールであり,プログラム中のコメントを入力としてコードを自動生成できる.Copilotのコード生成能力についていくつかの研究がすでに行われている一方で,これまで入力データの順序がCopilotのコード生成性能にどのような影響を与えるのかについては調査されていなかった.本研究では,プログラミングコンテストのAtCoderの問題を入力データとして用い,調査を行った.まず,Copilotが同じ入力データから生成するコードの類似性を確かめたのち,問題の文をランダムに並び替えた場合と,順序をそのままにした場合とで,生成されるコードがどちらにおいても同じであるかどうかを確かめた.その結果,(1)Copilotが同じ入力データから生成するコードの類似性は,入力データの難易度によって異なること,(2)Copilotが生成するコードは入力データ順序により類似性や正しさに違いが出ることが明らかになった.(著者抄録)

シソーラス用語： *コード生成 ,  *プログラミング環境 ,  データ ,  順序 ,  評価 ,  *自動生成
準シソーラス用語： *Copilot ,  *GitHub ,  ソフトウェア開発環境 ,  影響評価 ,  入力データ

分類 (2件)： その他のシステムプログラミング  (JD03070M) ,  計算機システム開発  (JD02010R)

引用文献 (16件)：

• 経済産業省. It 人材需給に関する調査(概要), Apr 2018. https://www.meti.go.jp/policy/it_policy/jinzai/gaiyou.pdf.
• GitHub. Github copilot is generally available to all developers | the github blog, Jun 2022. https://github.blog/2022-06-21-github-copilot-is-generally-available-to-all-developers/.
• Nhan Nguyen and Sarah Nadi. An empirical evaluation of github copilot’s code suggestions. In 2022 IEEE/ACM 19th International Conference on Mining Software Repositories (MSR), pp. 1-5, 2022.
• Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code, 2021.
• AtCoder. A - rightmost, Feb 2023. https://atcoder.jp/contests/abc276/tasks/abc276_a.

タイトルに関連する用語 (4件)： 自動生成 ,  入力データ ,  順序 ,  調査