文献

J-GLOBAL ID：202402277640687677   整理番号：24A0562848

GitHub Copilotを用いたコード生成におけるプロンプト削除の影響調査

著者 (6件)： 戸井裕規 (九大) ,  小柳慶 (九大) ,  野口広太郎 (九大) ,  近藤将成 (九大) ,  亀井靖高 (九大) ,  鵜林尚靖 (九大)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2024  号： SE-216  ページ： Vol.2024-SE-216,No.7,1-8 (WEB ONLY)  発行年： 2024年02月26日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： GitHub Copilotはプログラム内容を記述したコメントや,開発中のプログラムからコードを生成する,大規模言語モデルをベースとした開発支援ツールであり,近年,開発現場で普及しつつある.大規模言語モデルの特徴の1つに,入力として与えるプロンプトによって,出力に違いが出ることがある.例えば,GitHub Copilotはプロンプトに用いられる言語の違いにより,性能に影響が発生する.プロンプトがGitHub Copilotの性能に与える影響についての研究が行われている一方で,プロンプトに記述されている項目には,性能にあまり影響しないものがある可能性がある.性能に影響を与えない項目を入力することは,入力の手間暇や大規模言語モデルのコストを考えると避けたい.プロンプト内の特定の項目の有無がどのような影響を与えるかを知ることで,より効率的なプロンプトの作成が可能となると考えた.そこで本稿では,AtCoder Beginner Contestの難易度がA,B,C,D,問題番号が99~287の合計756問を用いて,GitHub Copilotの性能に影響を与えるプロンプトの項目を知ることを目的とし,調査を行なった.調査の結果,問題文が,最もCopilotの性能へ影響を与えていたことがわかった.削除する項目に問題文が含まれていると,最大42.01%性能が低下した.(著者抄録)

シソーラス用語： *ソフトウェア開発 ,  *コード生成 ,  言語モデル ,  計算機利用システム
準シソーラス用語： *プロンプト ,  開発支援ツール ,  対話システム ,  *大規模言語モデル

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： GitHub ,  コード生成 ,  削除 ,  調査