文献

J-GLOBAL ID：202402291439507360   整理番号：24A2580158

プロンプトの自然言語差異がLLMを用いたコード自動生成に及ぼす影響の研究

A Study on the Impact of Natural Language Differences in Prompts on Automatic Code Generation Using LLMs

著者 (7件)： 徳益晴香 (九大) ,  近藤将成 (九大) ,  小柳慶 (九大) ,  王楝 (天津大) ,  鵜林尚靖 (早稲田大) ,  SEREBRENIK Alexander (アイントホーフェン工科大) ,  亀井靖高 (九大)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2024  号： SE-218  ページ： Vol.2024-SE-218,No.6,1-8 (WEB ONLY)  発行年： 2024年10月28日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 大規模言語モデル(以下LLM)は,様々なタスクにおいて高い性能を示しており,ソフトウェア開発においてもコード自動生成への応用が期待されている.近年の研究では,高品質なコードを生成するためのプロンプト設計に注目が集まっているが,異なる自然言語がコード生成に与える影響についてはほとんど知られていない.異なる自然言語間で生成されるコードの品質に差がある場合,母国語の違いによる不利益など社会的バイアスの要因になる可能性がある.本研究では,3つの異なる自然言語(英語,日本語,中国語),それぞれの言語話者がどのLLMを使用することで自動生成するコードの品質を高めることができるかを明らかにし,さらに異なる自然言語間で生成されるコードに差があるかを明らかにするために,LLMによるコード生成に与える影響を実証的研究によって調査した.評価には,プログラミングコンテストAtCoderの難易度A,B,C,Dに分類された756問,およびLeetCodeの難易度easy,medium,hardに分類された33問を使用し,生成されたコードが問題に回答できたAccuracyによってコード品質を評価した.その結果,使用するLLMによる差異は,データセットの違いに左右されることが示された.また.異なる言語間にもデータセットに依存する差異があることが示された.本研究は,異なる自然言語を使用するプログラミング学習者が,コード生成においてどのような影響を受けるかを明らかにする初期調査であり,さらにプログラミング技術の学習指針を示すものである.(著者抄録)

シソーラス用語： *自然言語 ,  *言語モデル ,  *コード生成 ,  表現 ,  人間 ,  計算機プログラミング ,  コンクール ,  学習 ,  情報処理 ,  技術教育 ,  教育
準シソーラス用語： LLM【言語モデル】 ,  コンテスト ,  プログラミング ,  プログラミング学習 ,  プログラミング教育 ,  *自動コード生成 ,  *大規模言語モデル ,  文章表現 ,  母語話者 ,  母国語

分類 (3件)： 計算機システム開発  (JD02010R) ,  自然語処理  (JE06000L) ,  科学技術教育  (AA04000C)

タイトルに関連する用語 (4件)： 自然言語 ,  差異 ,  自動生成 ,  研究