文献

J-GLOBAL ID：202402245431932938   整理番号：24A1641187

初学者のためのデバッグ作業支援に向けた大規模言語モデルの初期評価

著者 (5件)： 宇都宮魁斗 (九州大学) ,  秋山楽登 (九州大学) ,  近藤将成 (九州大学) ,  亀井靖高 (九州大学) ,  鵜林尚靖 (九州大学)
資料名： ソフトウェア工学の基礎ワークショップ論文集(Web)  (Proceedings of the JSSST Workshop on Foundation of Software Engineering (Web))
巻： 30  ページ： 63-71(J-STAGE)  発行年： 2023年 
JST資料番号： U2922A  ISSN： 2436-634X  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： プログラミング初学者の支援を目的とした自動プログラム修正の研究が広く行われている.最近では,深層学習モデル を用いた手法の研究が盛んである.深層学習モデルの一種として,OpenAI から text-davinci-003(以下 GPT-3.5) が公開された.GPT-3.5 は,大規模で一般化された言語モデルであり,プログラム生成の一部も実現している.我々 は,GPT-3.5 を用いることで文法エラーを含むプログラムを修正できるのではないかと考えた.GPT-3.5 は,プ ロンプトとして文法エラーを含むプログラムが入力された際,改善された新しいプログラムを出力する.本研究で は,初学者支援ツールへの GPT-3.5 の適用に向けた初期評価として,GPT-3.5 のデバッグに関する性能調査を行 う.九州大学の学生のデータを用いて調査を行った結果,GPT-3.5 は既存の自動プログラム修正ツールよりも 10% 以上高い精度での修正を行うことがわかった.また,GPT-3.5 の修正はコンパイルエラーを含むプログラムを大き く変更するような修正を行なっていないこともわかった.(著者抄録)

シソーラス用語： *個人 ,  *デバッギング ,  助成 ,  大規模 ,  *言語モデル ,  計算機プログラミング ,  機械学習 ,  計画 ,  調査 ,  深層学習
準シソーラス用語： デバッグ ,  プログラミング ,  プログラム ,  作業支援 ,  *初学者 ,  性能調査

分類 (2件)： 計算機システム開発  (JD02010R) ,  CAI  (JE09000G)

タイトルに関連する用語 (6件)： 初学者 ,  デバッグ ,  作業支援 ,  大規模言語モデル ,  初期 ,  評価