文献

J-GLOBAL ID：202302258374865331   整理番号：23A1044381

大規模言語モデルを用いた初学者のためのデバッグ作業支援の初期評価

著者 (5件)： 宇都宮魁斗 (九大) ,  秋山楽登 (九大) ,  近藤将成 (九大) ,  亀井靖高 (九大) ,  鵜林尚靖 (九大)
資料名： 電子情報通信学会技術研究報告(Web)  (IEICE Technical Report (Web))
巻： 122  号： 432(SS2022 47-73)  ページ： 19-24 (WEB ONLY)  発行年： 2023年03月07日 
JST資料番号： U2030A  ISSN： 2432-6380  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： プログラミング初学者の支援を目的とした自動プログラム修正の研究が広く行われている.最近では,深層学習モデルを用いた手法の研究が盛んである.深層学習モデルの一種として,OpenAIからtext-davinci-003(以下GPT-3.5)が公開された.GPT-3.5は,大規模で一般化された言語モデルであり,プログラム生成の一部も実現している.我々は,GPT-3.5を用いることで文法エラーを含むプログラムを修正できるのではないかと考えた.GPT-3.5は,プロンプトとして文法エラーを含むプログラムが入力された際,改善された新しいプログラムを出力する.本研究では,初学者支援ツールへのGPT-3.5の適用に向けた初期評価として,GPT-3.5のデバッグに関する性能調査を行う.九州大学の学生のデータを用いて調査を行った結果,GPT-3.5は既存の自動プログラム修正ツールよりも10%以上高い精度での修正を行うことがわかった.また,GPT-3.5の修正はコンパイルエラーを含むプログラムを大きく変更するような修正を行なっていないこともわかった.(著者抄録)

シソーラス用語： *大規模 ,  *言語モデル ,  *個人 ,  *デバッギング ,  *助成 ,  器具 ,  機械学習 ,  大学生 ,  深層学習
準シソーラス用語： *作業支援 ,  支援ツール ,  *初学者

分類 (1件)： 計算機システム開発  (JD02010R)

引用文献 (21件)：

• Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In arXiv, 2020.
• Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert:pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies, pp. 4171-4186, 2019.
• Claire Le Goues, ThanhVu Nguyen, Stephanie Forrest, and Westley Weimer. Genprog: A generic method for automatic software repair. IEEE Trans. Software Eng., Vol. 38, No. 1, pp. 54-72, 2012.
• Rahul Gupta, Aditya Kanade, and Shirish K. Shevade. Deep reinforcement learning for syntactic error repair in student programs. In The 33rd AAAI Conference on Artificial Intelligence, pp. 930-937,2019.
• Rahul Gupta, Soham Pal, Aditya Kanade, and Shirish Shevade. Deepfix: Fixing common c language errors by deep learning. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, p.1345-1351, 2017.

タイトルに関連する用語 (6件)： 大規模言語モデル ,  初学者 ,  デバッグ ,  作業支援 ,  初期 ,  評価