文献

J-GLOBAL ID：202202225350066231   整理番号：22A1147973

開発プロジェクトのドメインに特化したRoBERTaによるコード補完モデルの提案

Project-domain adaptation with RoBERTa Model for Code Completion

著者 (4件)： 福本大介 (奈良先端科学技術大学院大) ,  平尾俊貴 (奈良先端科学技術大学院大) ,  藤原賢二 (東京都市大 メディア情報) ,  飯田元 (奈良先端科学技術大学院大)
資料名： 電子情報通信学会技術研究報告(Web)  (IEICE Technical Report (Web))
巻： 121  号： 416(SS2021 42-68)  ページ： 49-53 (WEB ONLY)  発行年： 2022年02月28日 
JST資料番号： U2030A  ISSN： 2432-6380  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： コード補完は,開発者がプログラムを作成中に次に入力する候補(トークン列)を自動推薦する技術である.コード補完によって,開発スキルが乏しい開発者でもコーディング時間を短縮させることが可能である.従来研究では,機械学習技術を用いてプログラムの文脈を考慮し,より汎用的にトークンを補完できる手法を提案している.しかし,これらの従来研究では,補完するトークン数が増えると急激に補完精度が低下する課題が報告されている.本研究では,自然言語処理の機械学習モデルの一つであるRoBERTaに対して,開発者のリポジトリのドメインで構築されたデータセットで追加学習する手法を提案する.これにより,モデルが推薦する語彙を減らす事ができ,補完精度の向上が期待される.実験の結果,事前学習から一定の精度改善が確認された.(著者抄録)

シソーラス用語： ソフトウェア開発 ,  *計算機コード ,  *補完 ,  *機械学習 ,  自然言語処理 ,  学習 ,  精度 ,  実験 ,  文法
準シソーラス用語： プログラムコード ,  BERT【自然言語処理】 ,  転移学習 ,  事前学習 ,  評価実験 ,  ドメイン適応 ,  構文

分類 (2件)： 計算機システム開発  (JD02010R) ,  人工知能  (JE08000Z)

引用文献 (7件)：

• “Eclipse”. http://www.eclipse.org
• “Intellij idea”. https://www.jetbrains.com/ja-jp/idea/
• J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding,” Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp.4171-4186, Association for Computational Linguistics, Minneapolis, Minnesota, June 2019. https://aclanthology.org/N19-1423
• M. Ciniselli, N. Cooper, L. Pascarella, D. Poshyvanyk, M.D. Penta, and G. Bavota, “An empirical study on the usage of bert models for code completion,” 2021 IEEE/ACM 18th International Conference on Mining Software Repositories (MSR), pp.108-119, 2021.
• Y. Liu, M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov, “Roberta: A robustly optimized bert pretraining approach,” 2019.

タイトルに関連する用語 (7件)： 開発 ,  プロジェクト ,  ドメイン ,  特化 ,  補完 ,  モデル ,  提案