識別子分裂はコードの開語い言語モデルを改善することができるか?【JST・京大機械翻訳】

Shi Jieke; Yang Zhou; He Junda; Xu Bowen; Lo David

プレプリント

J-GLOBAL ID：202202202038617750 整理番号：22P0024225

識別子分裂はコードの開語い言語モデルを改善することができるか?【JST・京大機械翻訳】

Can Identifier Splitting Improve Open-Vocabulary Language Model of Code?

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年01月06日プレプリントサーバーでの情報更新日： 2022年01月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ソースコードに関する統計的言語モデルは,ソフトウェア工学タスクを首尾よく支援した。しかし,ソースコードを書き込むとき,開発者は任意の識別子を作成またはピックアップできる。自由選択識別子は,モデル性能に負に影響する悪心外(OOV)問題をもたらす。最近,Karampatsisらは,OOV問題に取り組むためにバイトペアエンコーディング(BPE)アルゴリズムを使用することが,ソースコードに関する言語モデル予測性能を向上することができることを示した。しかし,BPEの欠点は,意味のある意味論を保存する方法で識別子を分割できないことである。また,研究者は,意味論を反映するサブワードへの分割化合物識別子が,ソフトウェア開発ツールに利益を与えることを示す。これらの2つの事実は,BPEアルゴリズムを増強し,Karampatsisらの作業で考慮されたオープンボカブリー言語モデルの性能を高めるために,識別子分割技術が利用できるかどうかを探求することを動機づける。本論文では,語彙と処理モデル入力手順の両者における識別子を分割し,従って,符号完了タスクのための言語モデルに識別子分割を適用する3つの異なる設定を利用した。著者らは,これらの設定の下でモデルの性能を対比して,パイプラインに識別子分割を単純に挿入するのは,モデル性能に打ち勝つが,一方,識別子分割とBPEアルゴリズムを結合するハイブリッド戦略は,識別子の3.68%と平均Reciprocal Rankの6.32%で,識別子を予測する上で,元のオープンボカブリーモデルを凌ぐことができることを見出した。結果はまた,ハイブリッド戦略が2.02%の言語モデルのエントロピーを改良できることを示した。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

計算機システム開発 , 自然語処理

, ,

前のページに戻る