文献

J-GLOBAL ID：202202269889770422   整理番号：22A0969579

事前訓練コード埋込みはモデル性能を改善することができるか?ソフトウェア工学タスクにおけるコード埋込みの利用の再検討【JST・京大機械翻訳】

Can pre-trained code embeddings improve model performance? Revisiting the use of code embeddings in software engineering tasks

著者 (4件)： Ding Zishuo (Department of Computer Science and Software Engineering, Concordia University, Montreal, QC, Canada) ,  Li Heng (Department of Computer Engineering and Software Engineering, Polytechnique Montreal, Montreal, QC, Canada) ,  Shang Weiyi (Department of Computer Science and Software Engineering, Concordia University, Montreal, QC, Canada) ,  Chen Tse-Hsun Peter (Department of Computer Science and Software Engineering, Concordia University, Montreal, QC, Canada)
資料名： Empirical Software Engineering  (Empirical Software Engineering)
巻： 27  号： 3  ページ： 63  発行年： 2022年 
JST資料番号： W1036A  ISSN： 1382-3256  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 単語表現は自然言語処理(NLP)において重要な役割を果たす。事前訓練単語埋込み(すなわち,単語を表す高密度ベクトル)が,名前エンティティ認識(NER)と部分音声(POS)タグ付けのような,多くのニューラルネットワークベースNLPアプリケーションにおいて高度に効果的であることが示されている,様々な表現方法が開発された。しかし,ソフトウェア工学(SE)タスクのための事前訓練コード埋込みの使用は,広く調査されていない。Kang et al.(2019)による最近の研究は,埋込みが訓練されない下流タスクに対して,コード埋込みが容易に活用されないことを見出した。しかしながら,Kangら(2019)は,3つの下流タスクに関する2つのコード埋込みアプローチだけを評価し,そして,両方のアプローチは,訓練コード埋込みを訓練するとき,コードにおけるコンテキスト情報を完全に利用しなかった。Kang et al.(2019)における評価埋込み技術と下流タスクの限界を考慮して,事前訓練コード埋込みの一般化可能性の欠如が,コードのテキストと構造情報の両方を考慮することにより,教師なし学習を用いて対処できるかどうかを調べることにより,事前研究を再考する。したがって,本論文では,コードのテキストと構造情報を組み込むために2段階教師なし訓練戦略を用いるフレームワーク,StrucTexVecを提案する。次に,7つのコード埋込み技法を評価し,6つの下流タスクにおいて事前訓練埋込みを利用しないモデルと比較することで,事前作業(Kangら2019)を拡張した。結果は,まず,事前作業からの発見を確認し,すなわち,事前訓練埋込みは,下流SEタスクの性能に必ずしも有意な効果を持たないかもしれない。それにもかかわらず,(1)異なる埋込み技法はいくつかのSEタスクに対して多様な性能をもたらす;(2)よく事前訓練された埋込みを用いることは,通常,SEタスク(例えば,著者らの研究における6つの下流タスク)の性能を改善する。(3)構造コンテキストは,コード埋込みの品質改善に無視できない影響(例えば,構造コンテキストを活用する埋込みアプローチ)は,すべての評価した非文脈埋込みの中で6つの下流タスクのうち5つで最良の性能を達成し,従って,将来の研究は,そのような情報を大きな事前訓練モデルに組み込むことができる。著者らの知見は,コード埋込みを作成する際に,テキストと構造的コンテキストの両方を組み合わせることの重要性と有効性を意味する。さらに,すべてのSEタスクに対して単一最良性能解を処方するのが難しいので,異なる下流タスクのためのコード埋込み技法の選択で,非常に注意深いべきである。Copyright The Author(s), under exclusive licence to Springer Science+Business Media, LLC, part of Springer Nature 2022 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： ベクトル ,  データ ,  ニューラルネットワーク ,  教師なし学習 ,  自然言語処理 ,  応用プログラム ,  *モデル ,  *ソフトウェア工学 ,  文脈 ,  単語 ,  *埋込み【挿入】 ,  機械学習
準シソーラス用語： ソースコード ,  タグ付 ,  エンティティ ,  コンテキスト情報 , 【Automatic Indexing@JST】

著者キーワード (4件)： 機械学習 ,  ソースコード表現 ,  コード埋込み ,  ニューラルネットワーク

分類 (1件)： 自然語処理  (JE06000L)

タイトルに関連する用語 (5件)： 訓練 ,  埋込み ,  モデル ,  ソフトウェア工学 ,  タスク