低リソースプログラミング言語のための予訓練言語モデルの移転可能性について【JST・京大機械翻訳】

Chen Fuxiang; Fard Fatemeh; Lo David; Bryksin Timofey

プレプリント

J-GLOBAL ID：202202217347253549 整理番号：22P0335864

低リソースプログラミング言語のための予訓練言語モデルの移転可能性について【JST・京大機械翻訳】

On the Transferability of Pre-trained Language Models for Low-Resource Programming Languages

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年04月05日プレプリントサーバーでの情報更新日： 2022年04月05日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

AhmedとDevanbuによる最近の研究は,多言語事前訓練言語モデル(PLM)に多言語データセットで書かれたコードのコーパスを用いることが,ただ一つのプログラミング言語で書かれた符号のコーパスを使用するのとは対照的に,より高い性能を達成することを報告した。しかし,微調整モノリンガルPLMに関して解析がなされていないので,いくつかのプログラミング言語は本質的に異なり,1つの言語で書かれたコードは,通常,他のもの,すなわち,RubyとJavaコードは,非常に異なる構造を持っている。モノリンガルと多言語PLMがどのように異なるプログラミング言語に影響するかをより良く理解するために,2つの一般的なソフトウェアエンジニアリングタスクのためのRubyのPLMの性能,すなわち,コード要約とコード検索,2)Rubyのための微調整多言語PLMにうまく働く戦略(プログラミング言語を選択する),および3)異なる符号長を与えたRubyの微調整PLMの性能を研究した。本研究では,100以上の事前訓練および微調整モデルを解析した。その結果,1)多言語PLMは,モノリンガルPLMと比較して,低性能対時間比(BLEU,METEOR,またはMRRスコア)を持ち,多言語PLMを微調整するための目標プログラミング言語を選択するための提案戦略は,効果的である:それは,コードSummarizationおよびコード検索タスクにおいて,時間を減らし,また,この提案方式は,異なる符号長に対して,一貫して良好な性能を示す。【JST・京大機械翻訳】

, , , , , , ,
, , , , 【Automatic Indexing@JST】

パターン認識 , 自然語処理

, , ,

前のページに戻る