CodeGen:マルチターンプログラム合成によるコードのためのオープン大規模言語モデル【JST・京大機械翻訳】

Nijkamp Erik; Pang Bo; Hayashi Hiroaki; Tu Lifu; Wang Huan; Zhou Yingbo; Savarese Silvio; Xiong Caiming

プレプリント

J-GLOBAL ID：202202200921832307 整理番号：22P0310124

CodeGen:マルチターンプログラム合成によるコードのためのオープン大規模言語モデル【JST・京大機械翻訳】

CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年03月25日プレプリントサーバーでの情報更新日： 2023年02月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

プログラム合成は,入力-出力例または自然言語記述で表現される与えられた問題仕様に対する解決策としてコンピュータプログラムを生成する。大規模言語モデルの普及は,限られた訓練資源とデータがそのようなモデルへのオープンアクセスを妨げるが,プログラム合成の最先端技術進歩を進展させる。これを解決するために,著者らは,自然言語とプログラミング言語データに関して,16.1Bのパラメータまでの大規模言語モデルのファミリーを訓練し,放出し,訓練ライブラリJAXFORMERを公開した。訓練されたモデルの有用性を示し,それは,人間EvalにおけるゼロショットPython符号生成に関して,以前の最先端技術と競合することを示した。さらに,プログラム合成の多段階パラダイムを検討し,そこでは,単一プログラムを,サブ問題を指定する複数の素因に因数化した。この目的のために,著者らは,マルチターンプロンドに因数化された115の多様な問題集合から成る,オープンベンチマーク,Multi-Turnプログラミングベンチマーク(MTPB)を構築した。MTPBに関する解析は,マルチターンファッションにおけるCODGENに提供される同じ意図が,単一ターンとして提供されるプログラム合成を著しく改善することを示した。著者らは,訓練ライブラリーJAXFORMERとオープンソース寄与として利用可能なモデルチェックポイント:https://github.com/salesforce/CodeGenを作成した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

応用プログラミング言語 , 汎用プログラミング言語

, , ,

前のページに戻る