抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
最近,事前訓練された言語モデル(PLM)は言語生成において例外的な成功を有した。PLMにより符号化された豊富な知識を活用するために,単純だが強力なパラダイムは,離散トークンあるいは連続埋込みのいずれかの形式で迅速な利用である。既存の研究において,これらの迅速な方法は入力に無関係であり,入力意味論の十分な考慮を欠いている。この課題に取り組むために,自然言語生成のためのPLMを微調整するために,コンテキストチューニングと呼ばれる新しい連続高速アプローチを提案する。最初に,発生のためのPLMから有用な知識を引き出すために,入力テキストに基づいて,即座を引き出した。著者らは,文脈化された促進としてそのような迅速なものを参照する。第2に,著者らは,出力から入力への逆生成プロセスをモデル化することによって,自然言語生成のプロセスを改善するために,連続的逆速速を用いて,入力により関連する生成テキストを作った。さらに,良好な性能を維持しながら,パラメータの0.12%だけを微調整する軽量コンテキストチューニング法を利用した。このコードはhttps://github.com/RUCAIBox/Context Tuningで公開されている。【JST・京大機械翻訳】