抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
情報検索(IR)のための深層学習は,大量の高品質質問文書関連ラベルを必要とするが,そのようなラベルは本質的にスパースである。ラベル平滑化は,観測されない事例でいくつかの観測確率質量を,しばしば一様で,真の分布に不統一である。対照的に,評価時間において高い計算オーバヘッドを起こさずに,インフォームドラベリングのための知識蒸留を提案した。著者らの貢献は,より複雑な教師モデルから蒸留する最先端を凌駕するために,集団知識を利用する単純だが効率的な教師モデルを設計することである。特に,最先端の教師よりもx8を速く訓練し,一方,ランキングをよりよく蒸留する。著者らのコードは,https://github.com/jihyukkim nlp/CollectiveKDで公的に利用可能である。【JST・京大機械翻訳】