抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
モデルチェックポイント検証のプロセスは,モデルのハイパーパラメータを学習しながら,訓練データの開催部分上で実行されるモデルチェックポイントの性能の評価を指し,また,モデルが訓練を停止するように収束する時,過剰適合を避けて,決定するために使用する。深層学習チェックポイントを検証する簡単で効率的な戦略は,訓練中に実行するための検証ループの追加である。しかし,高密度検索者(DR)チェックポイントの検証は自明ではなく,検証ループの追加は効率的でない。これは,DRチェックポイントの性能を正確に評価するため,チェックポイント検証のための実際の検索操作の前に,全文書コーパスを現在のチェックポイントを用いてベクトルに符号化する必要がある。このコーパス符号化プロセスは,文書コーパスが数百万の文書(例えば,MSMARCOに対して8.8m,自然質問に対して21m)を含むならば,非常に時間がかかる。したがって,訓練中の検証ループのナイーブな使用は訓練時間を著しく増加させる。この問題に取り組むため,本論文では,訓練中のDRチェックポイントを効率的に検証するためのPythonベースツールキットを提案する。DRチェックポイントの検証のために訓練ループを休止する代わりに,Asyncvalは訓練ループから検証ループを分離し,他のGPUを用いて新しいDRチェックポイントを自動的に検証して,訓練から非同期的に検証を行うことができた。また,Asyncvalは,DRチェックポイントを検証するために,異なるコーパスサブセットサンプリング戦略の範囲を実行する。これらの戦略は,検証プロセスをさらにスピードアップすることを可能にする。検証時間と検証忠実度への影響に関して,これらの方法の調査を提供した。https://github.com/ielab/asyncvalでのオープンソースプロジェクトとしてアシンバルが利用できる。【JST・京大機械翻訳】
