特許
J-GLOBAL ID:202203011350378782

翻訳装置、翻訳方法及びプログラム

発明者:
出願人/特許権者:
代理人 (3件): 伊東 忠重 ,  伊東 忠彦 ,  石原 隆治
公報種別:公開公報
出願番号(国際出願番号):特願2020-122380
公開番号(公開出願番号):特開2022-018928
出願日: 2020年07月16日
公開日(公表日): 2022年01月27日
要約:
【課題】翻訳精度を低下させることなく、学習率が高い場合やバッチサイズが小さい場合にも安定して学習ができる翻訳装置、方法およびプログラムを提供する。 【解決手段】翻訳装置は、原言語の入力文を入力する入力部と、Transformerのデコーダ及びエンコーダに含まれる複数のマルチヘッド注意機構のうちの少なくとも1つのマルチヘッド注意機構を、マルチヘッド注意機構に含まれる縮小付き内積注意機構の出力に対して更に所定の注意機構を適用するマルチホップ注意機構に置き換えたモデルにより、入力文を目的言語の出力文に翻訳する翻訳部と、を有する。 【選択図】図2
請求項(抜粋):
原言語の入力文を入力する入力部と、 Transformerのデコーダ及びエンコーダに含まれる複数のマルチヘッド注意機構のうちの少なくとも1つのマルチヘッド注意機構を、前記マルチヘッド注意機構に含まれる縮小付き内積注意機構の出力に対して更に所定の注意機構を適用するマルチホップ注意機構に置き換えたモデルにより、前記入力文を目的言語の出力文に翻訳する翻訳部と、 を有することを特徴とする翻訳装置。
IPC (2件):
G06F 40/44 ,  G06N 3/04
FI (2件):
G06F40/44 ,  G06N3/04
Fターム (2件):
5B091AA03 ,  5B091EA01
引用文献:
出願人引用 (1件)
  • マルチホップ注意機構を用いたニューラル機械翻訳
審査官引用 (1件)
  • マルチホップ注意機構を用いたニューラル機械翻訳

前のページに戻る