特許
J-GLOBAL ID：202003013576278495
文脈固有の単語ベクトルを用いた自然言語処理
発明者：
,
,
出願人/特許権者：
代理人 (3件)：
伊東 忠重
, 伊東 忠彦
, 大貫 進介
公報種別：公表公報
出願番号（国際出願番号）：特願2019-561306
公開番号（公開出願番号）：特表2020-520505
出願日： 2018年05月18日
公開日（公表日）： 2020年07月09日
要約：
自然言語処理のためのシステムが提供される。いくつかの実施形態では、システムは、単語の少なくとも一つの入力シーケンスについて文脈固有の単語ベクトルを生成するエンコーダを含む。該エンコーダは第一の自然言語処理タスクを実行するためのトレーニング・データを使って事前トレーニングされている。ニューラル・ネットワークが、前記文脈固有の単語ベクトルを使って、単語の前記少なくとも一つの入力シーケンスに対して第二の自然言語処理タスクを実行する。第一の自然言語処理タスクは第二の自然言語処理タスクとは異なり、ニューラル・ネットワークは前記エンコーダとは別個にトレーニングされる。いくつかの実施形態では、第一の自然言語処理タスクは機械翻訳であってもよく、第二の自然言語処理タスクが、感情分析、質問分類、含意分類および質問回答のうちの一つであってもよい。
請求項（抜粋）：
自然言語処理のためのシステムであって:
当該システムは多層ニューラル・ネットワークを有し;
当該システムは:
第一の言語の単語の少なくとも一つの入力シーケンスを単語ベクトルのシーケンスに変換し;
句を前記第一の言語から第二の言語の句に翻訳するためのトレーニング・データを使って事前トレーニングされたエンコーダを使って、前記第一の言語の単語の前記少なくとも一つの入力シーケンスについての文脈固有の単語ベクトルを生成し;
前記単語ベクトルおよび前記文脈固有の単語ベクトルを連結し;
連結された単語ベクトルおよび文脈固有の単語ベクトルを使って、前記第一の言語の単語の前記少なくとも一つの入力シーケンスに対して第一の自然言語処理タスクを実行するよう構成されている、
システム。
IPC (2件)：
FI (2件)：
Fターム (1件)：
引用文献：
前のページに戻る
