文献

J-GLOBAL ID：202402264817402590   整理番号：24A0520094

GPT-4における自動コード翻訳タスクの精度調査

Measuring the Accuracy of Code Translation Tasks in GPT-4

著者 (3件)： 川渕皓太 (大阪大 大学院情報科学研究科) ,  松下誠 (大阪大 大学院情報科学研究科) ,  肥後芳樹 (大阪大 大学院情報科学研究科)
資料名： 電子情報通信学会技術研究報告(Web)  (IEICE Technical Report (Web))
巻： 123  号： 334(MSS2023 52-69)  ページ： 7-12 (WEB ONLY)  発行年： 2024年01月10日 
JST資料番号： U2030A  ISSN： 2432-6380  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： あるプログラミング言語で書かれたソースコードを別の言語に翻訳する自動コード翻訳の研究において,機械学習を用いるニューラル機械翻訳が注目されている.ニューラル機械翻訳は,事前に翻訳ルールを逐一定義するルールベース機械翻訳と比べて,人間が読みやすいコードが生成されやすいというメリットがある一方で,翻訳の精度が低いという問題がある.本研究では様々な分野で高い性能を発揮している大規模言語モデルGPT-4を対象として,C++,COBOL,Go,Java,Rust,Python3のソースコードに対する自動コード翻訳タスクの精度を調査した.既存のデータセットはGPT-4が事前学習済みである可能性が高いため,新たにデータセットを作成して調査を行った.その結果,GPT-4が既存の事前学習言語モデルよりも精度が高いこと,翻訳元言語よりも翻訳先言語のほうが精度への影響が大きいこと,プロンプトの記述言語が日本語の場合と英語の場合で精度に大きな差がないことがわかった.(著者抄録)

シソーラス用語： *機械翻訳 ,  *プログラミング言語 ,  言語モデル ,  計算機コード ,  機械学習 ,  ソースコード
準シソーラス用語： *ニューラル機械翻訳 ,  *自動翻訳

分類 (1件)： 言語プロセッサ  (JD03040F)

引用文献 (22件)：

• S. Behnel, R. Bradshaw, C. Citro, L. Dalcin, D.S. Seljebotn, and K. Smith, ”Cython: The Best of Both Worlds,” Computing in Science & Engineering, vol.13, no.2, pp.31-39, Mar. 2011, DOI:10.1109/MCSE.2010.118.
• S. Bubeck, V. Chandrasekaran, R. Eldan, J. Gehrke, E. Horvitz, E. Kamar, P. Lee, Y.T. Lee, Y. Li, S. Lundberg, H. Nori, H. Palangi, M.T. Ribeiro, and Y. Zhang, ”Sparks of artificial general intelligence: Early experiments with gpt-4,” eprint arXiv:2303.12712, Mar. 2023. DOI:10.48550/arXiv.2303.12712.
• X. Chen, C. Liu, D. Song, ”Tree-to-Tree Neural Networks for Program Translation,” Neural Information Processing Systems, Montréal, Canada, pp.2552-2562, Dec. 2023
• J. Etxaniz, G. Azkune, A. Soroa, O.L. de Lacalle, and M. Artetxe, ”Do Multilingual Language Models Think Better in English?,” eprint arXiv:2308.01223, Aug. 2023. DOI:10.48550/arXiv.2308.01223.
• D. Hendrycks, C. Burns, S. Basart, A. Zou, M. Mazeika, D. Song, and J. Steinhardt, ”Measuring Massive Multitask Language Understanding,” The International Conference on Learning Representations, Virtual Event, https://openreview.net/forum?id=d7KBjmI3GmQ,May 2021.

タイトルに関連する用語 (3件)： 翻訳 ,  タスク ,  調査