オムロン株式会社
オムロン サイニックエックス株式会社（本社：東京都文京区、代表取締役社長：諏訪正樹、以下 OSX）は、「2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics(以下、NAACL2025)」にて、最新の研究成果を発表します
NAACL2025は、自然言語処理分野のトップカンファレンスの一つです。2025年は、4月29日から5月4日（現地時間）にかけて、アメリカ ニューメキシコ州にて開催されます。
OSXより発表する研究論文は、以下のとおりです。
■Where is the answer? An empirical study of positional bias for parametric knowledge extraction in language model
（日本語訳：言語モデルからの知識抽出における位置バイアスに関する研究)
|
著者 |
Kuniaki Saito (OSX), Chen-yu Lee (Google Cloud AI), Kihyuk Sohn (Google Research), Yoshitaka Ushiku (OSX) |
|---|---|
|
研究紹介 |
本論文では、言語モデルがどのように情報を記憶し、質問形式で抽出するかを検証しています。言語モデルはラベルなしのテキストデータを使い、自己教師あり学習を通じて多様な知識を学びます。この知識は、特定の質問に対する答えをモデルのパラメータから引き出す形で”抽出”することが求められます。 従来手法では、“perplexity curse”という問題に直面します。これは、訓練データの損失を最小化し記憶しても、実際の質問に対する正確な答えを引き出すのが難しい現象です。 そこで、本論文では、訓練データの”位置的な偏り”がこの問題を引き起こしている原因の1つであることを示しました。具体的には、訓練データでは中間部や終わりに記載された情報について、モデルがうまく答えることができないことが分かりました。また、この問題は自動回帰型学習（次のトークンを前のトークンをもとに予測する方式）に起因していることを示しました。これらの発見は、言語モデルのパラメータから知識を効果的に抽出するための重要な鍵となると考えられます。 perplexity curse：Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig,Xi Victoria Lin, Wen-tau Yih, and Srinivasan Iyer. Instruction-tuned language models are better knowledge learners. arXiv preprint arXiv:2402.12847, 2024. |
|
関連ページ |
※所属は、論文執筆時点のものです。現時点では、情報が異なる場合がありますので、あらかじめご了承いただくとともに、ご注意をお願いいたします。
オムロン サイニックエックス株式会社について
オムロン サイニックエックス株式会社は、オムロンが考える”近未来デザイン”を創出する戦略拠点です。「AI」「ロボティクス」「IoT」「センシング」など、幅広い領域の最先端技術のトップ人財が研究員として在籍し、社会的課題を解決するために、技術革新をベースに「ビジネスモデル」「技術戦略」「知財戦略」を統合し具体的な事業アーキテクチャに落とし込んだ”近未来デザイン”を創り出します。また、大学や社外研究機関との共同研究を通じて「近未来デザイン」の創出を加速していきます。
◆ホームページ：https://www.omron.com/sinicx/
◆最新の活動：https://www.omron.com/sinicx/activity/
◆お問い合わせはこちら