株式会社FLUX
独自の新手法による日本語能力強化でベンチマーク第1位を獲得。金融業界向け特化モデルも作成
株式会社FLUX（読み：フラックス、本社：東京都港区、代表取締役：永井元治、以下「FLUX」）は新手法による日本語能力強化を行い、最高水準の日本語性能を実現した大規模言語モデル（LLM）である「FLUX Japanese LLM」を開発・公開いたしました。本モデルは、オープン日本語LLMリーダーボードのベンチマークにおいて現行の第1位を上回るスコアを獲得しており（2025年9月24日現在）、その性能の高さが実証されています。
新手法は様々なOSSモデルの日本語能力を強化することが理論上可能です。今回の「FLUX Japanese LLM」はQwenベースであり、今後もFLUXでは複数のOSSモデルを利用した研究開発を進めて参ります。また同時に、本モデルの応用展開の第一弾として、金融業界に特化したモデルも作成し、専門領域での高度なLLM活用を可能にします。
背景
FLUXはAI時代における企業の戦略パートナーとして、AIトランスフォーメーションを推進しています。FLUXのAI活用支援では、ビジネスを理解した専門家とAIテクノロジーに精通した専門家が各企業の状況に合わせて、最適なモデル・アプリケーション・インフラを組み合わせた、柔軟かつスケーラブルなAI運用の仕組み構築を行っています。
多くの企業のAI活用を支援する中で、日本語LLMにおいては有力な選択肢が少なく、特に業界特化のLLMにおいてはコストと日本語性能のバランスが取れた選択肢が限られていることに課題を感じていました。
FLUXでは日本語LLM及び日本語性能ベンチマークの研究を取締役CTOのEdwin Liを中心に行っており、これらの基礎研究から日本語能力の効率的な強化を行う新手法を発見しました。この手法を活用して日本語LLMの「FLUX Japanese LLM」を開発、さらに業界特化LLMの第一弾として金融業界特化モデルを作成しました。
日本語能力強化の新手法
従来の日本語LLMは既存のオープンウェイトモデルをベースとして、日本語データセットで日本語能力をFine-tuningで強化することが一般的でした。この手法はLLMの全てのパラメーターに対してデータセットを適用するため、強化したい分野以外の能力が低下するケースが見られます。
特にマルチモーダル性能や推論能力の低下が顕著であり、ハルシネーションも悪化することから、ビジネス利用には懸念があるほか、ベースモデルの性能向上に対して、日本語能力の性能向上が伴わないケースも見られました。
今回FLUXでは日本語の知識や日本語／英語間の回路をピンポイントで特定することで、データセットを必要な箇所のみに流し込む、Precise-tuningのアプローチを実施しました。これにより強化したい分野のみで日本語能力を強化する手法を発見、マルチモーダル性能や推論能力はベースモデルの性能を維持することに成功しました。
Precise-tuningにより、日本語で知識を強化したい部分のみに日本語データセットを流し込めるため、日本語能力全体を強化するだけではなく、業界特化型LLMとの親和性が高い手法であると考えています。
日本語ベンチマークで1位を獲得
「FLUX Japanese LLM」はLLM勉強会が作成するオープン日本語LLMリーダーボードのベンチマークにて現行の1位を上回るスコアを獲得いたしました。
※スコアは、オープン日本語LLMリーダーボードにおける総合評価点（AVG）
現在、LLM勉強会にランキング掲載を申請中であり、運営者による評価が完了後、ランキングに反映される予定です。
FLUX Japanese LLM について
FLUXでは今回開発を行ったFLUX Japanese LLMについて、「FLUX-Japanese-Qwen」モデルを一般公開いたします。モデルは商用利用可能なApache License 2.0で提供し、以下URLからご利用いただくことができます。
■モデルURL
https://huggingface.co/flux-inc/Flux-Japanese-Qwen2.5-32B-Instruct-V1.0
金融業界特化モデルについて
さらに今回「FLUX Japanese LLM」を活用し、金融業界に特化したモデルを作成しました。先述の通り、「FLUX Japanese LLM」の日本語能力強化手法は強化したい分野を特定することが可能になるため、業界特化のLLMを作成しやすい特徴があります。
また、今回のモデルは320億パラメータと比較的小型であり、オンプレミス化も可能なため、コストが抑えられるだけでなく、セキュリティの観点からも安全に利用することができます。
今回FLUXでは業界特化型モデルの第一弾として金融業界を選択し、日本特有の金融業界のガイドラインや、業務内容、業界状況などを含む日本語データセットでPrecise-tuningを行いました。さらに金融業界におけるQAデータを活用したトレーニングも行うことで、ビジネス利用に耐えうるLLMを目指しました。
今回作成したモデルを活用し、金融業界におけるAI活用を推進してまいります。
CTOコメント
私は長年AIの研究を行ってきましたが、同時に言語学習や言語教育についても非常に強い関心を持っています。今回発見した新手法は私自身が様々な言語を学んできた中で感じた考え方を取り入れたものであり、ニューラルネットワークが人類の学習メカニズムと共通する部分があるということを改めて感じることができました。
日本ならではの考え方や日本語にしかない表現についても的確に学習し、より実用的なLLMの研究を引き続き行っていきたいです。
取締役 CTO – Edwin Li
東京大学工学系研究科修了（松尾研究室）。中国英語翻訳者資格最年少記録保持者であり、学生時代には中国国内にて数学・天文学・物理学・化学オリンピックで優勝。ケンブリッジ大学コンピューターサイエンス学部に特待生で進学（中国全土で年間3〜5名が選ばれる特別選抜プログラムASTに選抜）。東京工業大学（現・東京科学大学）工学部卒業。機械学習、深層学習、大規模言語モデルが専門
今後の展望
FLUXでは「FLUX Japanese LLM」の研究開発を引き続き行い、日本語能力強化を行うとともに、複数業界の業界特化LLMを構築することで、様々な業界のAIトランスフォーメーションを推進してまいります。
株式会社FLUXについて
株式会社FLUXは「日本経済に流れを」をミッションに掲げ、AI時代における企業の戦略パートナーとして、AIトランスフォーメーションを推進するスタートアップです。
所在地：東京都港区赤坂9-7-1 ミッドタウン・タワー 24階
代表者：代表取締役CEO 永井元治
設立日：2018年5月
URL：https://flux.jp/