高度なAI技術を活用して法人のDXを推進する東京大学発のAIスタートアップ、DataPrism Technologies株式会社（データプリズムテクノロジーズ、本社：東京都文京区、代表取締役：堀圭佑、以下「当社」）の代表取締役 堀圭佑が共著者として参加した研究論文が、自然言語処理分野のトップカンファレンスである EMNLP 2026（The 2026 Conference on Empirical Methods in Natural Language Processing）の Main Conference に採択され、論文集（ACL Anthology）に掲載されました。
本論文は、堀が株式会社松尾研究所において携わった大規模言語モデル（LLM）の研究開発プロジェクトの成果です。
論文情報
- タイトル：First-Stage Groundwork Shapes Downstream RL Outcomes: Two-Stage Post-Training for LLM Personality Acquisition
- 著者：Taisei Ozaki, Tetsuya Hashimoto, Miki Ota, Keisuke Hori, Zhenyu He, Mitsuhiro Mabuchi
- 掲載：Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing（Main Conference）
- 論文URL：https://aclanthology.org/2026.emnlp-main.1983/
研究の概要
AIアシスタントが利用者にとって信頼できる存在であるためには、場面や指示の言い回しが変わってもぶれない、安定した「性格（パーソナリティ）」を持つことが求められます。本研究では、推論過程を出力する推論型のLLMに性格特性を獲得させる学習手順について、1段階目の学習方法の違いが最終的な結果をどう左右するかを検証しました。
推論モデルの学習では「教師あり学習（SFT）で下地を作り、その後に強化学習を行う」手順が一般的で、性格を扱う既存研究の多くもこの手順を踏襲しています。本研究では2段階目を共通の強化学習（GRPO）に固定したうえで、1段階目を「SFT」と「選択式問題による強化学習（MCQ-GRPO）」で比較しました。オープンなLLM（Qwen3-8B）を対象に、心理学で用いられるビッグファイブのうち4つの性格特性の方向（外向性・開放性を高める、協調性・誠実性を低める）について検証しています。
主な結果は次のとおりです。
- SFT → 強化学習：口調や表現といった表面的な性格表現の評価は高い一方、モデル自身の内面的な性格傾向を問う評価では相対的に弱い結果となりました。
- 選択式問題による強化学習 → 強化学習：1段階目もモデル自身の回答と推論過程にもとづく強化学習で行うと、4つの特性すべてで内面的な性格傾向の獲得がより強く、数学的推論能力の低下も小さく抑えられました。また、推論過程を出力しない条件や異なる評価方法の間でも、性格の現れ方がより一貫していました。
モデルの重みや内部表現の分析もこの結果を裏づけています。SFTによる更新は大きく、元のモデルが持つ性格の表現とは別の方向に性格を書き込む傾向があったのに対し、選択式問題による強化学習の更新は小さく、元のモデルがもともと持っている性格の軸に沿っていました。性格の獲得では「どれだけ表に出るか」だけでなく「モデルのどこに保持されるか」が重要であることが示唆されています。
今後の展開
当社はこれまで、AIエージェントやデータ分析の技術を用いて、企業ごとの課題に合わせたシステム開発を行ってきました。今後は当社としても研究開発への投資を進め、独自の技術と知見を蓄積してまいります。あわせて、論文発表などを通じて研究成果を積極的に社外へ発信し、技術力と専門性の向上に努めてまいります。
本件に関するお問い合わせ
DataPrism Technologies株式会社
担当：広報担当
お問い合わせフォーム