LLMとKGの融合によりワクワク開発を取り戻す図

1.はじめに:プロジェクトの全体展望と問題意識

材料開発の現場において、自律型推論AIエージェントの導入を望む声が日増しに強くなっているのを実感します。その中で特に私が期待を寄せているのが、大規模言語モデル(LLM)とナレッジグラフ(KG)を融合させた自律型推論AIエージェントです。LLMが得意とする文献データの検索や要約にとどまらず、物理的・化学的な因果関係(プロセス・構造・特性:PSP)をシステムに理解させ、未知の材料に対しても自律的な仮説を立てさせることができればパラダイムシフトが起こると考えられます。なぜならば、複雑な相関性は見つけることができても「なぜ、それが起こるのか?」という因果関係を語ることができないマテリアルズインフォマティクス(MI)との相性(補完性)が抜群だからです。自律型推論AIエージェントとMIの両輪が揃うことで、効率的な開発が期待できるだけでなく、新たな材料の発見頻度も高まるからです。

本ブログシリーズは、前ブログシリーズ:“LLM×KG融合が拓く新時代”の続編になります。前ブログシリーズで取り扱った半導体パッケージング材料や因果推論エンジン「ARIA」をベースに、新たに「ARIA-Forge」プロジェクトを立ち上げました。この新プロジェクトでは、積極的に新しい技術構築の構築に取り組みました。その構築プロセスを通じて数多くの技術的課題に直面し、何とか乗り越えることができたので、読者の皆様にはその突破の軌跡をお楽しみいただこうと考えています。

「ARIA-Forge」プロジェクトは、2つのフェーズに大別することができます。前半(第1回〜第2回)では、原著ARIAの推論エンジンのポテンシャルを最大限に引き出すため、土台となる知識グラフの品質向上、すなわちセマンティックな名寄せ、および検索起点の最適化など、データ構造と入力の洗練に注力しました。一方、後半(第3回以降)では、既存の推論エンジンの枠組みでは超えられない「事実と類推の境界(ハルシネーションの排除)」という壁に直面し、決定論的推論プログラムの限界を乗り越え、LLMの自律的評価を組み込んだ独自の推論・ルーティングアーキテクチャへと進化を遂げる過程を詳しく紹介します。

本稿(第1回)では、前半戦の起点となるPhase 1からPhase 2の取り組みに焦点を当て、初期に構築した巨大な知識グラフに潜んでいた「孤立問題」の発見と、その解決に向けたアプローチについて報告します。


2.背景と目的:材料科学における因果知識グラフ(KG)の構築

本プロジェクトの前段階(前ブログシリーズ:”LLM×KG融合が拓く新時代”)では、42報の材料科学論文から、LLMを用いてプロセス・構造・特性(PSP)の因果関係を抽出しました。材料科学の文献データは複雑であり、同じ現象であっても記述方法が論文ごとに異なりますが、最新のLLMの力を借りることにより爆速でデータ抽出を行うことができました。抽出したJSON形式のデータは、最終的に「マスターグラフ(JSON-LD形式)」として統合した結果、実に22,396ノードという巨大な規模となりました。

原著ARIAエンジンのアーキテクチャでは、単なるキーワードの結びつきではなく、因果関係を扱う高度な構造が採用されています。異なる論文から抽出された知識であっても、同じ意味を持つノードには共通の属性(aria:relatesToConcept)が付与されます。この共通コンセプトIDがハブとして機能することで、システムは論文間を跨いだクロスドメイン推論(論文横断的な仮説生成 = 優雅な劣化(例:Cu-Cu bondigの記述が見つからない場合に、Al-Al bondigの例から類推すること))を実行できる設計となっています。2万を超える知識のネットワークが存在すれば、ARIAエンジンは「論文Aのプロセス」と「論文Bの特性」を結びつけ、思いもよらない材料の組み合わせを発見したり、周辺分野の因果を借用して創造的な推論が実施できるはずでした。

前回ブログシリーズに記載の通り、’Threashold’や’Hop数’といった原著ARIAに埋め込まれているパラメーターを掘り起こし、それらの値を変えることでクロスドメイン推論を制御できることを期待し、幾つかの組み合わせを試しました。しかし、期待したような制御ができているとは言えない挙動でした。

そこで、本プロジェクトでは、期待したクロスドメイン推論が起こりにくい要因を特定・改善し、真に材料開発現場で使える自律型推論AIエージェントを生み出すことを目的としました。


3. 問題の発覚:検証スクリプトのバグと「真の交差点」の欠如

クロスドメイン推論が起こりにくい要因として疑われるのは、ナレッジグラフ構築方法の不備です。「論文Aのプロセス」と「論文Bの特性」が類似のSPS構造を有するのであれば、グラフ中でこれらの論文は直接リンクしていることが期待されます。そこで、構築された巨大なネットワークにおいて、実際に論文を跨ぐリンク(真の交差点)がどの程度形成されているかを評価するため、初回のマスターグラフ結合検証スクリプトを実行しました。「真の交差点」が多数見つかれば、ナレッジグラフではなく推論方法に問題があり、逆に、交差点が見つからなければ、ナレッジグラフの構築方法に問題があったことになります。

出力された結果は「真の交差点数:ゼロ」という衝撃的なものでした。

当初はこの結果に戸惑ったものの、冷静に考えると、この結果は疑わしいとの結論に至りました。なぜならば、私は以前の検討において「1例だけだが、クロスドメイン推論が起こった」ことを確認していたからです。調査の結果、検証スクリプト自体の実装にバグがあることが判明しました。スクリプトがノードのnamevalueといった単純なテキスト属性を比較してグループ化しようとしており、本来ハブとなるべき aria:relatesToConcept プロパティを参照していなかったのです。この時期、私はコーディングエージェントを変更したばかりで、以前とは異なる開発環境で自分の意図通りにエージェントに指示を伝えられていなかったことも、スクリプトにバグが紛れ込んだ要因として大きかったのではないかと振り返っています。

直ちに検証スクリプトを修正し、aria:relatesToConcept と出典論文を示す aria:extractedFrom を正しく照合する仕様へと改修を実施しました。再検証の結果、スクリプトは正常に動作し22,396ノードを読み込みました。しかし、新たに発覚した事実はより深刻でした。

論文を跨ぐ真の交差点は、わずか「3件」しか存在していなかったのです。

グラフ自体はエラーなく構築されていましたが、実態としては各論文由来のノードの直接的なつながりは、ほとんど存在しなかったのです。


4.根本原因の特定:ハードコードされた完全一致名寄せの限界

ナレッジグラフを構築する際、コンセプトIDを割り振っており、各PSP構造間でコンセプトIDが一致するもの同士は直接リンクが結ばれる仕様でした。

それでは、なぜ、共通のコンセプトIDが論文間で一致しなかったのか。その真因は、グラフ統合スクリプト(merge_jsonld.py)に実装されていた「名寄せ(Entity Resolution)」の初期ロジックに存在していました。 当時のプログラムは、「hybrid bonding」や「sicn」、「mgo」といった特定の文字列の「完全一致」に依存してコンセプトIDを付与する、人間によるハードコードされた条件分岐で稼働していました。

「完全一致」に依存すると何故いけないのか。それは、材料科学の論文において(もう少し広くとらえると、人間が記載する文章において)、表記揺れが当たり前だからです。わかりやすい例を挙げると、「thermal conductivity of MgO」と記述する著者もいれば、「MgO thermal conductivity」と記述する著者もいます。人間が見れば同義であることは自明であり、人間が読んだり、そこから情報を抽出しまとめる際には、何ら問題は起こりません。しかし、これを機械的に「完全一致」でやろうとすると失敗することは火を見るよりも明らかです。当然、完全一致を要求する決定論的プログラムにとっては「thermal conductivity of MgO」と「MgO thermal conductivity」は全くの別物として扱われ、別々のコンセプトIDが付与されてしまいます。このルールベースの限界により、無数の表記揺れが吸収されず、結果として論文間にハブとなる橋が架からなかったのです。


5. 技術的解決アプローチ:ベクトル類似度に基づく動的セマンティック統合

この「表記揺れの壁」を突破するため、Phase 2において統合ロジックの抜本的なセマンティック改修を実施しました。ハードコードされた文字列マッチングのロジックを完全に削除し、自然言語処理モデルである sentence-transformers(all-MiniLM-L6-v2モデル)を新たにデータ統合パイプラインへ導入しました。sentence-transformersは、文章の意味をベクトル配列に変換し、意味の近さや類似度を計算する手法です。これにより、単語や文章の完全一致にとらわれることなく、同じ意味の表記ゆれ表現を同一コンセプトとしてクラスタリングすることが可能となります。

この新たなロジックでは、各ノードから抽出したテキスト(名称や説明文)をエンベディングベクトルに変換し、全ノード間でコサイン類似度を計算しました。そして、類似度が0.95以上のものを「同一の概念」とみなし、Union-Findアルゴリズムを用いて動的にクラスタリングを行う手法へと大転換しました。クラスタリングされた同義のノード群には、自動生成された共通の concept:xxx 形式のIDが aria:relatesToConcept として付与されます。このアプローチにより、表現の表層的な違いに依存しない、空間意味論に基づく名寄せ(セマンティックなエンティティ統合)が可能となり、ナレッジグラフはより高密度に生まれ変わりました。


6. 成果と結び:真のネットワーク構築と次なる課題(エンベディングの罠)への接続

セマンティック統合を実装したパイプラインを通し、22,396ノードのマスターグラフを再構築した結果、手動のハードコードに依存していた3件の交差点から飛躍し、652のクロス論文クラスタ(1,287のクロス論文因果関係)が新たに誕生しました。

決定論的な文字列一致ルールを廃し、AIのベクトル空間意味論に判断を委ねたことで、全く異なる論文から抽出された知識たちが意味的な近さによって結びつきました。ベクトル空間へのエンベディング手法は、近年の自然言語処理の飛躍的な発展の原動力の一つですが、自分が構築したナレッジグラフでその威力が発揮されたことを目の当たりにすることができ、ちょっぴり感動しました。これにより、ARIA推論エンジンが広大な知の海をトラバースし、クロスドメイン推論を実行するための「真のネットワーク」の土台が遂に完成しました。

しかし、グラフが正しく連結され、推論の準備が整ったことで、推論テストにおいて次なる技術的壁が姿を現すこととなります。次回(第2回)は、長文クエリ全体をベクトル化することによって生じる「エンベディングの罠」と、それを打破するためのマルチエントリーポイント化の軌跡について詳述します。次回をお楽しみに。