クエリファンアウトの検索アプローチ

前回は、「Google AI Modeのクエリファンアウト(Query Fan-out)技術:検索エンジンアーキテクチャの革新」と題して、今、話題のGoogle AI Modeの基盤となっているエリファンアウト(Query Fan-out)とよばれるテクノロジーについてご紹介しました。

今回は、従来の検索とのクエリファンアウト検索の根本的違いの理解を深めながら、AI Mode時代の新たな”コンテンツ戦略”への影響について考えてみたいと思います。

では、さっそくはじめていきましょう!

従来の検索との根本的違い

従来の検索アプローチ

従来の検索エンジンは、主に単一の巨大なインデックスに依存するアーキテクチャが主流でした。ユーザーからのクエリは、単一のサーバーまたはサーバー群(スケールアップ型)によって線形的に処理されます。

以下は、従来の検索による線形アプローチをわかりやすくまとめたものです。

  1. 処理パイプライン
    • クエリは、前処理、インデックス検索、ランキング、結果表示といった一連のステップを順番に通過します。この線形処理モデルは、シンプルで管理しやすい一方で、データ量が増加すると処理速度がボトルネックになりやすい欠点があります。
  2. キーワード中心の検索
    • 検索は主にキーワードの一致と、TF-IDFのような統計的手法に基づいていました。このアプローチでは、クエリの意図や文脈を理解する能力は限定的で、同義語の扱いは手動で定義された辞書に依存していました。
  3. データソースと更新
    • 主なデータソースはウェブページをクロールして作成される単一のインデックスで、その更新は日次や週次といったバッチ処理で行われることが多く、情報の鮮度には時間差がありました。

線形処理モデルについてもリストしておきます。

  • クエリ前処理: ストップワード除去、ステミング、正規化
  • インデックス検索: 転置インデックスを用いたドキュメント検索
  • ランキング: PageRankやTF-IDFに基づくスコアリング
  • 結果表示: 関連度順でのドキュメントリストの提示

従来の検索は、いい意味でも悪い意味でも キーワード中心の検索手法でした。

所謂、クエリに含まれるキーワードとの正確な一致を重視した完全一致優先の検索で、完全一致検索の補助的機能として、部分一致検索や統計的関連性(文書頻度と逆文書頻度に基づく関連性計算)などの機能が開発されていきました。

利便性を追求する為、サイト内のページに張られたリンクの解析(外部リンクの数と質による権威性評価)や辞書を付加することでの同義語展開(限定的な語彙展開(手動で定義された同義語辞書)、揺れ等への対策機能も提供されていきました。

従来アプローチの限界

そんな従来型のサイト内検索やECサイトの商品検索ですが、テクノロジーの進化と共に多くの課題や限界点が指摘されるようになってきましたので、ここで簡単にまとめておきます。

単一データソース依存

多くの従来型の検索アプローチの場合、データソースが単一で構成されます。”サイト内のWebページ”であったり、”商品DB”であったりする訳です。

キーワード検索だけで機能を提供する場合は、シンプルですので、非常に優良なアーキテクチャになりますが、AIを搭載した検索が当たり前の時代に突入するとなると、単一のデータソースでは物足りなくなるでしょう。

単一データソース依存まとめ

  • Webインデックス中心: 主にクローリングしたWebページのテキスト情報に依存
  • 静的情報: インデックス更新周期に制約された情報の鮮度
  • 構造化データ限定: Knowledge Panelなどの構造化情報は副次的な扱い

バッチ処理型の更新

従来型の検索のソースとなるのが検索インデックスです。新しいデータが追加する度に、インデックスを更新しなければならないのですが、これがまた、時間と大量のリソースを食う作業になります。

多くの検索システムでは、深夜帯に検索インデックスの更新をバッチで行っているのですが、更新の為の作業時間の確保以外にも、従量課金のサービス上ではこれがまた大きな負担になることもあり、度々問題となるポイントです。

  • 定期的インデックス再構築: 日次または週次でのインデックス更新
  • 遅延のある情報反映: 新しい情報がクエリ結果に反映されるまでの時間的ギャップ
  • 一律の処理優先度: すべてのクエリが同等の処理リソースを使用

APPSWINGBYは、最先端の技術の活用と、お客様のビジネスに最適な形で実装する専門知識を有しております。貴社がこの技術革新の技術を余すことなく活用し、競争優位性を確立できるようAI開発から業務システムの全体設計・開発、既存システムの改修(リファクタリング、リアーキテクチャ)、DevOps環境の構築、ハイブリッドクラウド環境の構築、技術サポートなど提供しています。業務アプリや業務システムの一新をお考えでしたら、弊社お問い合わせフォームよりお気軽にご相談ください。

お問い合わせはこちら

システム開発にお困りではありませんか?

この記事を書いた人
株式会社APPSWINGBY
株式会社APPSWINGBY マーケティング

APPSWINGBY(アップスイングバイ)は、アプリケーション開発事業を通して、お客様のビジネスの加速に貢献することを目指すITソリューションを提供する会社です。

ご支援業種

情報・通信、医療、製造、金融(銀行・証券・保険・決済)、メディア、流通・EC・運輸 など多数

株式会社APPSWINGBY
株式会社APPSWINGBY マーケティング

APPSWINGBY(アップスイングバイ)は、アプリケーション開発事業を通して、お客様のビジネスの加速に貢献することを目指すITソリューションを提供する会社です。

ご支援業種

情報・通信、医療、製造、金融(銀行・証券・保険・決済)、メディア、流通・EC・運輸 など多数

監修
APPSWINGBY CTO川嶋秀一
株式会社APPSWINGBY  CTO 川嶋秀一

動画系スタートアップ、東証プライム R&D部門を経験した後に2019年5月に株式会社APPSWINGBY 取締役兼CTOに就任。
Webシステム開発からアプリ開発、AI、リアーキテクチャ、リファクタリングプロジェクトを担当。C,C++,C#,JavaScript,TypeScript,Go,Python,PHP,Vue.js,React,Angular,Flutter,Ember,Backboneを中心に開発。お気に入りはGo。

APPSWINGBY CTO川嶋秀一
株式会社APPSWINGBY  CTO 川嶋秀一

動画系スタートアップ、東証プライム R&D部門を経験した後に2019年5月に株式会社APPSWINGBY 取締役兼CTOに就任。
Webシステム開発からアプリ開発、AI、リアーキテクチャ、リファクタリングプロジェクトを担当。C,C++,C#,JavaScript,TypeScript,Go,Python,PHP,Vue.js,React,Angular,Flutter,Ember,Backboneを中心に開発。お気に入りはGo。