最近、RAGやエンタープライズサーチについて話すことが多いので、頭の中を整理するためにメモしておく。

Google検索の登場で、世界はどう変わったか？

こちらによるとアメリカでGoogle検索のシェアがトップになったのは、2005年の出来事。
日本ではYahoo! Japanの利用が根強かったが、2010年にはYahoo! JapanもGoogleの検索エンジンを採用し、実質的にGoogleがトップシェアになった。

Google検索により、「知っていること」の価値は相対的に低下

Googleの普及により、知識があることよりも必要なときに必要な情報を引き出して活用できることが重要になった。
教育においては暗記よりも思考力が重要視されるようになったし、ビジネスの世界でも情報を活用するための検索キーワードを知っていることや、Googleを使いこなせることが重要になっていった。

Google検索により、Web上の情報のアクセシビリティが格段に向上

Googleの登場により、インターネットに公開されている情報であれば容易にアクセスできるようになった。
情報を人が整理するよりも、とにかくGoogleがアクセスできるようにして、インデックスしてもらうことが重要になった。

Webサイトでサイトマップを見るよりも、Googleの検索を使ったほうがうまく情報に辿り着けるというケースも多くなった。
その結果、ユーザはWebサイトのトップページを使わず、Googleから目的のページへ直接アクセスするようになっていった。
このようなユーザの動線においてはとにかくSEOが重要となり、検索エンジンで1番目や1ページ目に入らなければアクセスしてもらうことが難しくなった。

業務においても必要不可欠なGoogle検索、しかし取り残されたイントラネット

Google検索は、公私共に必要不可欠なものとなった。
機密情報についてはGoogleで検索することが適さないケースもあるが、業務でGoogle検索を利用することは当たり前になっている。

一方で、インターネットに公開されていないものは取り残された。会社内のネットワーク、つまりイントラネットで公開しているような情報はGoogle検索できないため、インターネットに比べると遥かにアクセスしづらい状況になった。
公開できる情報であれば、むしろWeb上に公開しておいたほうがGoogleがインデックスしてくれて、アクセスしやすくなる。
ITの技術ブログなんかはその典型的な例で、どうせオープンな情報であるならWeb上に公開したほうが全員にとって幸せになる。

ChatAIで、世の中はどのように変わりつつあるのか？

ChatAIをGoogle検索の歴史と対比して、どのような未来になるのかを考える。

LLMのChatAIにより、自然言語によるIT活用可能性が向上

ChatAIの登場により、自然言語（＝非構造化データ）であっても、IT活用の可能性が向上している。
いままでは「プログラムとして実行可能であること」がIT化を進める上で重要であったし、そのためにはデータを構造化して保持することが必要不可欠だった。
例えばITエンジニアが扱うテストコードは「実行可能な仕様書」と解釈できるし、ブロックチェーンにおいて期待されているスマートコントラクトも「実行可能なルール」である。

一方、社内規定やシステム仕様書、特許明細、法律文書などはすべて自然言語（＝非構造化データ）で書かれており、プログラムでの扱いが困難であった。 だからこれらの文書はすべて人手で目を通し、ルールに沿っているかを判断していたし、時間の経過とともに文書は肥大化・複雑化して大変なものになっていた。
しかし自然言語で書かれた文書も、ChatAIのおかげでIT活用のハードルが大きく低下した。

ChatAIの登場により、「一般論」や「正解を出せること」の価値は相対的に低下

ChatAIは前提情報を適切に与えれば適切に処理できるようになり、多くの試験問題を正答できるようになった。
ChatAIの登場により、規定された枠組みの中で正しい答えを出すことの価値は低下していくだろう。
一般論はいくらでも語ってくれるし、はっきりとした正解がある問題ほどChatAIの得意領域になる。具体例としては「◯◯のような行為は、法律に反しますか？」「△△という製品仕様は、既存の特許侵害にあたりますか？」といった質問だ。
人類にとって既知の領域はだいたいChatAIでなんとかなってしまうので、今後は人類にとって未知の領域を、どのように開拓していくかという活動が重要になっていくだろう。

ChatAIにとってのアクセシビリティが重要視されていく

既知の領域についてはChatAIが正しく回答できるようになっていくであろうが、それはオープンな情報に限られる。
法律文書や特許明細は公開情報なのでChatAIで汎用的に処理できるようになっていく可能性があるが、 社内規定やシステム仕様書といった社内文書を活用するにはChatAIがアクセスできる環境を整えることが前提となる。

つまり、バリアフリーやユニバーサルデザインといった言葉があるが、同様の概念がChatAIにとっても重要になっていく。
この概念に名付けるとすればAIフレンドリーとかAIセントリックデザインといった言葉になるだろうか。
AIにとってのアクセシビリティを実現することが、情報を活用できることにつながる。

ChatAIにとってのアクセシビリティを確保しなければ、インターネットに公開していないものがGoogleに取り残されたのと同様に、 ChatAI活用においても活用できずに死蔵された情報となることが予想される。

エンタープライズサーチとRAGの未来

エンタープライズサーチという領域がある。これはイントラネットのような企業内に保存されているデータに対して検索を行うというもので、つまりGoogleによって取り残された領域の一つである。
そしてRAG(Retrieval-Augmented Generation)という技術がある。これはChatAIに参考となるデータを参照させることで、より質の高い回答を出力させるというもの。

ChatAIの業務活用において、RAGは重要な要素の一つである。そしてエンタープライズ領域においてRAGを実現するにはChatAIが参考となるデータにアクセスできる環境を整える必要があり、そのための技術がエンタープライズサーチとなる。
以上を踏まえると、エンタープライズサーチがどの程度実現できているかが、ChatAIの業務活用を左右する可能性がある。