標準技術集（サーチエンジン）データベース: Ａ情報収集手法

【技術分類】

　Ａ－４－（４）　負荷分散（ロードバランス）

【技術の名称】

　分散型検索ロボットにおける負荷の均等化

【技術内容】

　多数のPRS（Public Robot Server）にランダムに同じ数だけのWWWサーバを分担させるランダム分散では、収集が完了するまでの時間が逆に延びてしまうことがある。これは、同一のWWWサーバに対するデータ転送速度が、PRSによって差があったり、各WWWサーバが持つデータ容量に大きな差があることに起因している。
　一方、負荷均等化を行った場合には、多数のWWWロボットを用いて収集する速度が大幅に増加する。
　さらに、各PRSが例えば200スレッドを同時起動し、200のWWWサーバに対して並列収集した場合、１台のPRSのみを用いた場合には、最小23時間～最大23日が必要になるが、17台のPRSを用いて分散収集することにより1.9時間（12～286倍の高速化）で収集可能であることが判明した。
　つまり、分散型WWWロボットを使って高速な収集を実現するためには、ネットワーク的に高速収集が可能な地点にPRSを配置することが効率化の点で重要であるといえる。

【図】

　　図　分散型検索ロボットにおける負荷の均等化

　　

　出典：「検索エンジンと高速ページ収集技術-分散型WWWロボット実験」、「コンピュータサイエンス誌　bit　Vol.32　No12　通巻411号」、（2000年12月１日）、山名早人著、共立出版（株）発行、78頁　図９　分散型WWWロボットによるWebページ収集実験結果

【応用分野】

【出典／参考資料】

　「検索エンジンと高速ページ収集技術-分散型WWWロボット実験」、「コンピュータサイエンス誌　bit　Vol.32　No12　通巻411号」、（2000年12月１日）、山名早人著、共立出版（株）発行、72頁～79頁

【技術分類】

　Ａ－４－（４）　負荷分散（ロードバランス）

【技術の名称】

　協調サーチエンジン

【技術内容】

　検索時の負荷分散等の解決に分散処理は一定の成果を収めてはいるが、サーチエンジンの各処理過程を個別に分散化しただけでは不十分である。協調型サーチエンジンは「誰が知っているか」というforwarding knowledgeを用いて検索対象サイトを絞り込んでから、実際の検索を行う。構成要素は次のとおり。位置サーバ（LS：Location Server）・・・forwarding knowledgeを一元管理するサーバ。キャッシュサーバ（CS：Cash Server）・・・継続検索を効率よく実現するサーバ。局所メタサーチエンジン（LMSE：Local Meta Search Engine）・・・協調サーチエンジンのプロトコルを理解し、局所サーチエンジンを抽象化する。局所サーチエンジン（LSE：Local Search Engine）・・・HTML文書の収集（図中のGatherer）、インデックスの生成（同Indexer）、検索を行うサーチエンジン（同Engine）で構成される。

【図】

　　図　協調サーチエンジンの構成

　　

　出典：「最新情報の検索に適した協調サーチエンジン」、「コンピュータサイエンス誌　bit　Vol.33　No.1　通巻412号」、（2001年１月１日）、上原稔、森秀樹著、共立出版（株）発行、45頁　図１　協調サーチエンジンの構成

【応用分野】

【出典／参考資料】

　「最新情報の検索に適した協調サーチエンジン」、「コンピュータサイエンス誌　bit　Vol.33　No.1　通巻412号」、（2001年１月１日）、上原稔、森秀樹著、共立出版（株）発行、43頁～49頁

【技術分類】

　Ａ－４－（４）　負荷分散（ロードバランス）

【技術の名称】

　メタ検索システムにおける負荷の分散

【技術内容】

　複数の外部検索システムを同時に横断検索するメタ検索システムにおいては、利用する外部検索システムの増加は、クライアントからの１検索要求に対して複数の外部検索システムへの検索処理が発生し、検索負荷の増加を招く。この問題を解決するため図のシステムでは、メタ検索システムを分散オブジェクト技術COBRA（Common Object Request Broker Architecture）を用いて分散システムとして構成し、ソフトウェアコンポーネントを分散配置することにより、検索負荷を分散する。本システムは次の３層から構成される。

　（１）フロントエンド部：Webサーバ機能を提供し、クライアントWebブラウザとの間の全処理を担当する。
　（２）機能部：フロントエンド部からの検索要求に基づき、検索要求に基づき、ラッパー部の対応するオブジェクトに検索を依頼する。
　（３）ラッパー部：外部検索サーバごとに存在するラッパーオブジェクトによって構成する。

　Webサーバ上で稼働するフロントエンド部のオブジェクトを除いた全オブジェクトが、物理的に異なるマシン上に分散配置可能である。

【図】

　　図　分散メタ検索システムの構成

　　

　出典：「COBRAベースの分散メタ検索システムにおける負荷分散方式の検討」、「2000年電子情報通信学会総合大会論文集　通信２」、（2000年３月７日）、山田康晴、滝田亘著、（社）電子情報通信学会発行、150頁　図１　分散メタ検索システムの構成

【応用分野】

【出典／参考資料】

　「COBRAベースの分散メタ検索システムにおける負荷分散方式の検討」、「2000年電子情報通信学会総合大会論文集　通信２」、（2000年３月７日）、山田康晴、滝田亘著、（社）電子情報通信学会発行、150頁