表題番号:2000A-854 日付:2002/02/25
研究課題インターネット分散型超高速データ収集・検索システムにおける負荷分散方式の研究
研究者所属(当時) 資格 氏名
(代表者) 理工学部 助教授 山名 早人
研究成果概要
 広域に分散したWWWサーバのデータの高速収集するための一手法として、WWWロボットと呼ばれるWWWサーバのデータを自動的に収集するプログラムをインターネット上に複数配置し協調動作させる「分散型WWWロボット」について研究開発を実施している。1998年度末までに、5ヶ所に分散したロボットを用いた評価を行い、分散型WWWロボットの有効性を確認しているが、本研究では、実用性を評価するためにさらに実験規模を拡大し、17ヶ所に分散配置された分散型WWWロボットを使い6,500のWWWサーバ(465万URL)を対象として実験を実施した結果を詳細に解析した。
 この結果、一カ所で集中して収集する場合に比較し、我々の提案する負荷均一化による分散により、6.3~286倍の高速化が可能であることが判明した。特に、17台の分散型WWWロボットと6,500台のWWWサーバ間のデータ転送速度の間には、同一のWWWサーバを対象とした場合でも2倍~710倍、平均67.5倍の速度差があることがわかった。このため、収集対象となるWWWサーバをランダムに分散型WWWロボットに割り当てる「ランダム分散」では大きな負荷の不均衡が発生し、負荷の均等化が必要になる。なお、今回の実験で極端にデータ転送速度の遅かった2つのWWWロボット(原因はProxy性能及びネットワークルーティング)を除いた15台の分散型WWWロボットのみの間でも、1.3~710倍、平均9.6倍の速度差があることがわかった。また、同一WWWサーバに対する最高速と最低速のWWWロボットの間のデータ転送速度が10倍未満のWWWサーバは全体の71%、20倍までで全体の91%であり、速度差は20倍程度の範囲にそのほとんどが収まっていることがわかる。
 本研究により、分散型WWWロボットのさらなる高速化のためには、インターネットにおけるデータ転送の変動値を上限とした負荷の均等化を行うことのできる分散方式が重要になることが判明した。