検索ロボットはＷｅｂ上を日々巡回して、新しいＷｅｂページや更新されたページを見つけると、そのページをほぼ丸ごとデータベースに取り込みます。

ですから、新しいＷｅｂページを作ってＦＴＰでＷｅｂサーバーにアップロードすれば、そのうち巡回してきて登録されるだろうと思っているなら大きな間違いです。

検索ロボットもＷｅｂ上をひらひら飛んでくるのではなく、"道"を辿ってくるのです。
実際、富士山麓の樹海のど真ん中、道も無いところに家を建てたって誰もたずねてこれないでしょう。

Ｗｅｂの"道"とは、ページ同士のリンクです。検索ロボットは、既に登録済みのページを巡回します。

そして、変更内容があるやも知れないのであらためてＨＴＭＬを取り込むのですが、その時にＨＴＭＬタグのを読込むと、「ふ～んそんなページがあるんだ・・」とそのページに足を伸ばします。


そして、そのページにまた別のページへのリンクがあれば、「ほほ～まだ先があるね・・」と又リンク先のページへ足を伸ばします。こうして新しいページを見つけると、そのデータを丸ごとキャッシュする訳です。

ロボットがしゃべるのかよ！と怒る方、初心者の為の講座ですから分かりやすい様にする比喩ですよ、固いこといわないで下さい。(-_-ﾒ
つまり、Ｗｅｂページをサイトアップしても、それがＹａｈｏｏやＧｏｏｇｌｅなどの検索データベースに登録されているページからリンクされていないと、道が無いから巡回されないわけです。

私は検索ロボットが実際どのようにデータを取り込んでいっているかという技術的なことは知りません。それは検索エンジン会社の企業秘密ですから、多分私だけでなくよほど検索エンジン会社の内情に通じている人でなければ知らないと思います。

しかし、私は半年くらい前に自分だけが使う為のＷｅｂツールをつくってアップしたのですが、これは公開したくないものなので、私のサイトのどのページからもリンクはしていません。
そうすると、やっぱり半年経ってもＹａｈｏｏにもＧｏｏｇｌｅにもＭＳＮにもサイト情報は反映されませんから、多分その通りだと思います。

じゃあどうすれば検索ロボットに巡回してもらえるように道を通すのでしょう。
方法は２つ、検索エンジン会社の巡回申請をする、もう一つは、既に検索エンジンに登録されているページにリンクを貼ってもらうという事です。