クローラーとは検索エンジンの作成のため、世界中のサイトを巡回しサイトの情報を集めるプログラムです。
各サイトのリンクを追って巡回するので、どこにもリンクされていないサイトはいつまでたってもクローラーに認識してもらえません。
サイトを作ったばかりのときは、Googleなど検索エンジンに巡回依頼を出すことをおすすめします。
Googleに巡回依頼bingに巡回依頼※yahooはGoogleのクローラーを使用しているので、巡回依頼は出せません。