Тот, кто придумал robots.txt был либо недальновидным, либо подло дальновидным. Действующие правила таковы, что поисковик просканирует твой сайт, если ты только не запретишь ему это делать специально директивой disallow.