Я профессионально работаю с поисковыми системами и как профессионал сильно не люблю их. Не люблю, но работаю. И от этой неизбежности не люблю ещё больше.

1. Они приходят без спроса
Тот, кто придумал robots.txt был либо недальновидным, либо подло дальновидным. Действующие правила таковы, что поисковик просканирует твой сайт, если ты только не запретишь ему это делать специально директивой disallow.
Представьте, что к вам в дом залазит некто, шарится по всем комнатам, роется в ваших вещах, копирует ваши документы и вывешивает их на всеобщее обозрение на ближайшем заборе. На вопрос «какого хрена?» он отвечает — но ведь на двери не было таблички [disallow], что нельзя входить!

Мне не раз в своей практике приходилось просить саппорт Яндекса срочно удалить из поискового индекса конфиденциальную информацию, попавшую туда невесть какими путями — просто где-то случайно оставили лишнюю ссылку, по которой робот и прокрался в запретную зону.

Было бы более логичным политику доступа делать как в жизни: если тебя лично не пригласили в дом (на сайт) — не суй туда свой хобот!

2. Они применяют двойную мораль
Но если вам придёт в голову посканировать сам поисковик, то скорее всего нарвётесь на санкции. Да, табличка [disallow] висит на дверях их дома. Но как она выглядит на доме того, кто весь свой бизнес строит на ковырянии в чужом добре?

3. Они скрывают информацию
Статистика использования ключевых слов — жизненно важна для любого интернет-проекта. Поэтому поисковики либо её портят, либо скрывают, либо предоставляют в таком виде, что она становится практически бесполезной. И главное, что эта информация скрывается от веб-издателей, то есть от тех, на чьём добре поисковики строят своё благополучие.

4. Они паразитируют на чужом контенте
Вы не заметили, что всё чаще и чаще вам даже на приходится переходить по ссылкам? Поскольку вся информация доступна в интерфейсе поисковика.
Агрегируя чужие данные поисковики получают возможность ответить на вопрос посетителя сами, без перехода на сайт-первоисточник. Да, оригинал указан, но зачем вам переходить туда, если вы уже получили нужный ответ. Зачем вам запоминать бренд первоисточника, вложившего кучу сил и средств в создание этого контента? Запоминайте только, что «Яндекс найдёт всё», а у Гугла «Результат — это главное»!
И неважно, что без трафика первоисточник может умереть, как любой организм без пищи и воды. Найдётся другой, кто встанет на его место. В очереди таких много.

Вот было бы прикольно, если бы поисковики платили за использование контента. Представляете? В один прекрасный момент на вашу почту приходит предложение от Яндекса или Гугла: «Разрешите просканировать ваш сайт! За каждую страницу в индексе мы будем вам платить $XX в год. Не откажите в любезности!»

5. Они могут в любой момент обвалить вам весь бизнес
Без объяснения причин. Либо с невнятным объяснением — отсылкой к «правилам». Вы действительно можете что-то нарушить. А можете и не нарушать. А можете и не понять, что нарушили. Но если ваш проект критически завязан на органический спрос — он находится в группе большого риска.
Диверсифицируйте трафик или в один прекрасный момент можете умереть!

6. Они общаются через губу
«Вас много, а я одна» — классическая совковая фраза отражает принцип общения сотрудников поисковиков с пользователями. Каждый раз, если кто-то получает ответ от саппорта — он непременно поделится этой радостной новостью с коллегами. Ведь это такая редкость! Боги снизошли с Олимпа!

В заключение

«Если бы парни всей земли
Хором бы песню одну завели»

Любая монополия — это плохо. Она развращает и монополистов и простых смертных. Монополисты плюют на плебс. Голодный плебс готов задавить любого в очереди к кормушке (за место в SERPе). Мерзкое зрелище, но так устроен этот мир.
И изменить его мы не сможем. Даже если бы все веб-издатели вдруг договорились бы и поставили disallow, то обязательно нашёлся бы тот, кто втихаря воткнул бы себе allow. И всё опять началось бы сначала!