ru.noXon.blog

Запихал недавно в сапу сайт в 20к страниц. Всего на сайте содержится более 200к страниц, но проиндексированно только 20к. Отсюда встала проблемма, как запихать в сапу максимальное количество страниц, при этом избавить себя от мучительной рутины по удалению не проиндексированных страниц.

Решение было найдено простое и красивое. Нужно просто спарсить яндекс, настроив его на поиск яндекс по одному сайту. Таким образом мы получаем только проиндексированные страницы.

Правда есть одна проблемма, яндекс не отдаёт в выдаче больше 1000 страниц. К счастью в моём арсенале есть совершенно адский инструмент – hrefer (поставляется вместе с хрумером). Буквально за один вечер я вытащил все страницы из индекса и на следующий день уже добавлял сайт в сапу.

Делается это так:
Для начала нам необходимо настроить поиск по яндексу только по нашему сайту. Открываем engines.ini и добавляем в самое начало такие строки:

[Yandex 1]
Hostname=http://yandex.ru
Query=yandsearch?date=&text=[QUERY]&site=site.ru&rstr=&zone=all&wordforms=all&lang=all&within=0&from_day=&from_month=&from_year=&to_day=6&to_month=8&to_year=2009&mime=all
LinksMask=

Вот так всё просто. Некоторые не добавляют многостраничники в сапу, боясь рутины по удалению “плохих” страниц. Если что не понятно, спрашивайте в каментах. Если нет хрефера, обращайтесь, запущу сбор по вашему сайту за символическую плату.