Логирование действий SAPE робота-индексатора

Разработчики биржи ссылок Sape.ru порадовали созданием нового инструмента для вебмастеров. Нынче все действия их робота индексатора, посещающего Ваши страницы, стали протоколироваться. Ссылки на логи работы индексатора по каждому сайту находятся здесь http://www.sape.ru/sites.php

В логах доступна следующая информация:

  • страницы, ранее присутствовавшие в саповском индексе
  • страницы, добавленные в ходе последней индексации
  • страницы, не попавшие в саповский индекс (например из-за явного указания вебмастером запрета на индексацию или с типом контента отличным от text/htm)
  1. Нет комментариев