Error-ы в Sape – robots.txt

Опубликовано 3531 день назад, автор Максим Береговой

Возможно, многие об этом уже знают, но я напишу для тех, кто не знает, т.к. сам узнал об этом сегодня.

При проверке купленных мной ссылок решил посмотреть причины Error-ов. Обычно я там замечал причины типа «ссылка не найдена на странице», «страница не отвечает» и «нет данных». Сегодня же обнаружил причину «страница запрещена robots.txt». Полез в robots.txt своих сайтов и нашел там кучу запрещённых страниц. В результате чего получается следующее.

Физически ссылка размещается на странице. Но страница, а соответственно и ссылка, Яндексом не индексируется. Sape автоматически присваивает ссылкам, которые куплены на страницах, указанных в вашем robots.txt, статус Error. В результате чего через некоторое время ссылка снимается, а деньги возвращаются покупателю.

Другими словами, затормаживается приток доходов и забивание рекламных мест, т.к. идёт цикл «размещение ссылки – оплата размещения – error – снятие ссылки – возврат денег». Вы как хотите, а я пошел править robots.txt)))

Комментарии читателей (8)
    • Юрий
    • А если с роботом всё нормально, какие могут быть причины ерроров?

    • Максим Береговой
    • Юрий, очевидно Вас беспокоит смена IP-адресов в Sape, но в новости от 20 февраля администрация системы объяснила все нюансы, так что нет повода для беспокойства ;)

    • uyra
    • У меня токая проблема поставил голый robots.txt, может кто еще что нибудь подскажет

    • sysadmin
    • А если у меня такая ошибка при полном отсутствии файла robots.txt, тогда что делать?

Ваше мнение?

Допускается использование HTML тегов и атрибутов: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>