Как да съставя правилното за Google (заявка Андрей Липатцев)
Оказва се, че има един въпрос (и), който ме измъчва от 5 години, според най-скромните оценки. И ето, че се появи отново и то при двама пациенти наведнъж: 1. Какъв е този правилен robots.txt по отношение на броя на инструкциите? 1.1. Струва ли си да се минимизира броят на правилата? 1.2. Колко жестоко е да се раздават поджопници за надуване без основателна причина (като изброяване на всички възможни url адреси, където може да се използва звездичка)? 1.2.1. Или, напротив, струва ли си да надуем размера до тавана на техническите изисквания, за да покажем невероятна „ръчна“ работа?
Например, каква е разликата в печалбите между липсващ робот, робот с 10 правила и робот със 100 000 правила? Времето за обработката му включено ли е в общия лимит на ресурси за обхождане от паяци?
Вероятно няма печалба от големия размер на robots.txt (защото Google поставя правила в robots.txt) или печалбата е отрицателна, защото robots.txt е необходим най-вече за коригиране на задръстванията на типичния CMS (когато ви мързи да ги редактирате, няма пари за програмист). За поръчкови (уникални) CMS - роботи не са необходими.
ksav (24 януари 2014 - 05:50) написа:
ksav (24 януари 2014 - 05:50) написа:
c4e8ece0 (24 януари 2014 г. - 11:19 ч.) написа:
От официалните факти има ограничения за размера на robots.txt: Максималният брой правила във файла е 2048 (отново за Yandex и не е ясно дали това е само разделът на Yandex или целите роботи) Максималният размер на robots файл за Yandex е 32kB, ако е по-голям, всичко се счита за разрешено.
И Google има ограничение от 500kB за размера на робота, всичко по-горе се игнорира. Това означава, че той е готов психически да използва 100 хиляди редовни сезона.
Всъщност, за какво Google е предвидил такъв огромен размер на робота?
#6 Андрей Липацев
„Искането“ е, разбира се, добро, но поне някак странно.
c4e8ece0 каза:
1. Няма препоръки за това, освен ограничението на размера. 1.1. Само от гледна точка, че ще ви е по-лесно да го разберете сами. 1.2. Точно до степента, в която по принцип сте склонни да ги разпространявате за нарушаване на ергономичните принципи. 1.2.1. На кого да покажа? Според мен трябва да организираме някакво отстъпление за изпълнителни директори веднъж годишно за нас, така че просто да си починете душата, защото изглежда, че сте спечелили доста.
няма за гугъл
Андрей Липатцев, добре, благодаря за отговорите
Андрей Липацев каза: