Как да избегнете забрана при анализиране на някои сайтове (промяна на броя на нишките, пауза между
основите на работа с програмата
Как да избегнете забрана при анализиране на някои сайтове (променете броя на нишките, задайте пауза между заявките, използвайте прокси)
За да избегнете забрана за достъп до сайтове, можете да поставите по-малък брой теми и да изберете пауза между заявките. Броят на нишките и паузата между заявките се задават в разделите "съдържание" и в робота на сайта (бутон в лентата с инструменти). В раздела „връзки“ винаги се използва само 1 нишка, в този раздел можете да зададете само пауза между заявките (време на изчакване между заявките към сайта).
Например, за да анализирате контакт, е достатъчно да зададете 1 нишка и пауза между заявките от 1100 (посочени в ms, 1100 ms = 1,1 секунди). Но за да анализирате Avito, трябва да зададете 1 нишка и пауза между заявките от 10 000-12 000 (ако посочите пауза като диапазон, тогава времето за пауза ще бъде избрано произволно от посочения диапазон при анализиране на всеки документ). Забележка: Горните примери може да не са актуални (тъй като сайтовете понякога променят практиките си за антипарсинг).
Можете също да използвате списъка с прокси сървъри, за да скриете своя IP адрес при достъп до сайта. При изпълнение на всяка заявка се взема следващия прокси сървър от списъка (и така в кръг). Можете да настроите списъка с прокси в "меню" - "услуга" - "списък с прокси (ctrl + r)".
Забележка: Библиотеката Indy поддържа само HTTP прокси сървъри, библиотеката Clever Internet Suite поддържа всички видове прокси сървъри, а Internet Explorer (DOM) изобщо не поддържа прокси сървъри (можете да промените библиотеката на заявките в ctrl+h).
Когато използвате проксита, имайте предвид, че: — Те могат да бъдат много бавни — Проксита може вече да са в банята за повечетосайтове — Само SOCKS проксита са подходящи за анализиране на някои сериозни сайтове (например Google (HTTP прокситата се игнорират) — Прокситата могат да се провалят („умрат”) с течение на времето
PS: Програмата има функция за спиране на процеса на анализ на съдържанието в случай на забрана. Тази опция е активирана и конфигурирана в раздела "съдържание" - групата "анализ и обработка" - бутонът "автоматизиране на определени функции и т.н."
(оценки:4, среден резултат:4.50 )