К основному контенту

Как правильно парсить гугл выдачу

Возникает много вопросов, при парсинге гугла. Из основных можно выделить:
1. Очень требователен к запросам inurl, site, intext и т.д.
2. Выброс капчи
3. Бан(типа ваши запросы автоматические)

Решение
Задержка на 60 сек между запросами с одного ипа решает эти проблемы
ВАЖНО ip адреса не должны быть из одного пула, иначе все херятся

Из одного запроса на урл
http://www.google.com/searchpws=0&sa...&as_qdr=all&q=
получаем 100 ссылок.

IP адреса можно добывать на бесплатных php хостингах, Cloud IDEs For Web Developers

Нужно всего лишь залить прокси скрипт
Ярлыки:

Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Как найти скрытые файлы на iPhone

1. Откройте папку абсолютно любую на вашем компьютере, затем нажмите вкладку «Вид», отметьте «Скрытые элементы» в разделе «Показать/скрыть», чтобы включить отображение скрытой информации.
Отправить комментарий
Далее...

Как сделать из брюнетки блондинку в Фотошоп CS6

Изменение цвета волос в Фотошоп – одна из самых востребованных операций при редактировании снимков людей. Есть несколько стандартных способов, например: добавление нового слоя с цветом, использование кисти с определенным режимом наложения и другие. Но эти способы малоэффективны, если нужно сделать темную шевелюру светлой. Сейчас вы узнаете, как сделать блондинку в Фотошопе из брюнетки.
Отправить комментарий
Далее...

Нормализация пути http ссылки php. Относительный путь в абсолютный. Парсинг ссылок

/** * Created by PhpStorm. * User: x3m-bymer * Date: 13.12.2015 * Time: 13:17 */ Class Links{ /* * Извлечение ссылок из кода html */ function getLinks($html){ //Create a new DOM document $dom = new DOMDocument; @$dom->loadHTML($html); //Get all links. You could also use any other tag name here, //like 'img' or 'table', to extract other tags. $links = $dom->getElementsByTagName('a'); //Iterate over the extracted links and display their URLs $res = array(); foreach ($links as $link){ $link = $link->getAttribute('href'); if(!$link){ continue; } array_push($res, $link); } return $res; } function http_host($url){ $res = parse_url($url); if(empty($res['host'])){ return false; } return $res['host']; ...
Отправить комментарий
Далее...