Первую часть статьи читайте здесь.

До сих пор мы еще никак не касались вопросов обработки cookies и использования прокси в условиях многопоточности запросов. Пора исправить эту оплошность и уделить внимание этим вопросам, имеющим большое практическое значение при разработке парсеров.

В качестве примера будем рассматривать все ту же задачу парсинга сообщений и комментариев. Пойдем дальше по пути ее усложнения. Предположим, что запрос блока комментариев к сообщению не может быть сделан без предварительного чтения этого сообщения. Технически это ограничение выражается в том, что при запросе блока комментариев сервер требует от клиента наличия специфичных cookies, устанавливаемых при чтении соответствующего сообщения. Применительно к нашей задаче это означает необходимость эмуляции обработки cookies, причем эта эмуляция должна осуществляться раздельно для каждой пары запросов «сообщение — комментарии».

В cURL эмуляция обработки cookies не представляет особой сложности. Достаточно присвоить опциям CURLOPT_COOKIEFILE и CURLOPT_COOKIEJAR имя файла для хранения cookies, и всю работу по обработке cookies возьмет на себя cURL. Но это касается только линейной схемы запросов, когда все запросы выполняются последовательно и в одном потоке. Многопоточная схема запросов в этом плане имеет свои особенности. В этом случае может быть два варианта:

1. все запросы равны между собой, так что порядок их выполнения не имеет значения.
2. все запросы разбиваются на цепочки последовательных запросов, каждая из которых выполняется в строго заданном порядке.

Автоматическая обработка cookies имеет смысл только во втором случае, к которому относится и наша задача. При этом процедура настройки cURL для обработки cookies в данном случае имеет некоторые отличия от стандартной схемы. Суть отличий состоит в том, что каждой цепочке запросов должен соответствовать свой индивидуальный файл для хранения cookies.

Применим автоматическую обработку cookies к нашей задаче. Нам нужно для каждой пары запросов «сообщение — комментарии» отдельно устанавливать опции CURLOPT_COOKIEFILE / CURLOPT_COOKIEJAR, присваивая им имя (+путь) индивидуального файла, где будут храниться cookies в рамках данной пары запросов. Для задания имени индивидуального файла нам придется использовать какое-нибудь уникальное значение (идентификатор), однозначно определяющее соответствующую пару запросов. При этом мы должны иметь доступ к этому значению из обоих запросов, составляющих пару. Это значит, что нам опять потребуется связь между запросами из одной пары. В первой части статьи мы уже установили такую связь, используя для этого номер основного запроса. Его же мы можем использовать и в рассматриваемой задаче в качестве идентификатора для каждой пары запросов.

Итак, мы выяснили как решить проблему эмуляции обработки cookies. Но это еще не все, что можно сделать в плане эмуляции. «Хороший» парсер должен уметь «прикидываться» обычным посетителем/пользователем сайта или хотя бы делать все возможное, чтобы избежать подозрений. В нашем случае есть одно обстоятельство, которое может «выдать» наш парсер. Речь конечно же идет об IP-адресах, которые являются основным объектом при анализе статистики обращений к сайту. В текущей реализации все запросы нашего парсера будут идти от одного и того же IP-адреса. С учетом использования многопоточной схемы запросов это неизбежно приводит к ситуации, когда запросы из разных пар выполняются одновременно. Естественно, с точки зрения сервера такая ситуация выглядит подозрительной: обычный посетитель не может одновременно читать несколько сообщений (да еще и впридачу комментарии к ним). Понятно, что это может быть только бот.

Для того, чтобы избежать таких подозрений, необходимо использовать разные IP для запросов в пределах одного буфера выполнения, т.е. для всех запросов, которые могут выполняться одновременно. В многопоточной схеме запросов наибольшее число запросов, которые могут выполняться одновременно, определяется количеством потоков. Выполнение запросов от разных IP-адресов осуществляется с помощью прокси-серверов. Раскрытие темы прокси и принципов работы с ними выходит за рамки данной статьи. Здесь мы коснемся только основных моментов, имеющих прямое отношение к нашей задаче.

Предположим, что у нас есть список HTTP прокси, которые мы хотим использовать в нашем парсере. Для задействования прокси в cURL-запросах служит опция CURLOPT_PROXY, которая принимает в качестве значения IP-адрес и порт прокси-сервера. Применительно к нашей задаче, для каждого запроса в пределах одного буфера выполнения мы должны использовать свой уникальный прокси-сервер. Это означает, что размер буфера выполнения (количество потоков) не должен превышать количество прокси-серверов. Кроме того, из условий задачи следует, что каждый запрос комментариев должен использовать тот же прокси, который использовался в соответствующем запросе сообщения. Другими словами, при запросе сообщения мы должны запоминать используемый в нем прокси с тем, чтобы потом использовать этот прокси в производном запросе комментариев.

Теперь у нас есть все необходимое для реализации требуемого парсера. Очевидно, что это потребует большего, чем прежде, числа используемых данных. Поэтому было бы не лишним перейти к ООП-стилю.

С учетом всего перечисленного исходный код реализации требуемого парсера будет иметь следующий вид:

class Scraper
{

const N_THREADS = 10;
const N_MAXLOOPS = 3;
const FILE_COOKIE = 'cookie-%03d.txt';

static protected $A_CURL_OPTS = array(
    CURLOPT_NOBODY => 0,
    CURLOPT_RETURNTRANSFER => 1,
    CURLOPT_SSL_VERIFYPEER => 0,
    CURLOPT_SSL_VERIFYHOST => 0,
    CURLOPT_FOLLOWLOCATION => true,
    CURLOPT_AUTOREFERER => true,
    CURLOPT_MAXREDIRS => 3,
    CURLOPT_USERAGENT => 'Mozilla/5.0 Gecko/20100101 Firefox/12.0',
    CURLOPT_TIMEOUT => 20,
    CURLOPT_CONNECTTIMEOUT => 15,
    CURLINFO_HEADER_OUT => true,
);

/**
 * @var array - исходный список URL'ов страниц сообщений
 */
static protected $A_URLS = array(
    'http://example.com/page/1/',
    'http://example.com/page/4/',
    'http://example.com/page/5/',
);

/**
 * @var array - исходный список прокси (здесь они намеренно невалидные)
 */
static protected $A_PROXIES = array(
    '500.500.500.1:80',
    '500.500.500.2:80',
    '500.500.500.3:80',
);

/**
 * @var object - объект класса RollingCurlMini
 */
protected $oMc = 0;

/**
 * @var string - шаблон имени индивидуального файла cookies
 */
protected $sCookieFile = '';

/**
 * @var array - массив для хранения спарсенных данных
 */
protected $aData = array();

/**
 * @var array - массив используемых прокси
 */
protected $aProxies = array();


public function __construct() {
    $this->sCookieFile = dirname(__FILE__). '/'. self::FILE_COOKIE;
}

/**
 * Процесс парсинга
 * @param int $nThreads - кол-во потоков
 */
public function run($nThreads = 0) {
    $this->initData();
    if (!$this->aData) return;
    $this->initProxies();
    $nThreads = min(
        $nThreads? $nThreads : self::N_THREADS,
        count($this->aProxies)
    );
    $this->oMc = new RollingCurlMini($nThreads);
    $this->oMc->setOptions(self::$A_CURL_OPTS);
    for ($l = 0; $l < N_MAXLOOPS && count($this->aData); $l++) {
        foreach ($this->aData as $id => $a_item) {
            $this->oMc->add(
                $url, 0, array($this, 'handleMsg'), $id,
                $this->buildItemOptions($id, $a_item['url'], true)
            );
        }
        $this->oMc->execute();
    }
}

/**
 * Инициализация свойства aData
 */
protected function initData() {
    $this->aData = array();
    foreach (self::$A_URLS as $id => $url)
        $this->aData[$id] = array('url' => $url);
}

/**
 * Инициализация свойства aProxies
 */
protected function initProxies() {
    $this->aProxies = self::$A_PROXIES;
}

/**
 * Колбек для обработки ответа от запроса страницы сообщения
 * @param string $content - содержимое ответа
 * @param string $url - URL запроса
 * @param array $aInfo - информация о запросе
 * @param int $id - номер страницы сообщения
 */
public function handleMsg($content, $url, $aInfo, $id) {
    if (!isset($this->aData[$id])) return;
    if (!$content) {
        $this->excludeItemProxy($id);
        return;
    }
    $msg = $this->parseMsg($content);
    if (!$msg) return;
    $this->aData[$id]['msg'] = $msg;
    $url_xtra = $this->parseXtraUrl($content);
    if (!$url_xtra) return;
    $this->oMc->add(
        $url_xtra, 0, array($this, 'handleXtra'), $id,
        $this->buildItemOptions($id, $url)
    );
}

/**
 * Парсинг страницы сообщения
 * @param int $id - номер страницы сообщения
 * @param string $content - содержимое страницы сообщения
 */
protected function parseMsg($id, $content) {
    // парсим сообщение из содержимого страницы
    // и записываем результат в переменную $result
    // ...
    return $result;
}

/**
 * Парсинг URL запроса комментариев
 * @param string $content - содержимое страницы сообщения
 */
protected function parseXtraUrl($content) {
    // парсим URL запроса комментариев из содержимого страницы
    // и записываем результат в переменную $result
    // ...
    return $result;
}

/**
 * Колбек для обработки ответа от запроса комментариев
 * @param string $content
 * @param string $url
 * @param array $aInfo
 * @param int $id - номер соотв-щей страницы сообщения
 */
public function handleXtra($content, $url, $aInfo, $id) {
    if (!isset($this->aData[$id])) return;
    if (!$content) return;
    $r_item = &$this->aData[$id];
    $this->addDataRow($r_item['url'], $r_item['msg'], $content);
    unset($this->aData[$id]);
}

/** Сохранение строки данных
 * @param string $url
 * @param string $msg
 * @param string $xtra
 */
function addDataRow($url, $msg, $xtra) {
    // сохраняем полученные данные (URL, сообщение и комменты)
    // как строку данных в БД или в файле
    // ...
}

/**
 * Составление cURL-опций для запроса из заданной пары запросов
 * @param int $id - номер страницы сообщения, соотв-щей заданной паре
 * @param string $url - URL запроса
 * @param bool $b1st - является ли данный запрос первым в своей паре
 * @return array - массив cURL-опций
 */
protected function buildItemOptions($id, $url, $b1st = false) {
    if (!isset($this->aData[$id])) return false;
    $r_item = &$this->aData[$id];
    $s_cookie = sprintf($this->sCookieFile, $id);
    if ($b1st && file_exists($s_cookie)) unlink($s_cookie);
    $a_opts = array(
        CURLOPT_COOKIEFILE => $s_cookie, CURLOPT_COOKIEJAR => $s_cookie
    );
    if ($n = count($this->aProxies)) {
        if ($b1st)
            $r_item['i_proxy'] = mt_rand(0, $n- 1);
        $a_opts[CURLOPT_PROXY] = $this->aProxies[$r_item['i_proxy']];
    }
    if ($r_item['url_prev'])
        $a_opts[CURLOPT_REFERER] = $r_item['url_prev'];
    $r_item['url_prev'] = $url;
    return $a_opts;
}

/**
 * Исключение прокси, использованного в заданной паре запросов, 
 * из списка прокси
 * @param int $id - номер страницы сообщения, соотв-щей заданной паре
 */
protected function excludeItemProxy($id) {
    if (!isset($this->aData[$id]) || !$this->aData[$id]['i_proxy'])
        return;
    $i = $this->aData[$id]['i_proxy'];
    if (!isset($this->aProxies[$i]))
        return;
    unset($this->aProxies[$i]);
    $this->aProxies = array_values($this->aProxies);
}

}

$o_scraper = new Scraper();
$o_scraper->run();

На этом все. Спасибо за внимание.