Глоссарий
Определения простым языком для терминов, которые встречаются при работе с резидентными прокси и прокси дата-центров, — от ротации и закреплённых сессий до SOCKS5 и репутации IP.
Обновлено:
Антибот-защита — набор методов, с помощью которых сайты отличают автоматизированный трафик от живых посетителей: проверка репутации IP, анализ отпечатков TLS и браузера, проверки на JavaScript, поведенческий анализ и капчи. Резидентные прокси закрывают уровень обнаружения, связанный с IP, но для надёжной автоматизации также нужны реалистичные отпечатки браузера и характер запросов, чтобы пройти остальные уровни.
Геотаргетинг — выбор IP-адресов прокси из определённой страны, города или региона, чтобы сайты показывали тот же контент, что видят местные пользователи. Результаты поиска, цены, размещение рекламы и наличие товаров зависят от местоположения посетителя, поэтому точный геотаргетинг необходим для SEO-мониторинга, проверки рекламы и исследования рынка. Точность варьируется от уровня страны до города, почтового индекса или конкретного интернет-провайдера.
Мониторинг поисковой выдачи (SERP) — автоматическое отслеживание страниц результатов поисковых систем по выбранным ключевым словам в разных локациях и на разных устройствах. Поисковая выдача сильно локализована, поэтому для точного отслеживания позиций запросы нужно отправлять с IP внутри каждого целевого рынка. Инструменты используют ротируемые резидентные прокси, чтобы собирать результаты в больших масштабах, не вызывая капчи, которые поисковые системы показывают подозрительному трафику.
Парсинг сайтов — автоматизированное извлечение общедоступных данных с сайтов для мониторинга цен, исследования рынка, SEO-мониторинга и подготовки наборов данных для машинного обучения. Сайты ограничивают частоту и блокируют повторяющийся автоматизированный доступ с одного адреса, поэтому масштабный парсинг зависит от прокси, распределяющих запросы по множеству IP, и от парсеров, устойчивых к изменениям структуры страниц.
Проверка рекламы — контроль того, что цифровая реклама действительно показывается так, как было оплачено: с правильным размещением, географией, креативом и целевой страницей, — и не появляется рядом с мошенническим или небезопасным для бренда контентом. Для таких проверок используют резидентные прокси на каждом целевом рынке, потому что рекламные серверы показывают разные кампании в разных местах и часто скрывают проблемы от трафика из дата-центров.
Прокси дата-центра направляет трафик через IP-адрес, принадлежащий облачному или хостинг-провайдеру, а не интернет-провайдеру для частных абонентов. Прокси дата-центров быстрее и дешевле резидентных, потому что работают на серверной инфраструктуре, но их диапазоны IP публично опознаются как нерезидентные, поэтому продвинутые сайты блокируют их охотнее. Они подходят для задач с большим объёмом запросов к сайтам со слабой защитой от ботов.
Прокси с безлимитным трафиком — это план, в котором вы платите фиксированную цену за неограниченную передачу данных на заданной скорости, а не за каждый гигабайт. Расходы остаются предсказуемыми независимо от того, сколько трафика создаёт нагрузка, поэтому такой план подходит для непрерывного парсинга, проверки потокового контента и других задач с большим объёмом трафика. Компромисс — ограничение пропускной способности, выраженное в скорости подключения, а не в объёме данных.
Прокси IPv4 использует адрес из исходного 32-битного адресного пространства интернет-протокола, в котором около 4,3 млрд адресов. Пространство IPv4 исчерпано и поддерживается повсеместно, поэтому прокси IPv4 работают с любым сайтом, но стоят дороже IPv6. Практически все интернет-провайдеры для частных абонентов по-прежнему выдают адреса IPv4, поэтому резидентные прокси IPv4 остаются самым совместимым и самым востребованным типом прокси.
Прокси IPv6 использует адрес из 128-битного адресного пространства интернет-протокола версии 6, которое практически не ограничено. Прокси IPv6 заметно дешевле в пересчёте на IP и доступны в огромных объёмах, но не каждый сайт доступен по IPv6, поэтому они подходят для целевых сайтов, которые его поддерживают. Лучше всего они показывают себя в задачах с большим объёмом запросов, где главное — стоимость одного IP.
Пул прокси — это набор IP-адресов, через которые провайдер может направлять трафик. Больший заявленный пул может дать больше потенциального разнообразия внешних IP, но не гарантирует, что для целевого сайта найдётся уникальный или принятый им адрес. Наряду с заявленным размером оценивайте реально доступную географию, происхождение адресов, повторы внешних IP, репутацию и результаты на целевых сайтах.
Резидентный прокси направляет ваш интернет-трафик через IP-адрес, который интернет-провайдер (ISP) выдал реальному домашнему устройству частного абонента. Сайты видят настоящее домашнее подключение, а не сервер, поэтому антибот-системы гораздо реже блокируют резидентные прокси или отправляют их на дополнительную проверку, чем IP дата-центров. Это стандартный выбор для парсинга сайтов, проверки рекламы и любых задач, трафик которых должен выглядеть как обычный пользовательский.
Репутация IP — оценка, которую сайты, антифрод-системы и списки блокировки присваивают IP-адресу на основе его наблюдаемой истории: спама, злоупотреблений, активности ботов или принадлежности к диапазонам дата-центров. IP с низкой репутацией сталкиваются с капчами, замедлением или прямыми блокировками, каким бы легитимным ни был текущий запрос. Качество прокси во многом сводится к тому, насколько чиста репутация пула и как её поддерживают.
Ротация IP — это смена внешнего адреса, через который идёт трафик, или запрос на такую смену. Провайдеры могут менять адрес при каждом запросе, при каждом подключении, по таймеру или по явному параметру. Ротация позволяет распределять запросы по доступным внешним IP, но адреса могут повторяться, а сама ротация не сбрасывает файлы cookie, не гарантирует анонимность, не защищает от лимитов на частоту запросов и не обеспечивает принятие запросов целевым сайтом.
Ротируемый прокси меняет внешний IP или запрашивает его смену по принятой у провайдера модели ротации: при каждом запросе, при каждом подключении, по таймеру или по явной команде. Ротация может увеличить разнообразие внешних IP, но адрес может повториться, а принятие запроса целевым сайтом не гарантируется. В резидентных IPv4 от TrueProxies обычная и явная ротация доступны через описанные в документации формы логина, а не через параметр ротации по времени.
Статический прокси рассчитан на более долгое выделение IP, но срок его жизни и правила замены всё равно зависят от провайдера и продукта; по своей природе он не является постоянным. Закреплённая сессия, напротив, просит ротируемый пул повторно использовать один выданный внешний IP, пока он доступен. Повторное использование одного идентификатора сессии может помочь при разрешённом входе в аккаунт, работе с корзиной или многошаговом сценарии, но не обещает постоянного адреса или фиксированной длительности и само по себе не сохраняет состояние приложения.
Таргетинг по ASN — выбор IP-адресов прокси из определённой автономной системы, обозначенной номером ASN, то есть регистрационным идентификатором сетевого оператора, например интернет-провайдера или оператора связи. Таргетинг по ASN позволяет направлять трафик через сеть конкретного провайдера — это полезно, когда сайт по-разному обрабатывает трафик от разных интернет-провайдеров или когда нужно воспроизвести точные сетевые условия определённого сегмента клиентов.
Тарификация по трафику — это оплата объёма данных, переданных через прокси, обычно за каждый гигабайт, независимо от того, сколько IP или запросов вы используете. Планы с оплатой за GB подходят для небольших и нечастых нагрузок. При нагрузках с большим объёмом данных — медиафайлы, полный рендеринг страниц или непрерывный парсинг — расходы растут линейно вместе с трафиком, и именно тогда выгоднее становятся планы с безлимитным трафиком.
HTTP-прокси пересылает веб-трафик и понимает протокол HTTP, поэтому может добавлять заголовки, кэшировать ответы или фильтровать запросы. Для зашифрованного трафика клиент отправляет запрос HTTP CONNECT, и прокси открывает к целевому серверу «слепой» туннель, поэтому содержимое HTTPS остаётся под сквозным шифрованием. HTTP-прокси — самый простой вариант для браузеров и библиотек для парсинга, которые поддерживают их из коробки.
SOCKS5 — прокси-протокол транспортного уровня, который пересылает любой трафик TCP (а при необходимости и UDP), не интерпретируя его, — в отличие от HTTP-прокси, которые понимают именно веб-запросы. SOCKS5 не зависит от протокола приложения, поэтому подходит для любых программ — браузеров, парсеров, игр или собственного ПО. Он поддерживает аутентификацию, и обычно его выбирают, когда через прокси нужно туннелировать трафик, отличный от HTTP.