Парсинг Wildberries и Ozon: почему IPv4-прокси режут, а IPv6 живут дольше

Маркетплейсы закручивают гайки. Каждый месяц алгоритмы антифрода становятся агрессивнее. Парсеры, которые вчера работали на пуле IPv4-адресов, сегодня получают капчу с вероятностью 80%. При этом IPv6-прокси продолжают молотить без остановки. Разберём, почему так происходит и как это использовать.

Анатомия блокировок: как Wildberries вычисляет ботов

Wildberries использует связку из трёх систем: анализа поведения, проверки TLS-отпечатков и скоринга IP-адресов. Последняя — самая болезненная для парсеров. Каждый IPv4-адрес получает репутационный балл. Если с адреса приходит 50+ запросов в минуту с одинаковыми заголовками — балл падает мгновенно.

С IPv6 всё иначе. Диапазон 2a00:xxx:xxx::/48 содержит 1.2 триллиона адресов. Даже агрессивный скоринг не успевает пометить все. Пока система банит один адрес, парсер уже работает с другим из той же подсети.

Почему IPv4-прокси умирают быстро

Провайдеры IPv4-прокси выдают адреса из ограниченного пула. У крупных сервисов вроде Bright Data или Proxy6 — десятки тысяч адресов. Но маркетплейсы ведут базы "грязных" подсетей. Если вы арендуете адрес, который ранее использовался для спама — получите бан при первом же запросе.

Пример: пул из 500 IPv4-адресов. Первые 3 часа работы парсер собирает 40 000 товаров. Потом Wildberries помечает 60% пула как "подозрительные". Скорость падает в 4 раза. Через сутки вы получаете 403-е ошибки на 90% запросов.

Технические особенности IPv6 для парсинга

IPv6-адрес состоит из 128 бит. Провайдер выдаёт подсеть /64, в которой 18 квинтиллионов адресов. Для парсинга это означает: каждый запрос — с нового адреса. Буквально. Вы можете генерировать случайный суффикс для каждого HTTP-запроса.

Ключевой момент — префикс. Маркетплейсы смотрят на первые 64 бита. Если подсеть чистая — доверие высокое. Если в подсети уже были баны — проблемы. Поэтому важно выбирать прокси с чистыми /64 подсетями.

```python

import random

import requests

def get_ipv6_proxy():

prefix = "2a00:1370:8120:4a00"

suffix = f"{random.randint(0, 0xFFFF):x}:{random.randint(0, 0xFFFF):x}:{random.randint(0, 0xFFFF):x}:{random.randint(0, 0xFFFF):x}"

return f"[{prefix}:{suffix}]"

proxy = get_ipv6_proxy()

response = requests.get(

"https://www.wildberries.ru/catalog/0/search.aspx?search=iphone",

proxies={"https": f"http://user:pass@{proxy}:8080"},

headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"}

)

```

Как Ozon отличает людей от скриптов

Ozon построил систему, которая анализирует не только IP, но и поведение. Скрипт, который ходит по страницам с интервалом 0.5 секунды, вычисляется за 10 запросов. Здесь IPv6 не спасает от поведенческого анализа, но даёт фору по IP-репутации.

Ozon использует графовые алгоритмы. Они строят связи между адресами, cookie и fingerprint браузера. Если 100 запросов приходят с разных IPv6-адресов, но с одинаковым TLS-отпечатком — система помечает кластер. Решение — ротация User-Agent и заголовков вместе с адресами.

Настройка ротации: практические схемы

Простая схема — менять адрес на каждый запрос. Для этого нужен пул IPv6-прокси с поддержкой random-режима. У lexic.ml такая опция есть — вы получаете подсеть и меняете суффикс на клиенте.

```bash

curl -x "http://user:pass@2a00:1370:8120:4a00::1:8080" \

-H "User-Agent: Mozilla/5.0" \

"https://www.ozon.ru/product/123456"

```

Более продвинутый вариант — менять адрес каждые 30-60 секунд. Это снижает нагрузку на TCP-соединения и уменьшает шанс срабатывания антифрода. При таком подходе с одного адреса уходит 20-40 запросов — приемлемо для большинства алгоритмов.

Разбор кейса: парсинг карточек Wildberries

Проблема: нужно собрать 200 000 карточек товаров с фильтрами по категориям. IPv4-пул из 300 адресов умирает через 2 часа. Причина — баны по IP-репутации и частые капчи.

Решение: переходим на IPv6-подсеть /64 с ротацией на каждый запрос. Парсер работает 8 часов без единой капчи. Скорость — 15 запросов в секунду. Через 4 часа Wildberries начинает отдавать "пустые" ответы — сервер возвращает HTML без данных. Это не бан, а троттлинг. Решение — добавить случайные задержки 1-3 секунды.

Разбор кейса: мониторинг цен Ozon

Проблема: нужно проверять цены 5 000 товаров каждые 10 минут. С IPv4-прокси Ozon банит после 2-3 циклов. Причина — однотипные запросы с одного адреса.

Решение: IPv6-ротация на каждый запрос + рандомизация заголовков. Дополнительно — кэширование ответов на 5 минут. Итог: 3 недели работы без блокировок. Ozon иногда показывает капчу, но только при запросах с одинаковым Accept-Language.

Разбор кейса: сбор отзывов с обеих площадок

Проблема: нужно собрать 50 000 отзывов. С IPv4-прокси получаем бан через 30 минут. Причина — высокая частота запросов к страницам отзывов.

Решение: комбинируем IPv6-прокси с очередью запросов. Ставим задержку 2-5 секунд между запросами к одному товару. Используем разные суффиксы адресов для разных товаров. Результат: 50 000 отзывов за 3 дня без блокировок.

Таблица сравнения: IPv4 vs IPv6 для парсинга

| Параметр | IPv4 | IPv6 |

|----------|------|------|

| Цена за 1 ГБ трафика | 10-15 рублей | 3-5 рублей |

| Количество адресов в пуле | 100-500 | 1 000 000+ |

| Среднее время жизни адреса | 2-6 часов | 2-7 дней |

| Скорость блокировки | Высокая | Низкая |

| Совместимость с API | Полная | Частичная |

Подводные камни IPv6

Не всё гладко. Некоторые API-эндпоинты Wildberries и Ozon не поддерживают IPv6. Запросы к api.wildberries.ru с IPv6-адреса могут возвращать ошибку соединения. Решение — использовать IPv4 для API и IPv6 для парсинга HTML-страниц.

Второй нюанс — DNS. Если ваш DNS-резолвер не поддерживает AAAA-записи, вы не сможете работать с IPv6-прокси. Проверяйте настройки сети. Для теста:

```bash

curl -6 https://www.google.com

```

Если ошибка — нужно настроить IPv6 на сервере.

Как выбрать IPv6-прокси для парсинга

Критерии выбора: чистота подсети, скорость, стабильность. У lexic.ml есть тестовый период — можно проверить подсеть на "чистоту" перед покупкой. Запросы к Wildberries с тестовой подсети покажут, есть ли баны.

Обратите внимание на формат выдачи адресов. Некоторые провайдеры дают один адрес из /64, а не всю подсеть. Для ротации нужна именно подсеть. Иначе вы получите один IPv6-адрес, который забанят так же быстро, как IPv4.

Экономика: сколько стоит парсинг на IPv6

Считаем. IPv4-прокси: 500 адресов за 5 000 рублей в месяц. Хватает на 10-15 часов интенсивного парсинга. Дальше — покупка нового пула. Итого 15 000-20 000 рублей в месяц на стабильную работу.

IPv6-прокси: одна подсеть /64 за 1 000 рублей. Хватает на месяц непрерывной работы. Плюс ротация адресов — бесплатно. Итого 1 000-3 000 рублей. Разница в 5-10 раз при одинаковом объёме данных.

Финальные рекомендации

Для парсинга Wildberries и Ozon IPv6-прокси — рабочий инструмент. Главное — правильно настроить ротацию и не игнорировать поведенческий анализ. Меняйте заголовки, добавляйте задержки, кэшируйте ответы. Тогда парсер будет работать неделями без сбоев.

Начните с тестовой подсети. Проверьте, как маркетплейсы реагируют на ваши запросы. Если капча не появляется в течение 2-3 часов — можно масштабироваться. Если появляется — меняйте конфигурацию. Опытным путём вы найдёте оптимальные настройки для каждой площадки.