Yandex через IPv6 прокси: парсинг выдачи, Карт и Маркета

Почему Яндекс и IPv6 — это отдельная история

Яндекс — не Google. У него своя антибот-система, свои капчи, свои приоритеты по ASN. И IPv6 здесь работает иначе, чем в случае с западными поисковиками. Если Google спокойно отдаёт выдачу на IPv6-адреса из датацентров, то Яндекс часто режет такие запросы ещё на этапе TLS-хендшейка или подсовывает капчу «подтвердите, что вы не робот» уже на втором-третьем запросе.

Причина простая: у Яндекса накоплена статистика по /64-подсетям хостинг-провайдеров. Он видит, что с этого префикса идут тысячи запросов в минуту, и делает выводы. Классические IPv4-прокси с ротацией уже не спасают — пулы выжжены, а residential дорогой. IPv6 даёт то, что IPv4 дать не может: огромное адресное пространство внутри одной /64, где каждый адрес выглядит как отдельный клиент.

Но есть нюанс. Яндекс балансирует нагрузку через свои Anycast-префиксы, и не все IPv6-адреса попадают на один и тот же фронтенд. Это значит, что поведение выдачи может отличаться в зависимости от того, какой PoP вас принял.

Что именно нужно парсить

Три основные цели: поисковая выдача (serp), Яндекс.Карты и Яндекс.Маркет. У каждой — свои эндпоинты, свои форматы, свои защиты.

Выдача — это HTML с вкраплениями JSON в `