Amazon через IPv6 прокси: мониторинг цен и парсинг отзывов
Содержание
Почему Amazon и IPv6
Amazon — это не один сайт. Это сотни поддоменов, региональных зеркал и API-эндпоинтов, раскиданных по дата-центрам AWS. Когда парсишь цены на amazon.de из Берлина, ты идёшь по короткому маршруту. Когда парсишь тот же amazon.de из Новосибирска — пакет пересекает полмира и упирается в антибот-систему, которая давно знает твой /24.
IPv6 меняет расклад. У тебя не один адрес, а /64 — это 18 квинтиллионов адресов. Каждый запрос может уйти с нового адреса. Amazon это видит, но не может забанить подсеть целиком: слишком много честных пользователей сидит на той же /64 у крупных провайдеров. Плюс IPv6-маршрутизация короче, меньше NAT-петель, меньше задержка на handshake.
Есть и обратная сторона. Amazon активно мониторит IPv6-диапазоны дата-центров. Если твой /64 принадлежит хостингу, а не residential-провайдеру, ты спалишься на первом же запросе. Нужны адреса, которые выглядят как обычные клиентские.
Что именно парсить
Цены — самая очевидная цель. Но Amazon отдаёт их в трёх разных местах: на странице товара, в JSON внутри `