一、先搞懂：电商爬虫的 3 大核心挑战（比普通爬虫更复杂的原因）
做电商爬虫前，必须先明确「为什么难」—— 淘宝、京东、拼多多的反爬体系是「多层级、动态化、行为导向」的，绝非简单的 UA 验证或 IP 封禁：
- 动态参数加密（最核心痛点）
三大平台的商品列表页 / 详情页接口，几乎都有「动态生成的签名参数」，且参数规则会定期更新：
-
- 淘宝：sign「tk_trace」参数，依赖 cookie 中的tb_token「cookie2」，且与请求时间戳、用户行为（如浏览轨迹）绑定；
-
- 京东：sign「venderId」参数，需逆向 JS 中的md5加密逻辑，且同一 IP 下频繁请求会导致 sign 失效；
-
- 拼多多：anti_content参数（俗称「防爬内容」），需模拟 APP 端的设备指纹（如imei「android_id」），PC 端几乎无法爬取详情页。
- 行为反爬（比参数更难对抗）
平台会通过「用户行为特征」识别爬虫，而非仅看请求头：
-
- 无浏览轨迹：直接请求商品详情页，未先访问首页→分类页→列表页，会被判定为「异常请求」；
-
- 请求频率刚性：同一 IP / 账号 1 秒内请求 > 5 次，或分页爬取时跳过中间页（如从第 1 页直接到第 10 页），会触发临时封禁；
-
- 设备指纹不一致：PC 端爬虫用固定 UA + 固定分辨率，或 APP 端爬虫未模拟真实设备的「传感器数据」（如加速度、陀螺仪），会被标记为「机器账号」。
- 数据动态性（爬取到的可能是「无效数据」）
电商商品数据有「实时性 + 地域性 + 账号相关性」：
-
- 价格：同一商品，不同地区（如北京 vs 上海）、不同账号（新用户 vs 老用户）、不同时段（大促 vs 日常）价格可能不同；
-
- 库存：秒杀商品库存每秒更新，爬取延迟 10 秒就可能导致数据失效；
