先说结论:scrapy-redis 本身不决定指纹。 它只接管调度器、去重和队列,TLS/HTTP2 指纹是 Scrapy 下载器(Twisted + pyOpenSSL + h2)发出的。所以要改的是下载层,scrapy-redis 部分基本不用动。
方案一:只调 Scrapy 原生参数(效果有限)
DOWNLOADER_CLIENT_TLS_CIPHERS = "ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:..." DOWNLOADER_CLIENT_TLS_METHOD = "TLSv1.2" 这只能改 cipher 列表,JA3 会变,但扩展顺序、GREASE、ALPS、签名算法等控制不了。HTTP/2 的 SETTINGS 帧、WINDOW_UPDATE、伪头顺序也写死在 h2 库里。结果是指纹"不像 Scrapy",但也不像任何真实浏览器,对 Akamai、Cloudflare 这类检测基本无效。
方案二:把下载器换成 curl_cffi(推荐)
curl_cffi 基于 curl-impersonate,能同时模拟浏览器的 TLS 指纹(JA3/JA4)和 HTTP/2 指纹(Akamai fingerprint)。最省事的是用 scrapy-impersonate:
# settings.py DOWNLOAD_HANDLERS = { "http": "scrapy_impersonate.ImpersonateDownloadHandler", "https": "scrapy_impersonate.ImpersonateDownloadHandler", } TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor" # scrapy-redis 配置照旧 SCHEDULER = "scrapy_redis.scheduler.Scheduler" DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 它靠 request.meta["impersonate"] 生效。RedisSpider 的请求是从 Redis 里的 URL 生成的,所以用一个下载中间件统一注入最方便:
class ImpersonateMiddleware: def process_request(self, request, spider): request.meta.setdefault("impersonate", "chrome") # 或具体版本如 chrome124 meta 里只是字符串,序列化进 Redis 队列没有问题。
方案三:自定义 JA3 / Akamai 指纹
如果要精确指定指纹而不是用预设浏览器,可以自己写中间件直接调 curl_cffi:
from curl_cffi.requests import AsyncSession from scrapy.http import HtmlResponse class CurlCffiMiddleware: def __init__(self): self.session = AsyncSession() async def process_request(self, request, spider): r = await self.session.request( request.method, request.url, headers=request.headers.to_unicode_dict(), data=request.body or None, proxy=request.meta.get("proxy"), ja3="771,4865-4866-4867-...,0-23-65281-...,29-23-24,0", akamai="1:65536;2:0;4:6291456;6:262144|15663105|0|m,a,s,p", ) headers = {k: v for k, v in r.headers.items() if k.lower() not in ("content-encoding", "content-length")} return HtmlResponse(request.url, status=r.status_code, headers=headers, body=r.content, request=request) Akamai 字符串的四段分别是:SETTINGS 帧 | WINDOW_UPDATE 值 | PRIORITY 帧 | 伪头顺序(Chrome 是 m,a,s,p,Firefox 是 m,p,a,s)。响应体已被 curl 解压,所以要去掉 content-encoding 头,否则 Scrapy 会二次解压报错。
容易踩的坑
- UA 与指纹要一致:模拟 Chrome 的 TLS 却带 Scrapy 默认 UA,会直接暴露。要么把
USER_AGENT和DEFAULT_REQUEST_HEADERS清掉让 curl_cffi 用自带的浏览器头,要么手动设成与模拟版本匹配的整套头(含sec-ch-ua等)。 - 请求头顺序:Scrapy 的 Headers 会改大小写和顺序,而头顺序也是检测项,这是优先用 curl_cffi 默认头的另一个原因。
- 并发设置:下载器换掉后,Scrapy 的
CONCURRENT_REQUESTS仍然生效,但连接复用由 curl 管理。 - 版本:预设的浏览器版本名随 curl_cffi 版本变化,以你安装版本的文档为准。
验证
让爬虫请求 https://tls.peet.ws/api/all 或 https://tls.browserleaks.com/json,把返回的 ja3、ja4、akamai_hash 与真实浏览器访问的结果对比,一致才算改造成功。
如果目标站还有 JS 挑战或行为检测,光改指纹不够,需要上 scrapy-playwright 这类真实浏览器方案。