改造 Scrapy 的 TLS 与 HTTP/2 指纹,核心思路是替换默认的下载器处理器(Download Handler)。因为 Scrapy 原生的 Twisted 栈生成的指纹与真实浏览器差异显著,社区主流方案是接入 curl_cffi、rnet 等底层库,由它们负责完成浏览器级别的 TLS 握手和 HTTP/2 帧构造。
🚀 主流方案:使用专用插件替换 Download Handler
这是最推荐的方式,通常只需修改配置和请求元数据(meta)即可,对业务代码的侵入性最小。
方案一:scrapy-impersonate(基于 curl_cffi,成熟度高)
scrapy-impersonate 是目前最流行的选择之一,它包装了 curl_cffi,能模拟浏览器的 TLS 签名(JA3)以及 HTTP/2 指纹。
安装:
pip install scrapy-impersonate 配置 settings.py:
# 必须切换为 asyncio reactor TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor" # 替换默认的下载处理器 DOWNLOAD_HANDLERS = { "http": "scrapy_impersonate.ImpersonateDownloadHandler", "https": "scrapy_impersonate.ImpersonateDownloadHandler", } # 让 curl_cffi 根据模拟的浏览器自动设置 User-Agent USER_AGENT = None # 可选:启用随机浏览器中间件,让每个请求随机使用一种浏览器指纹 DOWNLOADER_MIDDLEWARES = { "scrapy_impersonate.RandomBrowserMiddleware": 1000, } 在请求中指定指纹:
通过 meta 中的 impersonate 键,可以为单个请求指定要模拟的浏览器。如果不指定,则会使用库的默认值。
import scrapy class MySpider(scrapy.Spider): name = "fingerprint_spider" def start_requests(self): for browser in ["chrome133a", "firefox133", "safari17_0"]: yield scrapy.Request( "https://tls.browserleaks.com/json", meta={"impersonate": browser}, dont_filter=True, ) def parse(self, response): data = response.json() self.logger.info(f"JA3: {data.get('ja3_hash')}") 支持的浏览器标识包括 chrome110、chrome133a、edge99、safari15_5、firefox133 等。
方案二:scrapy-curl-cffi(更底层的直接控制)
scrapy-curl-cffi 是另一个基于 curl_cffi 的选项,它的特点是允许通过 curl_cffi_options 传递更精细的底层参数。
安装:
pip install scrapy-curl-cffi 配置 settings.py:
DOWNLOAD_HANDLERS = { "http": "scrapy_curl_cffi.handlers.CurlCffiDownloadHandler", "https": "scrapy_curl_cffi.handlers.CurlCffiDownloadHandler", } DOWNLOADER_MIDDLEWARES = { "scrapy_curl_cffi.middlewares.CurlCffiMiddleware": 200, "scrapy_curl_cffi.middlewares.DefaultHeadersMiddleware": 400, "scrapy_curl_cffi.middlewares.UserAgentMiddleware": 500, # 禁用 Scrapy 原生的对应中间件 "scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware": None, "scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": None, } TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor" 使用方式:将参数放在 Request.meta["curl_cffi_options"] 中。除了 impersonate,还可以直接指定 JA3 字符串、Akamai 指纹或额外的指纹选项。
yield scrapy.Request( "https://tls.browserleaks.com/json", meta={ "curl_cffi_options": { "impersonate": "chrome", # "ja3": "771,4865-4866-4867-49195...", # 直接指定 JA3 字符串 # "akamai": "1:65536;2:0;4:6291456;...", # 指定 Akamai HTTP/2 指纹 } }, ) 其他可选插件
-
scrapy-rnet:基于rnet库(使用 BoringSSL),同样提供浏览器级的 TLS/HTTP2 指纹模拟。配置方式与scrapy-impersonate类似,通过meta={"impersonate": Impersonate.Chrome132}指定指纹。需要注意它要求 Python 3.12+ 和 Scrapy 2.12+。 -
scrapy-fake-tls:同样是curl_cffi的封装,支持通过meta["impersonate"]进行请求级指纹轮换,并在settings.py中通过CURL_CFFI_IMPERSONATE设置默认浏览器。
🔧 原生/底层修改思路(不推荐,局限性大)
如果不引入外部库,仅修改 Scrapy/Twisted 的配置,能触及的层面非常有限:
- JA3(有限修改):
scrapy-ja3这类包通过修改 Scrapy 打包的DEFAULT_CIPHERS来尝试伪造 JA3 哈希。但这只能改变密码套件列表,无法控制 TLS 扩展、椭圆曲线等关键字段,生成的指纹仍然不完整,极易被识别。 - HTTP/2(基本不可行):Scrapy 对 HTTP/2 的支持本身就是实验性的,且存在明确限制(如固定帧大小、不支持 h2c 等)。其 HTTP/2 的
SETTINGS帧、窗口大小、优先级树等参数几乎无法通过简单配置修改成与浏览器一致。
因此,依赖 curl_cffi 或 rnet 的插件方案是实际可行的唯一路径。
⚠️ 关键注意事项
- 必须切换 Twisted Reactor:所有基于
curl_cffi/rnet的方案都依赖asyncio,必须在settings.py中设置TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor",否则无法正常工作。 - User-Agent 的自动管理:启用模拟后,建议将
USER_AGENT设为None或空值,让底层库根据模拟的浏览器自动生成匹配的 UA,避免 UA 与 TLS 指纹不一致而暴露。 - HTTP/2 支持是隐式的:当你使用
scrapy-impersonate或scrapy-curl-cffi并指定impersonate: chrome时,底层curl_cffi会自动使用与 Chrome 匹配的 HTTP/2 设置与服务器通信,无需额外开启 Scrapy 那个实验性的H2DownloadHandler。你得到的 HTTP/2 指纹(如 SETTINGS 帧参数)是贴近所选浏览器的。 - 维护性与版本匹配:这些插件的可用浏览器版本列表会随
curl_cffi更新。应定期更新插件,并确保代码中使用的impersonate标识(如chrome133a)在库的支持列表中,避免因版本不匹配导致模拟失效。