Tech Blog

  前言：我们为什么要“造轮子”？ Python的世界里已经有了像Scrapy这样成熟且强大的爬虫框架。那么，为什么我们还要费心去构建自己的框架呢？ 答案是： 为了深入理解爬虫的本质。 通过亲手构建一个迷你框架，你将不再仅仅是API的调用者，而是架构的思考者。你将清晰地看到一个URL请求如何流转、数据如何被解析、异常如何被处理。这个过程将极大地提升你的编程内功和系统设计能力。 一、框架架构设计（The Big Picture） 我们的框架将由五个核心组件构成，它们协同工作，完成数据的抓取、解析和存储。 引擎 (Engine):  控制中心，负责驱动所有组件，控制数据流。 调度器 (Scheduler):  一个队列，负责管理所有待抓取的请求(Request)。 下载器 (Downloader):  根据引擎的指令，执行网络请求，返回响应(Response)。 我们将在这里集成代理和重试逻辑。 爬虫 (Spider):  用户编写的业务逻辑，定义如何从特定网站提取数据(Item)和发现新的URL。 管道 (Pipeline):  负责处理爬虫提取出的数据，例如存入数据库或写入文件。 二、代码实现：一步步构建 步骤 1: 定义数据容器 (Request & Item) 我们使用 dataclass 来创建清晰的数据结构。 # objects.py from dataclasses import dataclass, field from typing import Callable @dataclass class Request: url : str callback: Callable # 解析函数 retry_times: int = 3 # 默认重试次数 @ dataclass class Item: data : dict = field ( default_factory = dict ) 步骤 2: 调度器 (Scheduler) 一个简单的先进先出(FIFO)队列即可。 # scheduler.py from collections import deque class Scheduler : def __ini...

  前言：当传统爬虫撞上“现代”高墙 在2025年，如果你还在依赖简单的更换User-Agent和IP地址，你可能会发现互联网上90%的网站都对你紧闭大门。现代反爬技术已经从服务器端进化到了用户端，变成了一场浏览器环境、用户行为和JavaScript逻辑的全方位“战争”。 本文将带你深入剖析当前最顶尖的几大反爬机制，并提供与之对抗的Python实战策略。 一、前端“天书”：JS混淆、加密与代码保护 机制分析:  现代网站的前端代码（尤其是使用Webpack/Vite构建的项目）在上線前，会经过一系列处理，形成对爬虫工程师极不友好的“天书”。 JS混淆 (Obfuscation):  变量名被替换成无意义的字符（如 _0xabc ），正常的代码逻辑被拆分成复杂的、难以理解的控制流（控制流平坦化）。 核心参数加密:  像API请求签名 signature 、时间戳 timestamp 、认证 token 等关键参数，不再是明文生成，而是由一段高度混淆的JS代码在浏览器中动态计算生成的。 破解策略: 动态调试是王道:  放弃静态阅读混淆代码。使用Chrome开发者工具，在“网络(Network)”面板中找到目标API请求，然后在“发起程序(Initiator)”调用栈中，逐层向上设置断点。通过单步调试，观察加密参数在哪个环节、由哪些变量生成。 模拟执行JS代码:  一旦你定位到核心的加密函数（可能只有几十行），没必要用Python去复现其复杂的逻辑。最佳实践是： 将这段JS代码抠出来。 使用 PyExecJS 或 PyMiniRacer 库，在Python中直接调用这个JS函数，传入必要的参数，获得加密结果。 import execjs # 假设你已经从浏览器扒出了加密函数 js_code = """ function getSignature(param1, param2) { // ... 一段极其复杂的加密逻辑 ... return encrypted_string; } """ ctx = execjs. compile (js_code) signature = ctx.call( "getSignature" , "value1" , ...

  前言：Scrapy为何如此高效？ Scrapy是一个为了爬取网站并提取结构化数据而设计的应用程序框架。把它想象成一套用于建造爬虫的“乐高”积木：它为你提供了所有必需的模块（网络请求、数据解析、存储等），你只需像拼图一样将它们组合起来，就能快速构建出强大、高效的爬虫，而无需关心底层复杂的实现细节。 准备好了吗？让我们开始计时！ 第1步：安装 Scrapy (耗时: 1分钟) 打开你的终端，运行以下命令： pip install scrapy 第2步：创建你的爬虫项目 (耗时: 1分钟) Scrapy提供了一个便捷的命令来生成整个项目框架。 scrapy startproject my _news_crawler cd my_news_ crawler 执行后，你会看到一个如下结构的文件夹，Scrapy已经为你搭好了所有架子： my_news_crawler / scrapy.cfg my_news_crawler / __init__.py items.py # 定义数据结构的地方 middlewares.py pipelines.py # 处理数据的地方 settings.py # 配置文件 spiders / # 存放爬虫代码的地方 __init__.py 第3步：定义你的“数据容器” (Item) (耗时: 2分钟) 我们需要告诉Scrapy，我们想抓取哪些数据。打开  my_news_crawler/items.py  文件，修改它： # items.py import scrapy class NewsItem( scrapy.Item): # define the fields for your item here like: title = scrapy.Field() # 新闻标题 url = scrapy.Field() # 新闻链接 source = scrapy.Field() # 新闻来源 这就像定义了一个数据模板，稍后我们会用抓取到的数据来填充它。 第44步：编写...