代码收藏家技术教程 2025-04-02

Python网络爬虫开发详解：入门到实战指南

一、为什么需要爬虫？

在数据驱动的时代，网络爬虫是获取公开数据的重要工具。它可以帮助我们：

监控电商价格变化

抓取学术文献

构建数据分析样本

自动化信息收集

二、基础环境搭建

1. 核心库安装

pip install requests beautifulsoup4 lxml selenium scrapy

2. 开发工具推荐

PyCharm（专业版）

VS Code + Python 扩展

Jupyter Notebook（适合调试）

三、爬虫开发三阶段

1. 简单请求阶段

python

import requests
from bs4 import BeautifulSoup

url = "https://example.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)..."
}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "lxml")

# 提取标题
title = soup.find("h1").text
print(title)

2. 动态渲染处理

python

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)

driver.get("https://dynamic-site.com")
print(driver.page_source)
driver.quit()

3. 框架级开发（Scrapy）

python

# items.py
import scrapy

class ProductItem(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    category = scrapy.Field()

# spider.py
class MySpider(scrapy.Spider):
    name = "product_spider"
    start_urls = ["https://store.example.com"]

    def parse(self, response):
        for product in response.css('.product-item'):
            yield ProductItem(
                name=product.css('h2::text').get(),
                price=product.css('.price::text').get(),
                category=response.meta['category']
            )

四、反爬机制应对策略

请求头伪装
随机 User-Agent 池
动态 Cookie 管理

验证码处理

python

from anticaptchaofficial.recaptchav2proxyless import *

solver = recaptchaV2Proxyless()
solver.set_verbose(1)
solver.set_key("YOUR_API_KEY")
solver.set_website_url("https://example.com")
solver.set_website_key("6Le-wvk...")
print(solver.solve_and_return_solution())

分布式爬取
使用 Scrapy-Redis 实现任务队列
配置代理池（如 Bright Data）

五、数据存储方案

1. 结构化存储

python

import pymysql

conn = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    db='scrapy_data'
)
cursor = conn.cursor()
cursor.execute("INSERT INTO products (name, price) VALUES (%s, %s)", (item['name'], item['price']))
conn.commit()

2. 非结构化存储

python

import json
from pymongo import MongoClient

client = MongoClient("mongodb://localhost:27017/")
db = client["scrapy_db"]
collection = db["products"]
collection.insert_one(dict(item))