代码收藏家 从Python回忆到爬虫原理解析：手写爬虫框架详解
手写爬虫框架，又名：手写爬虫框架的第1天
- 数据存储（无数据库版）
- HTML正文抽取
- 多媒体文件抽取
- Email提醒
- 实战项目：基础爬虫
- 基础爬虫架构及运行流程
- URL管理器
- HTML下载器
- HTML解析器
- 数据存储器
- 爬虫调度器
从爬虫底层 —> 分布式爬虫， 企业级大数据融合， 个人应用场景总有一个适合你， 动动你的小手。 点上关注，方便每天阅读
一键三连是我最大的动力。谢谢~~
1. 回顾Python编程
2. Web前端基础
3. 初识网络爬虫
希望以上解释、场景说明和示例代码对您有所帮助，如果您需要更详细的示例代码或其他问题，请随时提出。
1. 如何安装 Python，进行步骤说明：
安装Python非常简单，以下是安装Python的一般步骤：
步骤 1：访问Python官方网站
首先，打开您的Web浏览器，并访问Python的官方网站。官方网站地址为：https://www.python.org/
步骤 2：下载Python安装程序
在官方网站上，您会看到一个大的“Downloads”按钮。点击这个按钮，它将带您到Python的下载页面。
步骤 3：选择Python版本
Python有多个版本可供选择，通常有Python 3.x和Python 2.x。推荐选择最新的Python 3.x版本。点击下载按钮，选择您操作系统对应的安装程序。
步骤 4：运行安装程序
一旦下载完成，运行安装程序。在Windows上，双击下载的安装程序文件并按照提示进行安装。在Linux或macOS上，打开终端，进入下载文件所在的目录，运行以下命令：
python3 -m venv myenv
这将创建一个虚拟环境，以隔离Python环境。
步骤 5：完成安装
按照安装程序的提示，完成Python的安装。安装完成后，您可以在命令行中输入以下命令来验证Python是否成功安装：
python --version
现在，您已成功安装Python并可以开始编写Python代码了。
2. 介绍 Python 的基础语法，及其示例：
Python的基础语法非常简单和易于学习。以下是一些Python基础语法的示例：
# 定义变量
name = "John"
age = 30
height = 5.9
# 数据类型示例
text = "Hello, World!" # 字符串
num = 42 # 整数
pi = 3.14159265 # 浮点数
# 判断条件
if age < 18:
print("未成年")
elif age >= 18 and age < 65:
print("成年")
else:
print("退休年龄")
# 循环示例
fruits = ["apple", "banana", "cherry"]
for fruit in fruits:
print(fruit)
# 函数定义
def greet(name):
return "Hello, " + name
# 函数调用
message = greet("Alice")
print(message)
这些示例覆盖了Python的基础语法元素，包括变量、数据类型、条件语句、循环和函数
3. 中级Python 回忆
-
列表（List）：
- 概念： 列表是Python中的有序可变序列，可以包含不同类型的元素。
- 示例代码： 创建列表、访问元素、添加和删除元素、列表切片等示例。
-
字典（Dictionary）：
- 概念： 字典是Python中的无序键值对集合，用于存储相关数据。
- 示例代码： 创建字典、访问和修改键值对、遍历字典等示例。
-
模块和包（Modules and Packages）：
- 概念： Python的模块是代码组织的方式，而包是一组相关模块的集合。
- 示例代码： 导入模块、使用模块中的函数和变量、创建和使用包等示例。
-
异常处理（Exception Handling）：
- 概念： 异常处理用于处理程序运行时可能出现的错误，以避免程序崩溃。
- 示例代码： 使用try-except语句捕获和处理异常。
-
面向对象编程（Object-Oriented Programming，OOP）：
- 概念： 面向对象编程是Python的一种编程范式，它允许您创建和操作对象。
- 示例代码： 创建类和对象、定义方法、继承等示例。
my_list = [1, 2, 3, "apple", "banana"]
print(my_list[0]) # 访问元素
my_list.append("cherry") # 添加元素
del my_list[3] # 删除元素
my_dict = {"name": "John", "age": 30, "city": "New York"}
print(my_dict["name"]) # 访问值
my_dict["age"] = 31 # 修改值
for key, value in my_dict.items():
print(key, value)
import math
print(math.sqrt(25)) # 使用math模块的函数
try:
result = 10 / 0
except ZeroDivisionError as e:
print("发生除零错误:", e)
class Person:
def __init__(self, name, age):
self.name = name
self.age = age
def greet(self):
return f"Hello, my name is {self.name} and I am {self.age} years old."
person = Person("Alice", 25)
print(person.greet())
这些知识点覆盖了Python的一些重要方面，包括数据结构、模块、异常处理和面向对象编程。如果您需要更多关于特定知识点的详细信息或示例，请随时提出具体的问题。我将继续为您提供详细解释和示例代码。
4. 回忆 高级 Python
-
生成器（Generators）：
- 概念： 生成器是一种特殊类型的迭代器，可以逐个产生值，而不是一次性生成所有值。
- 场景： 当您需要处理大量数据，但又不想一次性加载所有数据到内存中时，生成器非常有用。
- 示例代码： 创建生成器函数、使用
yield关键字、迭代生成器等示例。 -
装饰器（Decorators）：
- 概念： 装饰器是Python中用于修改函数或类行为的强大工具，通常用于日志记录、授权、性能测量等。
- 场景： 当您希望在不修改原始函数代码的情况下，添加额外的功能或逻辑时，可以使用装饰器。
- 示例代码： 创建和使用装饰器函数，将装饰器应用于函数或方法等示例。
-
多线程和多进程编程：
- 概念： 并发编程涉及同时执行多个任务，了解如何使用多线程和多进程来实现并发。
- 场景： 当您需要加速计算或同时处理多个任务时，多线程和多进程是有用的。
- 示例代码： 创建多线程、多进程、线程同步和进程间通信等示例。
-
异步编程（Asynchronous Programming）：
- 概念： 异步编程用于处理非阻塞的I/O操作，以提高应用程序性能。
- 场景： 当您需要处理大量的I/O操作，如网络请求或文件读写时，异步编程可以提高效率。
- 示例代码： 使用
asyncio库创建异步函数、协程、异步I/O操作等示例。 -
数据库连接和操作：
- 概念： Python可以与各种数据库进行连接和操作，包括SQLite、MySQL、PostgreSQL等。
- 场景： 当您需要存储和检索大量数据时，与数据库的交互是必要的。
- 示例代码： 使用数据库库连接数据库、执行查询、插入、更新和删除数据等示例。
def read_large_file(file_path):
with open(file_path, 'r') as file:
for line in file:
yield line
for line in read_large_file('large_data.txt'):
process_line(line)
def log_function_call(func):
def wrapper(*args, **kwargs):
print(f"Calling {func.__name__} with arguments {args}, {kwargs}")
result = func(*args, **kwargs)
print(f"{func.__name__} returned {result}")
return result
return wrapper
@log_function_call
def add(a, b):
return a + b
import threading
import multiprocessing
def print_numbers():
for i in range(1, 6):
print(f"Number {i}")
def print_letters():
for letter in 'abcde':
print(f"Letter {letter}")
# 多线程示例
thread1 = threading.Thread(target=print_numbers)
thread2 = threading.Thread(target=print_letters)
thread1.start()
thread2.start()
import asyncio
async def fetch_url(url):
print(f"Fetching {url}")
await asyncio.sleep(2)
print(f"Received data from {url}")
async def main():
await asyncio.gather(
fetch_url("<https://example.com>"),
fetch_url("<https://google.com>"),
fetch_url("<https://github.com>")
)
asyncio.run(main())
import sqlite3
conn = sqlite3.connect('mydb.db')
cursor = conn.cursor()
# 创建表
cursor.execute('''CREATE TABLE IF NOT EXISTS users (id INTEGER PRIMARY KEY, name TEXT, age INTEGER)''')
# 插入数据
cursor.execute("INSERT INTO users (name, age) VALUES (?, ?)", ('Alice', 30))
# 查询数据
cursor.execute("SELECT * FROM users")
rows = cursor.fetchall()
for row in rows:
print(row)
conn.close()
5. 关于 W3C 的来源和重要性，及其例子：
W3C标准（World Wide Web Consortium标准）：
来源： W3C是一个国际性组织，成立于1994年，致力于制定和维护Web技术标准。它由互联网上的领先公司、研究机构和个人共同组成。W3C的任务是确保Web的长期发展，推动Web技术的标准化和互操作性。
重要性： W3C标准是Web开发的基石，它们确保了不同浏览器和设备之间的一致性，以及Web内容的可访问性和可维护性。W3C标准包括HTML、CSS、XML等，它们定义了Web页面的结构、样式和数据交换格式。在没有这些标准的情况下，Web开发将变得混乱，不同浏览器之间的渲染可能会不一致，这会增加开发的复杂性。
示例： HTML5是一个W3C标准的示例，它定义了Web页面的结构和元素。以下是一个简单的HTML5示例：
<!DOCTYPE html>
<html>
<head>
<title>我的网页</title>
</head>
<body>
<h1>欢迎来到我的网页</h1>
<p>这是一个示例网页。</p>
</body>
</html>
HTTP标准（Hypertext Transfer Protocol标准）：
来源： HTTP是一个应用层协议，用于在Web上传输和交换超文本文档，它是Web的核心协议之一。HTTP的标准化由IETF（Internet Engineering Task Force）进行，其中定义了HTTP/1.0、HTTP/1.1和HTTP/2等版本。
重要性： HTTP标准定义了Web客户端和服务器之间的通信方式。它规定了请求和响应的格式、方法（GET、POST等）、状态码（200 OK、404 Not Found等）等。HTTP的正确实施是确保Web应用程序可靠性、性能和安全性的关键。HTTP/2的引入进一步提高了Web性能，允许多路复用和头部压缩，加速了页面加载速度。
示例： HTTP请求和响应是HTTP标准的核心示例。以下是一个HTTP GET请求的示例，该请求获取一个Web页面：
GET /index.html HTTP/1.1
Host: www.example.com
服务器将对这个请求返回一个HTTP响应，如下所示：
HTTP/1.1 200 OK
Content-Type: text/html
<!DOCTYPE html>
<html>
<head>
<title>我的网页</title>
</head>
<body>
<h1>欢迎来到我的网页</h1>
<p>这是一个示例网页。</p>
</body>
</html>
这个示例展示了HTTP标准中的请求和响应的结构，以及状态码和响应的内容类型。
总之，W3C标准和HTTP标准是Web开发中至关重要的概念和规范，它们确保了Web的稳定性、一致性和可靠性。了解并遵循这些标准是Web开发人员的基本要求。
6. HTTP-request 进行一个爬虫演练
初识网络爬虫：
- 网络爬虫概述：
- 概念： 网络爬虫是一种自动化程序，用于在互联网上抓取网页信息并提取数据。它们可以浏览网站，下载网页内容，然后对数据进行分析、存储或其他操作。
- 重要性： 网络爬虫在许多领域中都有用，包括搜索引擎、数据采集、信息聚合、价格比较和自动化测试等。它们帮助我们从大量的互联网信息中提取有用的数据。
- HTTP请求的Python实现：
- 概念： 在网络爬虫中，HTTP请求是与Web服务器通信以获取网页内容的关键部分。Python提供了许多库和模块来实现HTTP请求，其中最常用的是
requests库。 - 使用场景： HTTP请求的Python实现可用于从网站上获取HTML页面、API数据或其他网络资源。这对于构建网络爬虫或进行Web数据挖掘非常有用。
Python代码示例：
以下是一个简单的Python示例，使用requests库实现HTTP GET请求，以获取网页内容。假设我们要获取一个示例网页的内容：
import requests
# 指定目标URL
url = '<https://example.com>'
# 发送HTTP GET请求
response = requests.get(url)
# 检查响应状态码
if response.status_code == 200:
# 打印响应内容
print(response.text)
else:
print(f"请求失败，状态码：{response.status_code}")
上述示例中，我们首先导入requests库，然后指定目标URL。接着，我们使用requests.get()函数发送HTTP GET请求，并获取响应。如果响应的状态码是200（表示成功），则打印响应内容。否则，打印请求失败的状态码。
这个示例展示了如何使用Python实现HTTP请求，这是构建网络爬虫的关键一步。网络爬虫通常会发送多个HTTP请求来获取不同页面的内容，然后解析和处理这些内容以提取所需的数据。
请注意，网络爬虫的使用需要遵守网站的使用条款和法律法规，以确保合法和道德的数据采集。
8. 解析的方法提升（使用 BeautifulSoup）
HTML解析大法：
HTML解析是Web开发和网络爬虫中的重要任务，它涉及将HTML文档分析为结构化数据以进行处理。在这个概念中，我们将介绍初识Firebug、正则表达式和强大的BeautifulSoup这三个工具，它们在HTML解析中发挥着关键作用。
BeautifulSoup是一个强大而易于使用的HTML解析工具，使开发人员能够轻松地处理和分析HTML文档。它在Web开发、网络爬虫、数据抓取和数据分析等领域都有广泛的应用。虽然也可以使用正则表达式等方法进行HTML解析，但BeautifulSoup提供了更便捷、可读性更高的解决方案，减少了错误和复杂性。
三大工具认识：
- 初识Firebug：
- 概念： Firebug是一个用于Web开发的浏览器扩展程序，它提供了强大的调试和分析工具，使开发人员能够检查和修改网页的HTML、CSS和JavaScript。
- 重要性： Firebug允许开发人员实时查看网页的DOM结构、样式和响应数据，帮助他们诊断问题并改进网页设计。
- 正则表达式：
- 概念： 正则表达式是一种强大的文本匹配和模式查找工具，它允许您根据模式在文本中搜索、替换和提取内容。
- 重要性： 在HTML解析中，正则表达式可以用来匹配和提取特定的HTML标签、属性或文本，从而实现数据抓取。
- 强大的BeautifulSoup：
- 概念： BeautifulSoup是一个Python库，用于解析HTML和XML文档，提供了简单而直观的方式来浏览和搜索文档树。
- 重要性： BeautifulSoup使HTML解析变得容易，它可以帮助开发人员轻松地从网页中提取数据，并进行分析和操作。
示例代码：
以下是一个使用BeautifulSoup解析HTML的示例，以从一个简单的HTML页面中提取链接的文本和URL。
import requests
from bs4 import BeautifulSoup
# 指定百度首页的URL
url = 'https://www.baidu.com'
# 发送HTTP GET请求
response = requests.get(url)
# 检查响应状态码
if response.status_code == 200:
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 查找百度搜索框的HTML元素
search_input = soup.find('input', {'name': 'wd'})
if search_input:
# 提取搜索框的相关信息
input_name = search_input['name']
input_type = search_input['type']
input_placeholder = search_input['placeholder']
print(f"搜索框名称: {input_name}")
print(f"搜索框类型: {input_type}")
print(f"搜索框占位符: {input_placeholder}")
else:
print("未找到搜索框元素")
else:
print(f"请求失败，状态码：{response.status_code}")
在上述示例中，我们导入了BeautifulSoup库，然后使用BeautifulSoup()函数解析HTML。接着，我们使用find_all()方法找到所有的链接，并循环遍历它们以提取文本和URL。
这个示例展示了BeautifulSoup的强大功能，使HTML解析变得简单而直观。这种工具在Web开发和网络爬虫中非常有用，可以帮助您轻松地处理和分析HTML文档。
9. 扩展爬虫的功能
让爬虫在后台爬取，其中正文内容和多媒体内容要进行分开， 比如爬的时候出去喝杯咖啡摸一下🐟，也要及时回来，则就需要一个消息提醒了：
- HTML正文抽取：
- 概念： HTML正文抽取是从HTML页面中提取主要内容的过程，通常去除导航、广告和其他非关键信息，以便更好地分析和保存有用的数据。
- 扩展： 为了更精确地抽取HTML正文，可以使用专门的库或工具，如Python中的
newspaper3k或readability库，它们可以智能地识别和提取主要内容。 - 多媒体文件抽取：
- 概念： 除了HTML文本，网页上还可能包含图片、音频、视频等多媒体文件。抽取这些多媒体文件是在数据存储过程中的重要一部分。
- 扩展： 使用Python的
requests库下载多媒体文件，然后将它们保存到本地文件系统。可以根据需要创建不同的文件夹来组织这些文件。 - Email提醒：
- 概念： Email提醒是一种方式，通过电子邮件通知用户或管理员有关抓取和存储数据的重要信息，例如错误报告、进度更新或新数据可用的通知。
- 扩展： 使用Python的
smtplib库来编写代码，以在特定条件下发送邮件通知。您可以设置警报阈值，例如在网站抓取失败时发送邮件提醒。
示例代码：
以下是一个示例代码，扩展了HTML正文抽取、多媒体文件抽取和Email提醒的内容：
import requests
from bs4 import BeautifulSoup
import os
import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
# HTML正文抽取示例
def extract_main_content(html):
# 使用新闻提取库 newspaper3k 提取HTML正文
from newspaper import Article
article = Article(url)
article.download()
article.parse()
main_content = article.text
return main_content
# 多媒体文件抽取示例
def extract_media_files(html, save_path):
soup = BeautifulSoup(html, 'html.parser')
# 从HTML中查找多媒体文件链接
media_links = soup.find_all('img', src=True)
for link in media_links:
media_url = link['src']
media_data = requests.get(media_url).content
# 保存多媒体文件到本地文件系统
media_filename = os.path.join(save_path, os.path.basename(media_url))
with open(media_filename, 'wb') as media_file:
media_file.write(media_data)
# Email提醒示例
def send_email_notification(subject, body, to_email):
smtp_server = 'smtp.example.com'
smtp_port = 587
sender_email = 'your_email@example.com'
sender_password = 'your_email_password'
msg = MIMEMultipart()
msg['From'] = sender_email
msg['To'] = to_email
msg['Subject'] = subject
msg.attach(MIMEText(body, 'plain'))
# 连接SMTP服务器并发送邮件
server = smtplib.SMTP(smtp_server, smtp_port)
server.starttls()
server.login(sender_email, sender_password)
server.sendmail(sender_email, to_email, msg.as_string())
server.quit()
# 示例用法
url = '<https://example.com>'
response = requests.get(url)
if response.status_code == 200:
html_content = response.text
# 抽取HTML正文
main_content = extract_main_content(html_content)
print("HTML正文抽取结果：")
print(main_content)
# 抽取多媒体文件
save_directory = 'media_files'
os.makedirs(save_directory, exist_ok=True)
extract_media_files(html_content, save_directory)
print(f"多媒体文件已保存到目录：{save_directory}")
# 发送Email提醒
subject = '数据抓取完成'
body = '数据抓取已完成，可以查看结果。'
recipient_email = 'recipient@example.com'
send_email_notification(subject, body, recipient_email)
print(f"Email提醒已发送至：{recipient_email}")
else:
print(f"请求失败，状态码：{response.status_code}")
10. 实战的爬虫考虑
不管你是自己开发的框架还是使用别人的框架，大致内容都需要涉及下面几个步骤：
主要由这几个部分：
URL管理器、HTML下载器、HTML解析器、数据存储器和爬虫调度器是构成一个完整爬虫系统的关键组件。URL管理器负责管理待抓取的URL，HTML下载器负责下载网页内容，HTML解析器负责解析网页并提取有用的数据，数据存储器负责将提取的数据保存到指定的存储介质中，而爬虫调度器则负责协调各个组件的工作流程，确保爬虫系统的稳定运行。这些组件之间的协作和配合，使得爬虫系统能够高效地获取目标网站的数据，并实现相关的数据处理和分析任务。
- 基础爬虫架构及运行流程：
- 概念： 基础爬虫通常遵循一种流程，包括从起始URL开始，依次进行URL管理、HTML下载、HTML解析、数据存储和爬虫调度等步骤。
- 扩展： 在实际项目中，流程可能更复杂，包括多个爬虫模块、并发处理、异常处理和日志记录等。
- URL管理器：
- 概念： URL管理器负责管理待爬取的URL队列，包括去重、添加新URL和获取下一个URL等功能。
- 扩展： 可以使用哈希算法或分布式存储来处理大规模爬虫项目中的URL管理。
- HTML下载器：
- 概念： HTML下载器负责从互联网上下载HTML页面，通常使用HTTP请求获取页面内容。
- 扩展： 在现实项目中，可能需要处理反爬虫机制、设置代理、实现并发下载等。
- HTML解析器：
- 概念： HTML解析器用于解析下载的HTML页面，提取有用的信息，通常使用正则表达式、XPath或HTML解析库（如BeautifulSoup）。
- 扩展： 在大规模爬虫项目中，可能需要优化解析性能、处理多种HTML结构和错误情况。
- 数据存储器：
- 概念： 数据存储器负责将抓取的数据保存到本地文件系统、数据库或其他存储介质中。
- 扩展： 可以考虑分布式存储、数据清洗、数据转换和备份策略等。
- 爬虫调度器：
- 概念： 爬虫调度器协调整个爬虫流程，包括控制爬虫速率、处理异常、管理任务队列等。
- 扩展： 可以实现分布式爬虫调度、优化爬虫策略、处理多个爬虫模块等。
示例代码：
以下是一个基础爬虫架构的扩展示例，演示了如何构建一个简单的爬虫项目，并包含了上述扩展内容：
import requests
from bs4 import BeautifulSoup
class URLManager:
def __init__(self):
self.urls = set()
def add_url(self, url):
if url not in self.urls:
self.urls.add(url)
return True
return False
def get_url(self):
if self.urls:
return self.urls.pop()
return None
class HTMLDownloader:
def download(self, url):
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
except Exception as e:
print(f"下载失败：{str(e)}")
return None
class HTMLParser:
def parse(self, html):
soup = BeautifulSoup(html, 'html.parser')
# 在这里添加具体的解析逻辑，提取数据并返回
class DataStorage:
def save_data(self, data):
# 在这里添加数据存储逻辑，将数据保存到文件、数据库等
class SpiderScheduler:
def __init__(self):
self.url_manager = URLManager()
self.downloader = HTMLDownloader()
self.parser = HTMLParser()
self.data_storage = DataStorage()
def run(self, start_url):
self.url_manager.add_url(start_url)
while True:
current_url = self.url_manager.get_url()
if current_url:
html = self.downloader.download(current_url)
if html:
data = self.parser.parse(html)
self.data_storage.save_data(data)
# 在这里添加更多的爬虫调度逻辑，如添加新URL、处理异常等
else:
break
# 示例用法
start_url = '<https://example.com>'
spider = SpiderScheduler()
spider.run(start_url)
关注，评论，留下你的邮箱，机器人自动发送代码。
