Python:50行代码实现下载小说,图片章节可自动识别转文字保存…

最近有小伙伴吐槽,有些小说下载下来后发现是图片章节,白下载了,问我怎么处理?

这还不简单,加个文字识别不就好了。

所以今天咱们来展示一下怎么将小说爬下来,再识别成文字保存。

话不多说,开搞!

一、准备工作

1、环境使用

Python 3.8
Pycharm

2、模块使用

requests >>> 数据请求模块
parsel >>> 数据解析模块
re 正则表达式

requests 是第三方模块,需要手动安装,在CMD里面进行安装 输入安装命令 pip install 模块名。如果平时下载模块慢,可以切换国内镜像源。

3、模块安装问题

安装python第三方模块最快捷的有两种方法

第一种: win + R 输入 cmd 点击确定,输入安装命令 pip install 模块名 (pip install requests) 回车。

第二种: 在pycharm中点击Terminal(终端) 输入安装命令

安装失败原因

失败一

pip 不是内部命令

解决方法: 设置环境变量

失败二

出现大量报红 (read time out)

解决方法: 因为是网络链接超时, 需要切换镜像源。

清华:https://pypi.tuna.tsinghua.edu.cn/simple
阿里云:https://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学:https://pypi.hustunique.com/
山东理工大学:https://pypi.sdutlinux.org/
豆瓣:https://pypi.douban.com/simple/

例如:pip install -i https://pypi.doubanio.com/simple/ 模块名

失败三

cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入。

解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好,或者你pycharm里面python解释器没有设置好。

4、如何配置pycharm里面的python解释器?

  1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
  2. 点击齿轮, 选择add
  3. 添加python安装路径

5、pycharm如何安装插件?

  1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
  2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
  3. 选择相应的插件点击 install(安装) 即可
  4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

二、案例思路/基本流程

1、分析我们想要数据内容来自于哪里

F12 开发者工具进行抓包分析,打开 F12 或者 鼠标右键点击检查 刷新网页,点击搜索按钮,输入搜索内容,点击回车找到数据包。

请求 https://b.faloo.com/631781_1.html 这个网址, 就可以得到我们想要小说内容。

2、代码实现步骤

  • 发送请求, 模拟浏览器对于 https://b.faloo.com/631781_1.html 发送请求
  • 获取数据, 获取服务器返回响应数据 —> 开发者工具里面response
  • 解析数据,提取我们想要数据内容,小说章节名字
  • 保存数据,保存本地文件。
  • 3、代码展示

    模块导入

    # 导入数据请求模块
    import requests
    # 导入数据解析模块
    import parsel
    # 导入获取VIP章节代码
    import Vip
    # 导入图片文字识别代码
    import spot
    # 导入os模块
    import os
    

    发送请求

    模拟浏览器对于 https://b.faloo.com/631781_1.html 发送请求
    为什么使用的是 requests.get ?
    根据开发者工具里面所看到请求方式, 浏览器是什么请求方式, 我们代码当中就使用什么请求方式
    爬虫代码要伪装成浏览器发送请求
    添加headers请求,你不加请求头, 不伪装, 你就会被识别出来你是爬虫程序, 从而得到你想要的内容,被反爬了。

    # 目录页url地址
    link = 'https://地址我先屏蔽了,不然不给过com/631781.html'
    # 请求头参数 ---> 在开发者工具复制粘贴的
    # 复制这个替换掉上面地址中的中文 b.faloo
    headers = {
        # User-Agent 表示浏览器基本身份信息
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
    }
    # 发送请求 ---> <Response [200]>  响应对象
    html_data = requests.get(url=link, headers=headers).text
    
    # 目录页url地址
    link = 'https://b.faloo.com/631781.html'
    # 请求头参数 ---> 在开发者工具复制粘贴的
    headers = {
        # User-Agent 表示浏览器基本身份信息
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
    }
    # 发送请求 ---> <Response [200]>  响应对象
    html_data = requests.get(url=link, headers=headers).text
    # 转成可解析对象
    selector = parsel.Selector(html_data)
    # 获取小说名字
    name = selector.css('#novelName::text').get()
    # 获取所有章节url地址 ---> .DivTd a 还是定位标签 attr(href) 获取标签里面href属性
    href = selector.css('.DivTd a::attr(href)').getall()[58:100]
    

    获取数据

    获取服务器返回响应数据 —> 开发者工具里面 response 响应文本数据 print(response.text)

    for index in href:
        # 确定请求链接
        url = f'https:{index}'
        # 请求头参数 ---> 在开发者工具复制粘贴的
        headers = {
            # User-Agent 表示浏览器基本身份信息
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
        }
        # 发送请求 ---> <Response [200]>  响应对象
        response = requests.get(url=url, headers=headers)
    

    解析数据

    提取我们想要数据内容, 小说 小说章节名字
    撤回 ctrl + z
    得到的 response.text 响应文本数据 字符串数据类型 需要转换一下数据类型
    解析方法: css选择器 —> 根据标签属性内容提取数据
    css语法不会, 没有关系, 只要你会 ctrl + c / v

    # 转成可解析对象
    selector = parsel.Selector(response.text)
    # 提取小说章节标题 --> .nr_center .c_left .c_l_title h1 css语法用于定位标签 ::text 获取标签文本内容
    title = selector.css('.nr_center .c_left .c_l_title h1::text').get()
    # 提取小说内容 --> 获取所有 getall
    content_list = selector.css('div.noveContent p::text').getall()
    if len(content_list) != 0:
        # 保存文本数据, 保存字符串数据类型 需要把列表转成字符串 str(content_list)强制转换
        content = '\n'.join(content_list)  # 用\n (换行符) 把 content_list (列表) 合并成一个字符串数据
    

    保存数据, 保存本地文件

            # 打开文件 进行保存
            with open(name + '.txt', mode='a', encoding='utf-8') as f:
                # 写入数据
                f.write(title)
                f.write('\n')
                f.write(content)
                f.write('\n')
                print('成功保存: ',title)
        else:
            img_content = Vip.get_vip_img(link=url)
            with open('img\\' + title + '.png', mode='wb') as img_f:
                img_f.write(img_content)
                print('成功保存: ',title)
    

    图片文字识别,返回文字内容

    files = os.listdir('img\\')
    for file in files:
        img_file = 'img\\' + file
        novel_title = file.replace('.png', '')
    
        novel_content = spot.get_vip_content(file=img_file)
        with open(name + '.txt', mode='a', encoding='utf-8') as f:
            # 写入数据
            f.write(novel_title)
            f.write('\n')
            f.write(novel_content)
            f.write('\n')
    

    好了,今天的分享就到这里,全部代码下方名片获取。

    最后推荐一套Python教程, 涵盖了常见的大部分案例实战,非常详细~
    代码总是学完就忘记?100个爬虫实战项目!让你沉迷学习丨学以致用丨下一个Python大神就是你!

    物联沃分享整理
    物联沃-IOTWORD物联网 » Python:50行代码实现下载小说,图片章节可自动识别转文字保存…

    发表评论