网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。爬虫对某一站点访问，如果可以访问就下载其中的网页内容，并且通过爬虫解析模块解析得到的网页链接，把这些链接作为之后的抓取目标，并且在整个过程中完全不依赖用户，自动运行。若不能访问则根据爬虫预先设定的策略进行下一个 URL的访问。在整个过程中爬虫会自动进行异步处理数据请求，返回网页的抓取数据。在整个的爬虫运行之前，用户都可以自定义的添加代理，伪装请求头以便更好地获取网页数据。爬虫流程图如下：

爬虫相关代码

import requests  
from bs4 import BeautifulSoup  
import xlwt  
import time  
import urllib3  
import requests  
import json  
# 爬取B站热榜排行  
# 格式解析，[0-当前排名，1-视频标题，2-播放数目，3-弹幕数量，4-综合得分，5-作者，6-视频地址，7-时长，8-评论数，9-收藏数，10-投币数，11-分享数，12-点赞数]  
# 格式化  
def whitespace(st):  
    st = st.replace('\n', '')  
    st = st.strip()  
    st = st.replace(' ', '')  
    return st  
# 详情页  
def info_Page(bv):  
    url = 'http://api.bilibili.com/x/web-interface/view?bvid=' + bv  
    headers = {  
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36"  
    }  # 请求头，模拟浏览器的运行  
    urllib3.disable_warnings()  # 从urllib3中消除警告  
    response = requests.get(url, headers=headers)  
    content = json.loads(response.text)  
    # 很迷，获取到的是str字符串 需要解析成json数据  
    statue_code = content.get('code')# print(statue_code)  
    if statue_code == 0:  
        duration = content['data']['duration'] # 时长  
        reply = content['data']['stat']['reply'] # 评论  
        favorite = content['data']['stat']['favorite'] # 收藏  
        coin = content['data']['stat']['coin'] # 投币  
        share = content['data']['stat']['share'] # 分享  
        like = content['data']['stat']['like'] # 点赞  
    return duration,reply,favorite,coin,share,like  
while(True):  
    url = 'https://www.bilibili.com/v/popular/rank/all'  
    headers = {  
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'}  
    rank = requests.get(url, headers=headers)  # 请求页面  
    soup = BeautifulSoup(rank.text, 'lxml')  
    all_rank = soup.find_all('li', class_='rank-item')  
    num = 0  
    lst=[]  
    for i in all_rank:  
        record = []  
        rank_num = i.find('div', class_='num').text  # 获取排名  
        info = i.find('div', class_='info')  # 筛选出视频详细信息的标签  
        href = info.find('a', class_='title').attrs['href']  # 获取链接  
        title = info.find('a', class_='title').text  # 获取标题  
        play_num = info.find('i', class_='b-icon play').parent.text  # 获取播放量  
        view_num = info.find('i', class_='b-icon view').parent.text  # 获取弹幕数  
        author = info.find('i', class_='b-icon author').parent.text  # 获取作者名  
        scores = info.find('div', class_='pts').find('div').text  # 获取综合得分  
        # 播放，弹幕，作者  
        play_num = whitespace(play_num)  
        view_num = whitespace(view_num)  
        author = whitespace(author)  
        bv = href.split('/')[-1]  
        duration,reply,favorite, coin,share,like = info_Page(bv)  
        record.append(rank_num)  
        record.append(title)  
        record.append(play_num)  
        record.append(view_num)  
        record.append(scores)  
        record.append(author)  
        record.append(href)  
        record.append(duration)  
        record.append(reply)  
        record.append(favorite)  
        record.append(coin)  
        record.append(share)  
        record.append(like)  
        num += 1  
        lst.append(record)  
    # 爬取的数据存入文件，避免多次爬取且提高响应速度  
    with open('./bilibili.txt', 'w',encoding='utf-8') as f:  
        for line in lst:  
            for i in line:  
                f.write(str(i)+',')  
            f.write('\n')  
    time.sleep(300)  
#print(lst[0])

4 数据可视化

可视化呈现方案

综合得分计算指标：哔哩哔哩综合得分，是视频是否能排上排行榜的依据，若能知道其规则，对于视频内容的倾向，up主是否需要请求“一键三连”，观众们需不需要吝啬手中的币，是有很大的价值的，所以在此首先进行综合得分计算指标的分析及其可视化，此处采取灰色关联度分析（Grey Relation Analysis，GRA）来进行数据的处理。

首先是要确定子母序列，母是结果，子是影响因子，那么，毫无疑问，综合得分就是母，其他均为影响因子。将其分别存入mom_以及son_中，代码如下：

with open('./bilibili.txt', 'r+',encoding='utf-8') as f1:  
    lst2=[]  
    for line in f1.readlines():  
        lst2.append(line.split(','))  
mom_ = [int(i[4]) for i in lst2[0:50:]]  
view = []  
reply = []  
favorite = []  
coin = []  
share = []  
like = []  
for i in lst2[0:50]:  
    view.append(float(i[2].strip("万"))*10000)  
    reply.append(int(i[8]))  
    favorite.append(int(i[9]))  
    coin.append(int(i[10]))  
    share.append(int(i[11]))  
    like.append(int(i[12]))  
son_ = [view,reply,favorite,coin,share,like]

然后要对数据进行预处理，因为我们的这些要素是不同质的东西的指标，因此可能会有的数字很大有的数字很小，但是这并不是由于它们内禀的性质决定的，而只是由于量纲不同导致的，因此我们需要对它们进行无量纲化。这个操作一般在数据处理领域叫做归一化（normalization），也就是减少数据的绝对数值的差异，将它们统一到近似的范围内，然后重点关注其变化和趋势。按公式归一化即可。

mom_ = np.array(mom_)  
son_ = np.array(son_)  
son_ = son_.T / son_.mean(axis=1)  
mom_ = mom_/mom_.mean()  
for i in range(son_.shape[1]):  
    son_[:,i] = abs(son_[:,i]-mom_.T)  
Mmin = son_.min()  
Mmax = son_.max()  
cors = (Mmin + 0.5*Mmax)/(son_+0.5*Mmax)  
Mmean = cors.mean(axis = 0)

最终结果：B站综合得分与播放、评论、收藏、投币、分享、点赞几个因素都具有很强的相关性。

灰色关联度介绍

GRA是一种多因素统计分析的方法。简单来讲，就是在一个灰色系统中，我们想要了解其中某个我们所关注的某个项目受其他的因素影响的相对强弱，本项目中，就是说：我们假设B站综合得分可能是与播放、评论、收藏、投币、分享、点赞几个因素相关的，那么我们想知道综合得分与这几个因素中的哪个相对来说更有关系，而哪个因素相对关系弱一点，把这些因素排个序，得到一个分析结果，我们就可以知道哔哩哔哩综合得分，与因素中的哪些更相关，因而也就可以看出观众的一键三连的作用以及up主们更应该求的是赞、币亦或是其他。