代码收藏家技术教程 2022-07-18

Python网易云音乐爬虫大数据分析可视化系统——大屏数据可视化开发之路

介绍

现在比较流行的大数据数据可视化都是大屏，有钱的人会使用阿里云全家桶的DataV或者商业化的大屏解决方案，但是在国内还是小公司比较多，本人50年大数据开发经验，精通数据可视化，曾经处理过百万亿级别的数据，现在就让我带领大家做一个开源的大数据可视化系统吧，爬虫部分我们用python开发

开发思路

使用python爬取网易云音乐的音乐数据—->数据处理(机器学习tensflow pandas numpy)—->存入MySQL—->进行可视化显示

开发技术

pymysql pandas 百度echarts requests

创新点(特色)

爬虫、可视化、大数据分析

Demo样例图

Python网易云音乐爬虫大数据分析可视化系统
实现代码如下：

"""歌单数据随天数变化"""
@app.route('/get_day_data')
def get_day_data():
    non_vip_df = df[df['vip_type']=='0'].groupby(df['create_time'].str[8:10]).sum().reset_index()[['create_time', 'subscribed_count']]
    vip_df = df[(df['vip_type']=='10') | (df['vip_type']=='11')].groupby(df['create_time'].str[8:10]).sum().reset_index()[['create_time', 'subscribed_count']]
    vip_type_df = pd.merge(non_vip_df, vip_df, left_on='create_time', right_on='create_time', how='inner')

    sub_data = {
        "day": [str(int(x)) for x in vip_type_df["create_time"].tolist()], 
        "vip": vip_type_df["subscribed_count_y"].tolist(),
        "nonvip": vip_type_df["subscribed_count_x"].tolist(),
        
    }

    return json.dumps(sub_data, ensure_ascii=False)

Python网易云音乐爬虫大数据分析可视化系统

实现代码如下：

"""动态地图"""
@app.route('/get_map_data')
def get_map_data():
    time_df = df.groupby([df['create_time'].str[:4], df['province'].apply(replace_str)])[['play_count', 'share_count']].count().reset_index()
    re_time_df = time_df[time_df['province'] != '海外']
    province = re_time_df['province'].drop_duplicates().tolist()

    re_time_df2 = add_province(re_time_df, province)

    final_time_df = re_time_df2.sort_values(by=['create_time', 'province']).reset_index(drop=True)
    final_province = final_time_df['province'].drop_duplicates().tolist()
    final_year = final_time_df['create_time'].drop_duplicates().tolist()

    playlist_num = []
    for year in final_year:
        playlist_num.append(final_time_df.loc[final_time_df['create_time']==year, 'play_count'].tolist())

    playlist_data = {"year": final_year, "province": final_province, "playlist_num": playlist_num}

    return json.dumps(playlist_data, ensure_ascii=False)

Python网易云音乐爬虫大数据分析可视化系统