基于spark的音乐数据分析系统的设计与实现_基于spark的音乐数据分析系统的设计与实现的功能介绍前言一、项目介绍

前言
一、项目介绍
二、开发环境
三、功能介绍
四、核心代码
五、效果图
六、文章目录

前言

本文主要对音乐数据，进行分析，系统技术主要使用，1.对原始数据集进行预处理；3.使用python语言编写Spark程序对HDFS中的数据进行处理分析，并把分析结果写入到MySQL数据库；4.利用Spark MLlib进行数据和关系预测；5.利用IntelliJ IDEA搭建动态Web应用；6.利用plotly进行前端可视化分析。

关键词：音乐数据分析；可视化分析；python语言

一、项目介绍

本文对网易云音乐平台的数据进行分析，分析年度音乐专辑销量TOP10 ；年度月排行榜榜首播放量；最受欢迎的音乐类型；音乐评论数TOP榜；用户性别比例。使用Hadoop提供HDFS的分布式存储[10]，利用Spark对HDFS中的数据进行处理，并对结果进行可视化分析。
音乐数据分析系统的设计开发工作：

网易云音乐数据爬虫。在本课题中，需要爬取的数据主要包括音乐数据、用户数据、评论数据等等，每一种类型的数据对应一个爬取接口。使用Python进行数据清洗。这三种类型的数据分别应用于不同的功能中。
将前面爬取到的数据作为数据源，上传到HDFS文件系统上。
使用Scala语言编写Spark程序对数据进行分析处理。可以从多个角度对网易云音乐的现有数据进行有效的信息挖掘，并加以分析。
恰当的数据可视化展示。当分析出数据结论之后，采用合适的方式去展示最终的结果数据。比如可以使用柱状图、折线图、词云图、饼状图等阐释数据的特点。

二、开发环境

开发语言：Python
python框架：django
软件版本：python3.7/python3.8
数据库：mysql 5.7或更高版本
数据库工具：Navicat11
开发软件：PyCharm/vs code
前端框架:vue.js

————————————————

三、功能介绍

整个音乐流量可视化系统，主要包含前台和后台，前台是可视化数据，呈现大屏幕效果，主要包含了音乐数据的分析，以及音乐播放量分析，音乐专辑分析，用户登录信息，后台包含登录注册功能，以及个人中心修改资料，音乐数据添加，对用户的删除和查看，音乐数据的预测分析，以及系统权限的设置，具体如下图所示。

在这里插入图片描述

图4-1音乐数据分析系统的分析

四、核心代码

部分代码：


def users\_login(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req\_dict")
        if req_dict.get('role')!=None:
            del req_dict['role']
        datas = users.getbyparams(users, users, req_dict)
        if not datas:
            msg['code'] = password_error_code
            msg['msg'] = mes.password_error_code
            return JsonResponse(msg)

        req_dict['id'] = datas[0].get('id')
        return Auth.authenticate(Auth, users, req_dict)


def users\_register(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req\_dict")

        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users\_session(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}

        req_dict = {"id": request.session.get('params').get("id")}
        msg['data'] = users.getbyparams(users, users, req_dict)[0]

        return JsonResponse(msg)


def users\_logout(request):
    if request.method in ["POST", "GET"]:
        msg = {
            "msg": "退出成功",
            "code": 0
        }

        return JsonResponse(msg)


def users\_page(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code,
               "data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
        req_dict = request.session.get("req\_dict")
        tablename = request.session.get("tablename")
        try:
            __hasMessage__ = users.__hasMessage__
        except:
            __hasMessage__ = None
        if __hasMessage__ and __hasMessage__ != "否":

            if tablename != "users":
                req_dict["userid"] = request.session.get("params").get("id")
        if tablename == "users":
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = users.page(users, users, req_dict)
        else:
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = [],1,0,0,10

        return JsonResponse(msg)