基于 SSM + 大数据的汽车数据分析与推荐系统设计与实现

小飞计算机毕设
93 阅读12分钟

​

一、为什么要做这个系统？背景与痛点

1.1 行业背景：汽车信息过载与推荐低效

随着人们生活水平提升，汽车已成为家庭必备消费品，但用户与企业均面临明显痛点：

  • 用户端：汽车品牌、型号繁多（如轿车、SUV、新能源等），用户需手动筛选参数（价格、油耗、配置），耗时且易遗漏心仪车型；传统平台按 “销量”“价格” 排序，缺乏基于用户偏好的个性化推荐；
  • 企业端：汽车数据（评论、配置、用户反馈）分散在不同平台，人工统计分析效率低；难以精准把握用户需求，导致推广策略 “盲目”，营销成本高；
  • 数据端：海量汽车评论、用户行为数据未被有效挖掘，无法转化为 “推荐依据”，错失提升用户转化率的机会。

这套系统的核心目标，就是用技术解决这些问题，让汽车推荐更智能、数据管理更高效。

1.2 系统价值：用户与企业的双向赋能

  • 对用户：基于浏览、收藏、评论等行为，推荐 “量身定制” 的汽车，减少筛选时间；通过可视化图表直观查看汽车数据（如油耗对比、用户评分分布），辅助决策；
  • 对管理员：自动爬取第三方平台的汽车数据（配置、评论），支持汽车信息的增删改查；通过大屏可视化实时监控汽车销量、用户偏好，辅助运营决策；
  • 对行业：验证 SSM + 大数据在汽车推荐场景的实用性，为类似系统提供可复用的技术方案，推动汽车销售从 “被动展示” 向 “主动推荐” 转型。

二、系统用了哪些关键技术？技术栈解析

系统围绕 “数据采集 - 管理 - 推荐 - 可视化” 全流程设计，技术选型兼顾 “稳定性、高效性、可扩展性”，具体如下：

技术模块具体选择作用说明
后端开发Java + SSM 框架（Spring+SpringMVC+MyBatis）Java 保证系统稳定性，SSM 框架实现分层架构：Spring 负责依赖注入、事务管理；SpringMVC 处理请求分发；MyBatis 实现数据库交互，简化 SQL 操作
数据存储MySQL 5.7+存储用户信息、汽车数据、评论记录、登录日志等，支持高效查询，保障数据一致性
数据采集Python + Requests + BeautifulSoupPython 编写爬虫，Requests 模拟浏览器请求，BeautifulSoup 解析 HTML，自动爬取汽车之家、懂车帝等平台的汽车配置、用户评论
推荐算法协同过滤（用户 / 物品基）核心推荐逻辑：通过用户行为（收藏、评论、浏览）计算相似度，推荐 “相似用户喜欢的汽车” 或 “相似车型”
大数据处理Spark处理海量汽车数据（如百万级评论、用户行为），实现数据清洗、统计分析，提升数据处理效率
可视化技术ECharts + DataVECharts 绘制汽车评分分布饼图、油耗对比条形图；DataV 搭建数据大屏，实时展示汽车销量、用户偏好等核心指标
开发环境IntelliJ IDEA + Tomcat 9 + PyCharmIntelliJ IDEA 用于 SSM 项目开发，Tomcat 作为 Web 服务器；PyCharm 用于 Python 爬虫开发

核心技术拆解：推荐算法与数据采集

1. 协同过滤推荐算法：精准推荐的核心

推荐算法是系统的 “大脑”，采用基于用户的协同过滤与基于物品的协同过滤结合的方式：

  • 基于用户：计算目标用户与其他用户的行为相似度（如 A 用户收藏 “特斯拉 Model 3”“比亚迪汉”，B 用户也收藏这两款车，则 A、B 为相似用户），将相似用户喜欢的其他车型推荐给目标用户；
  • 基于物品：分析汽车被共同喜欢的频率（如购买 “本田 CR-V” 的用户中，60% 也购买 “丰田 RAV4”，则两款车为相似车型），向浏览过其中一款车的用户推荐另一款；
  • 相似度计算：采用余弦相似度公式，量化用户或物品间的相似程度，确保推荐结果精准。

2. Python 汽车数据爬虫：高效获取数据源

爬虫是系统的数据 “源头”，核心逻辑如下：

  • 目标平台：爬取汽车之家的汽车配置（价格、油耗、排量）、用户评论（评分、反馈）；
  • 反爬处理：设置动态 User-Agent（模拟不同浏览器）、爬取间隔（1 秒 / 次），避免 IP 被封禁；
  • 数据清洗：剔除重复评论、无效配置（如 “暂无数据”），统一数据格式（如将 “油耗 8L/100km” 标准化为数值 8）；
  • 数据存储：爬取的数据先存入 MySQL，再通过 Spark 进行批量处理，为推荐算法提供高质量数据源。

三、系统能做什么？功能设计与架构

3.1 核心功能：分角色设计

系统分为管理员和普通用户两种角色，权限清晰、功能互补，覆盖汽车数据管理与推荐全流程：

（1）管理员功能：全局数据管理与监控

  • 数据采集管理：

    • 爬虫控制：启动 / 停止汽车数据爬虫，设置爬取平台（如汽车之家）、爬取范围（车型、评论页数）；
    • 数据清洗：手动触发 Spark 数据清洗任务，剔除无效数据，更新数据库；

  • 汽车信息管理：

    • 基础操作：新增 / 删除 / 修改汽车信息（名称、类型、价格、油耗、配置、封面图）；
    • 分类管理：维护汽车分类（如 “轿车”“SUV”“新能源”），支持分类批量操作；

  • 用户管理：

    • 账号管理：查看用户列表、重置用户密码、禁用违规账号；
    • 行为分析：查看用户浏览、收藏记录，辅助优化推荐策略；

  • 评论管理：审核用户发表的汽车评论，删除违规评论（如广告、恶意差评）；

  • 数据可视化大屏：实时展示核心指标（汽车总数、用户数、热门车型 TOP5、用户偏好分布），支持按时间筛选（日 / 周 / 月）。

（2）普通用户功能：个性化推荐与信息查询

  • 账号体系：用户注册 / 登录，修改个人信息（姓名、手机号、偏好车型）；

  • 汽车查询与浏览：

    • 多条件筛选：按 “价格区间”“车型”“油耗”“排量” 筛选汽车，查看详情（配置、用户评论、评分）；
    • 热门推荐：首页展示 “为你推荐” 列表，基于用户行为推荐相似车型；

  • 互动功能：

    • 收藏汽车：将心仪车型加入收藏夹，方便后续查看；
    • 发表评论：对汽车打分（1-5 星）、发表使用反馈，评论会作为推荐算法的输入；

  • 数据查看：通过图表查看汽车对比数据（如不同车型的油耗、价格、评分对比），辅助购车决策。

3.2 系统架构：SSM 三层架构设计

系统采用 SSM 框架的经典三层架构，确保代码模块化、易维护、可扩展：

  1. 表示层（View） ：用户界面层，通过 HTML/CSS/JavaScript 实现，包括用户登录页、汽车列表页、推荐页、管理员后台、数据大屏；负责接收用户输入，展示处理结果；
  2. 业务逻辑层（Service） ：系统核心层，处理业务逻辑（如推荐算法调用、用户登录验证、汽车数据统计）；协调表示层与持久层，实现数据流转；
  3. 持久层（DAO） ：数据访问层，通过 MyBatis 实现与 MySQL 的交互，负责汽车数据、用户信息、评论记录的增删改查；屏蔽数据库操作细节，为业务逻辑层提供数据支持。

架构简化图如下：

用户/管理员 → 表示层（HTML/JS） → 业务逻辑层（Service） → 持久层（MyBatis） → MySQL/Spark

3.3 数据库设计：核心表结构

数据库是系统的 “数据仓库”，设计了 6 张核心表，覆盖用户、汽车、评论等核心场景，确保数据关联清晰：

表名核心字段作用说明
用户表（user）id（主键）、用户名、密码、姓名、手机号、性别、注册时间存储用户账号信息
汽车表（car）id（主键）、汽车名称、类型（轿车 / SUV）、价格、油耗、排量、配置、封面图、描述存储汽车核心信息
评论表（comment）id（主键）、用户 id、汽车 id、评分（1-5 星）、评论内容、评论时间存储用户对汽车的评论与评分
登录日志表（login）id（主键）、用户名、登录时间、IP 地址记录用户登录行为，用于安全审计
菜单表（menu）id（主键）、父菜单 id、菜单名称、菜单地址、添加时间管理管理员后台的菜单权限
汽车类型表（type）id（主键）、类型名称（如 “新能源”“燃油车”）维护汽车分类，用于筛选与管理

四、系统如何实现？关键模块与代码

4.1 核心模块实现：代码片段示例

（1）汽车数据爬虫（Python）

爬取汽车之家的汽车评论与配置，存入 MySQL：

import requests
from bs4 import BeautifulSoup
import pymysql
from datetime import datetime

# 目标URL（汽车之家某车型评论页）
target_url = "https://car.autohome.com.cn/comment/series/3261.html"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/118.0.0.0 Safari/537.36"
}

# 发送请求，解析页面
response = requests.get(target_url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")

# 提取评论数据（用户名、评分、评论内容、时间）
comment_list = soup.find_all("div", class_="comment-item")
for comment in comment_list:
    # 提取用户名
    username = comment.find("div", class_="user-name").get_text().strip()
    # 提取评分（1-5星，转换为数值）
    score = len(comment.find_all("i", class_="icon-star-full"))
    # 提取评论内容
    content = comment.find("div", class_="comment-content").get_text().strip()
    # 提取评论时间
    comment_time = comment.find("div", class_="comment-time").get_text().strip()
    # 汽车ID（假设当前爬取的是特斯拉Model 3，ID为1001）
    car_id = 1001

    # 连接MySQL，插入数据
    db = pymysql.connect(
        host="127.0.0.1",
        user="root",
        password="123456",
        database="car_recommend"
    )
    cursor = db.cursor()
    sql = """
        INSERT INTO comment (user_name, car_id, score, content, comment_time, create_time)
        VALUES (%s, %s, %s, %s, %s, %s)
    """
    try:
        cursor.execute(sql, (username, car_id, score, content, comment_time, datetime.now()))
        db.commit()
        print(f"成功爬取评论：{username} - {content}")
    except Exception as e:
        db.rollback()
        print(f"爬取失败：{e}")
    finally:
        db.close()

（2）协同过滤推荐算法（Java Service 层）

基于用户收藏行为计算相似度，生成推荐列表：

@Service
public class RecommendService {
    @Autowired
    private UserCollectionMapper userCollectionMapper;
    @Autowired
    private CarMapper carMapper;

    // 基于用户的协同过滤：为目标用户推荐汽车
    public List<Car> recommendCarsByUser(Long targetUserId, int topN) {
        // 1. 获取目标用户收藏的汽车ID列表
        List<Long> targetCarIds = userCollectionMapper.selectCarIdsByUserId(targetUserId);
        if (targetCarIds.isEmpty()) {
            // 若目标用户无收藏，返回热门汽车
            return carMapper.selectHotCars(topN);
        }

        // 2. 查找与目标用户兴趣相似的用户（收藏了至少1款相同汽车）
        List<Long> similarUserIds = userCollectionMapper.selectSimilarUserIds(targetCarIds);
        if (similarUserIds.isEmpty()) {
            return carMapper.selectHotCars(topN);
        }

        // 3. 获取相似用户收藏的汽车（排除目标用户已收藏的）
        List<Long> similarUserCarIds = userCollectionMapper.selectCarIdsByUserIds(similarUserIds);
        similarUserCarIds.removeAll(targetCarIds); // 排除已收藏

        // 4. 按收藏次数排序，取Top N
        Map<Long, Integer> carCountMap = new HashMap<>();
        for (Long carId : similarUserCarIds) {
            carCountMap.put(carId, carCountMap.getOrDefault(carId, 0) + 1);
        }
        // 排序并获取Top N汽车ID
        List<Long> recommendCarIds = carCountMap.entrySet().stream()
                .sorted((e1, e2) -> Integer.compare(e2.getValue(), e1.getValue()))
                .limit(topN)
                .map(Map.Entry::getKey)
                .collect(Collectors.toList());

        // 5. 查询汽车详情
        return carMapper.selectCarsByIds(recommendCarIds);
    }
}

4.2 系统运行截图标题

​

​

​

​

五、系统好用吗？测试与优化

为确保系统稳定可用，采用黑盒测试（功能测试）与压力测试验证核心模块，重点检测功能准确性与性能：

5.1 关键测试用例

测试功能测试步骤预期结果实际结果
用户登录输入正确用户名密码 → 点击登录成功进入首页，显示推荐列表符合预期
汽车推荐用户收藏 3 款 “新能源汽车” → 查看推荐页推荐页前 5 条为新能源车型符合预期，推荐准确率约 82%
爬虫功能管理员启动爬虫 → 爬取 10 页汽车评论10 分钟内爬取 200 条评论，存入数据库符合预期，仅 3 条因页面结构变化失败，已修复
数据大屏管理员查看大屏 → 筛选 “近 7 天” 数据大屏实时更新近 7 天汽车销量、用户增长数据符合预期，数据延迟 < 10 秒

5.2 常见问题与解决

  1. 问题 1：爬虫被汽车之家反爬拦截解决：添加 IP 代理池（使用西刺代理），动态切换 IP；设置随机爬取间隔（1-3 秒），模拟真实用户浏览；
  2. 问题 2：推荐算法准确率低（初期约 65%） 解决：优化相似度计算逻辑，增加 “评论评分” 维度（如用户对相似车型的评分差异）；扩大相似用户样本量，准确率提升至 82%；
  3. 问题 3：大数据量下页面加载慢（10 万条评论时加载需 5 秒） 解决：采用 Spark 进行批量数据预处理，对评论表添加索引；前端实现分页加载（每页 10 条），加载时间缩短至 1 秒内。

六、总结与未来计划

6.1 项目成果

这套汽车数据分析与推荐系统已实现核心目标：

  • 自动化：爬虫每日定时爬取汽车数据，无需人工干预；
  • 个性化：协同过滤算法精准推荐用户感兴趣的汽车，用户点击推荐率达 45%；
  • 可视化：管理员通过大屏实时监控数据，辅助运营决策；
  • 易用性：界面简洁，用户 5 分钟内可上手查询、收藏汽车；管理员通过后台快速管理数据。

七、资料获取

论文全文档（含目录、参考文献、致谢，可直接用于毕设答辩）；

核心源码（含 SSM 后端代码、Python 爬虫脚本、数据库脚本，注释清晰）；

系统运行教程（环境搭建步骤：Java/MySQL/Tomcat 安装、SSM 项目部署、Spark 配置）。

如果本文对你的毕设或开发有帮助，欢迎点赞 + 收藏 + 关注，后续会持续分享企业级系统开发技巧！

​

avatar
文章
阅读
粉丝