、项目介绍
本次实训，要求使用Hadoop及其生态圈相关的组件来是实现企业级大数据开发的整套流程，即数据的采集部分会介绍两种方式，一种介绍网络爬虫及其Java代码实现步骤，另外一种是利用学生所掌握的spring MVC技术来构建一个简易的电商平台，采取压测的方式模拟海量日志的产生，通过使用Nginx和Tomcat实现动静资源分开部署的方式，采取flume日志采集组件来实现日志的采集。
【大数据Hadoop开发】大数据项目实战-大型电商日志分享系统_哔哩哔哩_bilibili
\
相比网络爬虫，这部分是实训所推荐的一种数据采集方式，数据的存储部分，将采用mysql和hdfs来分别存储关系型数据和非关系型数据，其中将会使用到sqoop组件作为mysql和hdfs之间的数据的转换桥梁和通道，数据分析处理部分采用MapReduce程序实现数据的清洗和分析，数据可视化部分，采用echarts图表来展现。
最终的效果是 通过压测产生电商系统日志、sqoop将分析后的结果导入到mysql中，spring MVC项目前端对分析结果进行可视化，既展现商品的topN信息。
\
二、项目流程
项目工作准备
1、虚拟机安装
实训的项目主要是进行大数据的实训，所以需要安装linux，使用VMware Workstation作为虚拟机安装Linux系统，
下载虚拟机
连接
密码
创建虚拟机
2、远程登录
Linux一般作为服务器使用，而服务器一般放在机房，你不可能在机房操作你的Linux服务器。这时我们就需要远程登录到Linux服务器来管理维护系统。
Linux系统是通过SSH服务实现的远程登录功能，默认ssh服务端口号为22。
