sibyl_

sqoop是数据迁移工具，可以双向迁移，可以把大数据集群里的数据迁出到关系型数据库里，也可以把关系型数据库里的数据迁移到到大数据集群里。 是关系型数据库和大数据集群之前数据迁入迁出工具。

把本地的这个位置的文件导入到集群的flume里面。 我们基于以上的数据我们要建立hive数仓（规划数仓、表、把数据加载过来），进行相应的分析。 Linux里面有个定时任务处理crontab。每天定时执行这个shell脚本（自己研究一下）

yarn：只存的话就跟yarn一点关系都没有。 Hive分析的数据底层是在Hdfs上面。 n多个节点共同分析运算。 nohup 英文全称 no hang up（不挂起），用于在系统后台不挂断地运行命令，退出终端不会影响程序的运行。 导入的数据还是以文件的形式存储的。 这不是问题…

一个Hadoop集群包含多台节点。 HDFS侧重分布式存储。一台机子存不下，所以有了集群的概念。 集群一般都是奇数台，有选举机制。 它并不是把这300M文件直接存到一个节点里面，而是采用切割的方式。 一个Block（数据块）是128M. 它会分割成3块：128M、128M、44…

执行完shell脚本的效果：hdfs的 /flume下回自动生成2021-01-22的目录。

在没有解析之前我们得到得数据是什么。 maven打包，双击package。

模块名是指自动生成的文件夹的名字。 表名是指涉及到的数据库表。 我们的目的，就是把这些数据，以json的格式从后台输出，供前台调用并展示。 通过以上代码生成等一系列操作，我们已经把后台的框架搭建好，剩下的就时完善代码了。 entity层和mapper层生成的很好，我们不用动。 …

此时的前端程序在本地也是能访问的（localhost改成远程主机的地址）。但是还是要部署在Nginx里

四. MySQL常用操作