陈浮生

1. hadoop与spark的联系与区别 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相 同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由 普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买…

从业已4年有余,未曾写下只言片语,深感庆幸,没有误人子弟.此刻开始记录下coding的路上的segment,也许是感言,也许是某个知识点.言语不当,知识点错误,还请批评指正,望君海涵. 计划2个分支(系列): 1> 杂言[生活,工作中一些感想],2> coding[技术,目前能…

注意：学习交流用，没有在生产环境进行验证。

elasticsearch的mapping非常类似于静态语言中的数据类型: 声明一个变量为int类型的变量， 以后这个变量都只能存储int类型的数据。同样的， 一个number类型的mapping字段只能存储number类型的数据。 mapping还有一些其他的含义，mappi…

感谢大神给大数据小白扫盲,不知道大神的姓名,感谢:chenjj. 处理时效性高，海量数据的处理需求不再局限在离线计算当中。 眼花了吧，上面的有30多种吧，别说精通了，全部都会使用的，估计也没几个。 就我个人而言，主要经验是在第二个方向（开发/设计/架构），且听听我的建议吧。 不…

1. hadoop 分布式计算/存储 , 开源框架 2. hive 查询分析 [sql on hadoop] 数据仓库工具 2.2 Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。Hive本身不存储数据，它完全依赖HDFS和MapReduce。这样就可以将结构化的数据…

1. 删表卡死 Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. show Locks LockManager not specified 2. sqoop直接导入数据到hiv…

1. 直接导入到hive,导入命令示例: 2. 如果某列在mysql中的值为null/"" 该如何处理: 在生产环境尝试开启/关闭动态分区 但异常信息都没有变化。。。 有类似经历的大佬 还请不吝赐教。 正文结束. 不当之处,还请批评指正.

1.sqoop导入数据到hdfs或者hive 最终都是以文件形式落到hdfs😁(这句有点p). 正文结束. 不当之处,还请批评指正.