大数据

Hive将何去何从，需要拥抱Spark社区，采用Spark On Yarn With Hive方式来使用。

在IoT场景中，设备上报的感知数据，会先存储在消息队列中，比如：Kafka、Pulsar中。然后基于消息中间件做数据转换处理落盘，或者进行实时分析。

我们使用的hadoop-3.2.4版本，其hadoop http web-控制台认证，simple认证机制是有问题的。整个simple的认证逻辑是错误的，截止目前仍未修复。