数据治理

Hive将何去何从，需要拥抱Spark社区，采用Spark On Yarn With Hive方式来使用。

背景 2024年如期而至，不以任何人的意志而转移。回顾2023这一年，个人比较开心的事情是：终于实现我多年的梦想，做成一个数据平台产品，面向IoT场景的感知数据治理平台。

设备管理、产品管理，包含了很多更新场景，比如：设备上下线引起的设备状态信息。尤其是IoT设备接入模块，我们一般采用OLTP型数据库来实现，比如：MySQL、PostgreSQL等。

物联网设备管理平台，已不再仅仅关注设备管理、时序数据的存储的简单场景，更多的侧重点放在了感知数据的融合分析，其横跨了OLTP、OLAP、时序数据的多种业务场景。