大数据

11046 关注，3668 文章

3天前

kettle真是神器啊，3分钟将mysql中的数据迁移到postgres中

今天公司机房因为停电几台开发机的磁盘损坏了。运维同学告诉我，磁盘恢复比较慢，如果着急用，可以先申请一个新的虚拟机使用。没办法又要各种装装装，这是第二次了吧，心中真是策马奔腾再暗骂一句老板抠门，也不知

1469
30
11

kettle真是神器啊，3分钟将mysql中的数据迁移到postgres中

5天前

搭建sparkmllib开发环境的一些坑-----

sparkmlib是spark用于机器学习开发的包，实现了在分布式的大数据集群上做机器学习的功能，是目前对分布式支持较好的机器学习框架，除此之外支持分布式的机器学习框架还有tensorflow和dee

116
62
评论

12天前

看 Kunpeng BoostKit 使能套件如何实现大数据场景倍级性能提升

摘要：本次鲲鹏 BoostKit 训练营为开发者介绍如何基于鲲鹏 BoostKit 使能套件实现应用性能的加速，并重点剖析性能优化技术和关键能力。

1193
2
评论

13天前

Hologres揭秘:深度解析高效率分布式查询引擎

为了让大家更加了解Hologres，我们计划持续推出Hologers底层技术原理揭秘系列，从高性能存储引擎到高效率查询引擎，高吞吐写入到高QPS查询等，全方位解读Hologers！

880
1
评论

Hologres揭秘:深度解析高效率分布式查询引擎

5月前

BI无缝整合Apache Kylin，实现一站式大数据解决方案分析与设计实践

今天随着移动互联网、物联网、大数据、AI等技术的快速发展，数据已成为所有这些技术背后最重要，也是最具价值的“资产”，同时数据也是每一个商业决策的基石，越来越多的企业选择数字化转型，但数据驱动增长然充满挑战，企业数据孤岛严重、数据一致性难以保证、数据资产沉淀数据分散难以共用、数据…

2.3w
8
评论

25天前

小白也能看懂的 Hive 调优

Hive 一个常用的大数据组件，影响它的性能的从来都不是因为数据量过大的问题，而是数据倾斜，冗余，Job 和 IO 过多，MapReduce 分配不合理···等

926
43
8

1天前

iceberg的记录删除功能的核心类Deletes解析

首先Deletes类有4个静态内部类其中EqualitySetDeleteFilter，PositionSetDeleteFilter，DataFileFilter都继承自Filter抽象类，其中需

33
点赞
评论

6天前

Spark 之解决数据倾斜（二）

数据倾斜解决方案三：过滤导致倾斜的key 如果在Spark作业中允许丢弃某些数据，那么可以考虑将可能导致数据倾斜的key进行过滤，滤除可能导致数据倾斜的key对应的数据，这样，在Spark作业中就不会

175
6
1

1天前

flink读取iceberg核心流程

读取流程一般都是通过planTasks方法返回CombinedScanTask，然后根据CombinedScanTask生成RowDataIterator迭代器访问数据 RowDataIterator

39
点赞
评论

17天前

来电科技：基于Flink+Hologres的实时数仓演进之路

本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓

485
4
评论

来电科技：基于Flink+Hologres的实时数仓演进之路