获得徽章 1
- 8月16日打卡,今日学习《DolphinDB节点启动时的流计算自动订阅教程》,DolphinDB是一个流数据处理的框架,文章介绍了基于 DolphinDB 流数据处理框架完成业务代码开发后,如何部署节点启动时的流计算自动订阅问题,过程详细。评论点赞
- 8月15打卡,今日学习《我们为什么放弃 MongoDB 和 MySQL,选择 TiDB》,文章从伴鱼的发展讲起,从其业务场景确定使用的数据库,TiDB可以满足伴鱼的新要求,支持ACID事务,对大数据友好。此外,我们也应该像伴鱼一样积极接纳新事物。评论点赞
- 8月9日打卡,今日学习《入门Hbase,看这一篇就够了》,其中对Hbase的基本概念进行了介绍,通过这篇文章可以了解到Hbase的架构及其细化,Hbase适用于数据量足够大的库。此外,文章还演示了Hbase单机模式的安装,帮助我们更好的学习Hbase。评论点赞
- 8月5日打卡,今日学习《字节跳动10万节点HDFS集群多机房架构演进之路》,介绍了字节跳动内部是如何解决HDFS集群存在的问题的。为解决数据膨胀问题,引入了NameService使NameNode一主多备,并从双机房扩展到多机房。评论点赞
- 8月4日打卡,今日学习《带你入坑大数据(一) --- HDFS基础概念篇》。在学习完HDFS的课程之后,看到这篇文章,里面的很多内容将课程的内容讲解的更加详细,还包含了一些细节,比如HDFS3.x以上文件会按128M划分block,以及block副本的设置等。评论点赞
- 7月28日打卡,今日学习《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(下)》:本文介绍了OLAP和各类OLAP引擎。OLAP的选择制约实时数仓的能力,但是各种OLAP各有特点,没有完美的最优选择,需要我们根据自己的需求选择合适的OLAP,比如解决分布式查询问题可以用Presto,基于HDFS的离线计算任务选用hive更佳。评论点赞
- 7月26日打卡,今日学习《基于代价的慢查询优化建议》:在学习完SQL Optimizer后读到这篇文章,本文介绍了美团是如何使用优化器来优化慢查询的。对于美团这种数据量极大的APP,慢查询带来的危害不容忽视。基于经验的优化过于简单,所以使用CBO基于代价的优化。在索引推荐上,美团的思想是构建一个支持虚假索引的存储引擎,提供候选索引的数据,而非真实添加索引,为大数据索引的添加提供了一个很好的思路。展开评论点赞