首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
trino
订阅
Jupiter君
更多收藏集
微信扫码分享
微信
新浪微博
QQ
15篇文章 · 0订阅
论文领读:Presto: SQL on Everything
本篇论文是Facebook 2019年发表介绍Presto的综述类论文,从Presto的使用示例、架构、系统设计等几个方面系统的介绍了Presto的内核和实现原理,对于通识性的了解Presto
Presto-SqlTaskExecution【pipeline和life cycle】
讨论下Presto的SqlTaskExecution实现,首先说明了概念上如何拆分逻辑和数据,如何管理Driver的生命周期,如何推进group和ungroup的状态,最后分析了代码实现
探究Presto SQL引擎(1)-巧用Antlr
文本介绍了antlr的基本用法以及如何使用antlr4实现解析SQL查询CSV数据,更加深入理解Presto查询引擎支持的SQL语法以及实现思路。
Hive迁移Presto的技术实践
hive设计之初,就被定位一款离线数仓产品,虽然Hortonworks喊出了Make Apache Hive 100x Faster的牛逼口号,也在上面做了大量的优化,然而性能提升依旧不大。 而随着OPPO数据量一步步的增多,动辄运行几个小时的hive再也满足不了交互查询的需求…
presto下推优化
简单看起来,将sql直接交给mysql执行,presto拿最终的返回结果就行了。 不过,presto最大的特性在于跨源,不同数据源的sql语法可能会有细微差异(比如在支持的函数上)。所以,presto需要实现自己的一套sql语法,直接将sql交给mysql肯定是不行了。 而且,…
[presto原理] 使用presto的插件开发权限验证和审计
presto是一个非常方便的mpp架构引擎,为了方便公司用户的使用,提供了非常方便的插件,具体可以参考:presto开发指南。 开启https + ldap 做账号和密码验证, presto 本身支持。 公司内部有ldap,可以充分利用起来,如果没有ldap的公司,可以考虑使用…
深入理解Presto(3):Presto内存管理
上一篇文章,我们讲了Presto的架构。Presto是一款内存计算型的引擎,所以对于内存管理必须做到精细,才能保证query有序、顺利的执行,部分发生饿死、死锁等情况。 Presto采用逻辑的内存池,来管理不同类型的内存需求。 Presto把整个内存划分成三个内存池,分别是Sy…
Presto查询引擎简单分析
Execution Engine(执行引擎):执行compiler生成的执行计划。该执行计划是一个阶段的DAG Step 6,6.1,6.2,6.3:由compiler生成的执行计划是阶段的DAG,每个阶段都会涉及到Map/Reduce job,元数据的操作或者HDFS文件的操…
开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)
现在大数据组件非常多,众说不一,在每个企业不同的使用场景里究竟应该使用哪个引擎呢?这是易观Spark实战营出品的开源Olap引擎测评报告,团队选取了Hive、Sparksql、Presto、Impala、Hawq、Clickhouse、Greenplum大数据查询引擎,在原生推…
Presto在大数据领域的实践和探索
小编在去年的时候,写过一篇轰动全网的文章《你需要的不是实时数仓|你需要的是一款强大的OLAP数据库》,这篇文章当时被各大门户网站和自媒体疯狂转载,保守阅读量也在50万+UV,在这篇文章中提到过Pret