人工智能 - 掘金

8小时前

学会5个数据分析常见定律，数据敏感度提升N个度

有时候在和技术或者业务交流时，如果对方时不时蹦出个这效应，那定律，自己又恰巧没有听过，这时候只能呵呵假装明白。其实这些概念也没有什么神秘的，今天整理了一下咱们数分领域常见的效应和定律，用通俗易懂的例

55
点赞
评论

2天前

关于数仓建设及数据治理的超全概括

在谈数仓之前，先来看下面几个问题：数仓为什么要分层？用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将

220
1
评论

关于数仓建设及数据治理的超全概括

2天前

Clickhouse副本备份机制

思路概念分片：将数据切分为多个部分，各个部分之间没有重复内容。需要注意的是：数据倾斜副本：副本是冗余，多备份，相同副本分片的内容完全一样。分片和副本的逻辑概念如下图所示：集群：逻辑上的概念，

211
1
评论

3天前

一文带你认识Hadoop

简单来说，Hadoop就是存储海量数据和分析海量数据的工具，是一种在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。

149
1
评论

3天前

一文带你了解什么是大数据

首先大数据体现在数据大那么，这些庞大的数据都来自哪里？随着全球数字化、网络化进程加快，互联网应用于各行各业，累积的数据量越来越大。这些数据都来源于我们日常生活的点滴，汇聚成BIGDATA

128
1
评论

4天前

小白也能学会的MapReduce编程

我们知道hadoop的核心有四大组件： - HDFS - MapReduce - YARN - Common 本文带领小白初步理解大数据mapreduce编程

192
1
评论

1月前

带你体验最新版的DataOps 大数据平台——StreamSets ControlHub，简单到让人发指

这是我参与更文挑战的第9天，活动详情查看：更文挑战 1、呼之欲出的4.0版本很早就看到StreamSets上线了 4.0的帮助，但是下载版里并没有，这让人非常好奇，StreamSets在憋什么大招

3570
12
3

带你体验最新版的DataOps 大数据平台——StreamSets ControlHub，简单到让人发指

3天前

浅析大数据框架 Hadoop

Hadoop 概念及其发展 Hadoop 最早起源于 Nutch。Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题

84
点赞
评论

3天前

数据科学项目的生命周期

阅读时间： 2 分钟概述数据科学项目的开发周期与传统的软件开发周期不同。虽然各组织的开发方法和实践各不相同，但大多数组织都有类似的流程。其中一个众所周知的流程是数据挖掘的跨行业标准流程（CRISP

89
点赞
评论

9天前

一个真实的数仓项目总结

背景公司业务整合，指标管理混乱，数据不一致问题严重，另外指标的开发和迭代效率也比较低；举措：进行集团指标认证，数据指标重新开发；建设前面临的问题指标非常多，业务复杂，变化快；人少，排期紧张

178
2
评论

1月前

看 Kunpeng BoostKit 使能套件如何实现大数据场景倍级性能提升

摘要：本次鲲鹏 BoostKit 训练营为开发者介绍如何基于鲲鹏 BoostKit 使能套件实现应用性能的加速，并重点剖析性能优化技术和关键能力。

1270
2
评论

11天前

Presto-MultilevelSplitQueue讨论

讨论下Presto的任务调度实现原理。MultilevelSplitQueue相关的代码实现。包括时间分片，优先级调度的取舍讨论，代码分析等等

153
点赞
1

17天前

个推拆解数据治理全链路，五步走帮你完美避坑！

在近日的个推TechDay线上技术直播中，个推数据中台解决方案顾问阿宣围绕数据治理的主题，分享了个推的实践经验和方法论，并结合实操案例对企业数据治理过程中的避坑点进行了细致剖析。

184
点赞
评论

个推拆解数据治理全链路，五步走帮你完美避坑！

17天前

Apache Superset 1.2.0教程（一）—— 安装（Windows版）

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/78891208939a419b8c2c8fb37784fcf0~tplv-k3u1fb

199
点赞
评论

14天前

从零开始，带你玩转一站式实时数仓Hologres

6大板块，20节实操干货，10+阿里云大数据领域专家手把手免费教学，涵盖快速入门、离线&实时同步、性能调优、企业级运维等一系列课程，让您从入门到精通，一次学到爽！

114
点赞
评论

从零开始，带你玩转一站式实时数仓Hologres

1月前

Hologres揭秘:深度解析高效率分布式查询引擎

为了让大家更加了解Hologres，我们计划持续推出Hologers底层技术原理揭秘系列，从高性能存储引擎到高效率查询引擎，高吞吐写入到高QPS查询等，全方位解读Hologers！

969
1
评论

Hologres揭秘:深度解析高效率分布式查询引擎

21天前

阿里巴巴大数据实践｜实时技术篇流式技术架构（二）

前言以上是实时技术篇的思维导图～接下来几篇 manor将更新正在阅读的《阿里巴巴大数据实践》的第五章实时技术 2 流式技术架构在流式计算技术中，需要各个子系统之间相互依赖形成一条数据处理链路

293
1
评论

阿里巴巴大数据实践｜实时技术篇流式技术架构（二）

27天前

MPP大规模并行处理架构详解（满满干货，需细嚼慢咽）

面试官：说下你知道的MPP架构的计算引擎？这个问题不少小伙伴在面试时都遇到过，因为对MPP这个概念了解较少，不少人都卡壳了，但是我们常用的大数据计算引擎有很多都是MPP架构的，像我们熟悉的Impal

358
1
评论

22天前

配置Hadoop集群客户端

对于集群来说，什么是客户端可以理解为：客户端是一台可以去访问集群，向集群发送/获取数据文件，可以执行分布式作业的机器(服务器)。客户端就像是一个抓手。配置集群客户端的步骤 <1>配置hosts

250
2
评论

21天前

2021年最新最全Flink系列教程__Flink综合案例(九)

day09_综合案例今日目标 Flink FileSink 落地写入到 HDFS FlinkSQL 整合 Hive数据仓库订单自动好评综合案例 Flink FileSink 落地写入到 HDFS

226
1
评论

2021年最新最全Flink系列教程__Flink综合案例(九)