数澜科技

本文是数据治理系列文章的第三篇，主要讲数据治理中的重要工作：数据质量管理。 我将从数据质量管理的目标，质量问题产生的根源，讲到如何评估数据质量，如何贯彻数据质量管理流程，最...

Hello，大家好，今天给大家讲讲用户权限。可能有人会觉得用户权限有什么好讲的，市面上通用的RBAC权限模型多了去了，还需要你个小菜鸟来讲。说这话的，可能没看到我背上纹的小...

从 IT 时代到 DT 时代，每个企业无一不被「大数据」、「数字化转型」这样陌生又熟悉的词汇环绕着。似乎一夜之间，这条通往未来的数据之路旁早已挤满了拿着车票却不知该如何上车...

大数据是一门概念，也是一门技术，是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。 大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数...

前言：作为一名开发人员我们经常会听到HTTP协议、TCP/IP协议、UDP协议、Socket、Socket长连接、Socket连接池等字眼，然而它们之间的关系、区别及原理并...

如果我说：元数据（Meta Data），就是描述数据的数据。没有技术背景加持的路人粉看到这句「绕口令」，内心可能会浮现这样的想法： 简单点，其实元数据相当于数据的户口本。 ...

在大部分测试人员眼中只要沾上“框架”，就感觉非常神秘，非常遥远。大家之所以觉得复杂，是因为落地运用起来很复杂；每个公司，每个业务及产品线的业务流程都不一样，所以就导致了“自...

说明Giraph如何借助ZooKeeper来实现Master与Workers间的同步（不太确定）。 在单机上（机器名：giraphx）启动了2个workers。 Girap...

大数据时代，数据成为社会和组织的宝贵资产，像工业时代的石油和电力一样驱动万物，然而如果石油的杂质太多，电流的电压不稳，数据的价值岂不是大打折扣，甚至根本不可用不敢用，因此，...

由前文知道每个BSPServiceWorker有一个WorkerServer对象，WorkerServer对象里面又有ServerData对象，作为数据实。ServerDa...

“2018年，在人工智能、区块链等概念的花式风口与泡沫之下，企业服务领域反以其针对B端企业的重实用性与宽“护城河”，正有条不紊的发展着。云服务、企业OA、协同SaaS产品、...

关于大数据是什么，从一开始仅仅只想做数据，到开始意识到自己做的是对整个集团有核心意义的数据产品，再到走到外面，把数据能力对外输出，所有过程中，不断的有客户问到这个问题，有懵...

这个架构，层次结构非常清晰，但是链路非常长，导致数据冗余非常大，同时数据表结构关系复杂，是一个典型的给技术人员使用的模型，业务的同学要使用数据是非常难的，没法理解底层复杂的...

功能：Basic service interface shared by both CentralizedServiceMaster and CentralizedServ...

Apache Giraph is an iterative graph processing system built for high scalability. For ...

wiremock-py 是基于WireMock实现的, 使用Python批量生成不同 测试场景 下不同HTTP API的 mock 数据, 然后作为mock server快...

hdfs是hadoop的分布式文件系统，即Hadoop Distributed Filesystem。下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥H...

在解决你是否需要数据中台这个问题之前，让我们先理理它究竟是什么。 它是工具？是方法？还是组织架构？我的回答是：都不仅仅是。 数据中台包括平台、工具、数据、组织、流程、规范等...