木东居士的茶水间

周末闲来无事，想到从13年接触大数据这个名词，到现在也有4年的时间了，随便聊一聊自己和大数据接触的那些经历。 “什么是大数据？” 这个问题其实挺难回答的，因为随着技术和时代的变化，一些名词总是被赋予不同的概念，大数据也是，在居士的认知历程中，大数据的概念在某个时期有很广的含义，…

今天和朋友在聊天，聊到怎样在面试和与人沟通的过程中体现自己的技术广度，感觉挺有意思，整理分享一下。分两个点来聊：1.有哪些方面的技术广度可以提高；2.怎样提高。其中第一个点可以近似地转换为数据开发工程师的技能树，有所不同，但是可以按照这个思路来考虑。 数据开发工程师这个职位其实…

请听题:什么是熵？什么是交叉熵？什么是联合熵？什么是条件熵？什么是相对熵？它们的联系与区别是什么？ 如果你感到回答这些问题有些吃力，对这些概念似乎清楚，似乎又没有那么明白，那这篇文章就是为你准备的。 假设有一枚硬币，将其抛出，落下后朝上的面为y。 这里的y是对未知量的一个表示。…

结丹篇是《你了解你的数据吗》第四篇，本篇主要聊的内容主要和数据质量监控有关，之前在《数据质量监控》专门分享过相关内容，那篇文章主要从一个宏观的整体来看待质量监控，内容包括架构、设计和实现多个方面，但是对于数据质量监控本身的内容并没有一个比较体系化的梳理，本篇就来做这件事。 我们…

刚入行做数据开发的时候经常听企业导师讲，你要有数据的意识，不能只知道闷着头来一个需求接一个，要从业务的角度来理解数据，这样你的职业线才能更长。 本篇不会分享和业务强相关的数据 Sense，但是会引入一些各种业务都会涉及的最基本内容： 数据核心维度分布：核心业务维度分布，主要是指…

数据一道，可深可浅，可大可小。同为数据人，新手和老鸟亦有很大差别。本篇是了解数据的入门篇，包含两部门内容： 数据接入，你的掌控力如何？主要聊一聊数据接入人员对自己接入数据的了解的程度。 数据的坑，你总结了多少规律？在数据接入和基本的数据处理中，会遇到很多数据异常，这些异常你是否…

你了解你的数据吗？ 前几天突然来了点灵感，想梳理一下自己对数据的理解，因此便有了这篇博客或者说这系列博客来聊聊数据。 数据从业者有很多，比如说数据开发工程师、数据仓库工程师、数据分析师、数据挖掘工程师、数据产品经理等等，不同岗位的童鞋对数据的理解有很大的不一样，而且侧重点也不同…

学的越深越能体会到自己的无知，理解的越深刻越不敢张口说自己是搞这一行的。 把之前写的数据仓库系列博客，汇总和整理成了一本更系统的小书《Data Warehouse in Action》。 16 年开始接触数据仓库，至今有一年半的时间，中间换了次工作，也算是在两家公司实践了数据仓…

2017 年初，我开始在简书上写关于数据仓库的系列博客，博客主题围绕大数据场景下数据仓库的理论和实践来展开，截止现在已有十篇左右。最初写作的时候主要是抱着学习和总结的态度，导致很多地方略显粗糙和不严谨，加上这一系列的博客也收到了不少读者朋友的反馈，我就有了重新整理一遍该系列的想…