一千个读者眼中有一千个哈姆雷特，一千名 大数据 程序员心目中就有一千套 大数据面试题。本文就是笔者认为可以用来面试大数据 程序员的面试题。 这套题的题目跟公司和业务都没有关系，而且也并不代表笔者本人可以把这些题回答得非常好，笔者只是将一部分觉得比较好的题从收集的面试题里面抽出来…

用 ELK Stack 和 Docker 搭建日志平台

0x00前言把之前写的数据仓库系列博客，汇总和整理成了一本更系统的小书《DataWarehouseinAction》。0x01大数据和数据仓库16年开始接触数据仓库，至今有一年半的时间，中间换了次工作

服务治理分为两篇文章，上篇介绍用Docker+Consul+Registrator实现服务注册，下篇介绍使用Nodejs实现服务发现。服务治理是微服务中最基础也是最核心的功能。 在刚开始构建微服务的时候，服务并不是特别的多，可以通过静态配置方式来完成服务调用。比如A服务调用B…

上一篇文章《爬取11088个知乎专栏，打破发现壁垒》里提到，知乎官方没有搜素专栏的功能，于是我通过爬取几十万用户个人主页所关注的专栏从而获取到11088个知乎专栏。 本回筛选出其中涉及：编程、python、爬虫、数据分析、挖掘、ML、NLP、DL等关键词的专栏，按照排名、关注人…

近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益成为各类企业和机构的标配。在这种背景下，是否能探索和挖掘数据价值，具备精细化数据运营的能力，就…

Zabbix 作为企业级分布式监控系统，具有很多优点，如：分布式监控，支持 node 和 proxy 分布式模式；自动化注册，根据规则，自动注册主机到监控平台，自动添加监控模板；支持 agentd、snmp、ipmi 和 jmx 等很多通信方式。 同时，Zabbix 官方还发布了 Zabbix Docker 镜像。此次我们以 Zabbix 的官方 Docker 镜像为基础，搭建一个监控平台。