版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何问题，可随时联系。 在批处理过程中，数据是划分为…

在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后…

相信凡是关注容器生态圈的人都不会否认，Kubernetes 已经成为容器编排调度的实际标准，不论 Docker 官方还是 Mesos 都已经支持了 Kubernetes。Spark 从2.3.0版本开始，也开始支持将任务提交至 Kubernetes 上进行计算。目前，Kylin…

昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…

近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 …

场景三：播放详情页下的“猜你喜欢”模块，用于推荐相似视频。 个性化推荐的目标是连接用户与内容、提升用户体验和优化内容生态。为了实现以上目标，算法需要理解内容，了解平台上可用于推荐的内容；同时也要理解用户，了解用户的兴趣爱好，从而进行精准推荐。 理解内容，即内容的特征提取。美拍A…

AI 前线导读：前些日子，腾讯主导开源大数据平台 Apache Hadoop 2.8.4 新版本发布的新闻引起了笔者的注意。自 Hadoop 从雅虎诞生之日起，已经走过了 10 来个年头，这期间，尤其是近年来，由华人作为 Release Manager 主导新版本发布已经有过不…