近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 …

数据中台被誉为大数据的下一站，由阿里兴起，核心思想是数据共享，2015年阿里提出“大中台，小前台”的策略。2018 年因为“腾讯数据中台论”，中台再度成为了人们谈论的焦点。 2019年，似乎人人都在提数据中台，但却不是所有人都清楚数据中台到底意味着什么。数据中台是只有大厂才需要…

有人沉迷于刷抖音，有人沉迷于刷知乎，推荐系统如今已经影响甚至控制着人们的生活。本文将从最简单的算法和流程入手，使用Flask和gorse快速搭建一个Steam游戏推荐系统。 Steam: 通过API提供库存信息，以及提供游戏封面图片。 这个Steam游戏推荐系统已经部署到了st…

Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。 1. Flink Application 了解 Flink 应用开发需要先理解 Flink 的 Streams、…

Flink入坑指南系列文章，从实际例子入手，一步步引导用户零基础入门实时计算/Flink，并成长为使用Flink的高阶用户。本文属个人原创，仅做技术交流之用，笔者才疏学浅，如有错误，欢迎指正。转载请注明出处，侵权必究。 这是个很玄妙的问题。在以下网站上做了很专业的介绍。 Fli…

戳更多文章：1-Flink入门2-本地环境搭建&构建第一个Flink应用3-DataSetAPI4-DataSteamAPI5-集群部署6-分布式缓存7-重启策略8-Flink中的窗口9-Flink中

首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分，主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容，Flink 在有赞的实践。这其中包括了我们在…

目前在唯品会实时平台并不是一个统一的计算框架，而是包括 Storm，Spark，Flink 在内的三个主要计算框架。由于历史原因，当前在 Storm 平台上的 job 数量是最多的，但是从去年开始，业务重心逐渐切换到 Flink 上面，所以今年在 Flink 上面的应用数量有了…