本历年加油

scala shell方式支持流处理和批处理。当启动shell命令行之后，两个不同的ExecutionEnvironments会被自动创建。使用senv(Stream)和benv(Batch)分别去处理流处理和批处理程序。(类似于spark-shell中sc变量) 而且细心的小…

接着《一口气说出 9种 分布式ID生成方式，面试官有点懵了》来继续详细的介绍分布式ID生成器，大家比较感兴趣的美团（Leaf）、滴滴（Tinyid）、百度（uid-generator）三个开源项目，美团（Leaf）已经讲完，详见《9种分布式ID生成之美团（Leaf）实战》，今天…

还记得刚入行开始写Java时，接触的第一个项目是国家电网的一个业务系统，这个系统据说投资了5亿人民币进行研发，鼎盛时期研发人员一度达到过500人。项目采用当时最流行的ssh（Struts+Spring+Hibernate）框架，典型的三层架构（controller - > se…

近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系…

前几天写过一篇《一口气说出 9种 分布式ID生成方式，面试官有点懵了》，里边简单的介绍了九种分布式ID生成方式，但是对于像美团（Leaf）、滴滴（Tinyid）、百度（uid-generator）都是一笔带过。而通过读者留言发现，大家普遍对他们哥三更感兴趣，所以后边会结合实战，…

1. 图状结构数据广泛存在 这三种数据关联在一起，形成图状（Graph）结构数据。 为了满足 social graph 的在线增删改查场景，字节跳动自研了分布式图存储系统——ByteGraph。针对上述图状结构数据，ByteGraph 支持有向属性图数据模型，支持 Gremli…