Mr_CAO10586

项目开发初期，为了测试方便，我们总要造不少假数据到系统中，尽量模拟真实环境。 比如要创建一批用户，创建一段文本，或者是电话号码，抑或着是街道地址或者IP地址等等。 以前要么就是键盘一顿乱敲，随便造个什么字符串出来，当然最后谁也不认识谁。 现在你不要这样做了。 用faker就能满…

另外考虑到存储压力，ID 当然是越短越好。 先说最容易理解的方案，利用数据库的自增长序列生成：数据库生成唯一主键，并通过服务提供给其他系统；如果是小型系统，数据总量和并发量都不是很大的情况下，这种方案足够支撑。 如果每次生成一个 ID 可能会对数据库有压力，可以考虑一次性生成 …

不知道大家的公司用Elasticsearch多不多，反正我公司的是有在用的。平时听同事们聊天肯定避免不了不认识的技术栈，例如说：把数据放在引擎，从引擎取出数据等等。 如果对引擎不了解的同学，就压根听不懂他们在说什么（我就是听不懂的一位，扎心了）。引擎一般指的是搜索引擎，现在用得…

架构改动Table/SQLAPIRuntime生态最后GitHubFlink学习代码地址：https://github.com/zhisheng17/flink-learning微信公众号：zhish

用IDEA搭建我们的环境有很多好处，其中最大的好处，就是我们甚至可以在工程当中直接运行、调试我们的代码，在控制台输出我们的结果。或者可以逐行跟踪代码，了解spark运行的机制。因此我们选择了idea，当然Idea不是首选，当然也可以用其他工具。因为我们的Spark程序用scal…

在上一节Spark经典的单词统计中，了解了几个RDD操作，包括flatMap，map，reduceByKey，以及后面简化的方案，countByValue。那么这一节将介绍更多常用的RDD操作，并且为每一种RDD我们分解来看其运作的情况。 flatMap，有着一对多的表现，输入…

产品需求的变更总是随心所以，猝不及防。如何让代码变得更有扩展性，以让我们在面对频繁需求变更时，不至于狼狈不堪？

Java 中的 ClassLoader 可以加载 jar 文件和 Class文件（本质是加载 Class 文件），这一点在 Android 中并不适用，因为无论 DVM 还是 ART 它们加载的不再是 Class 文件，而是 dex 文件。 Android 中的 ClassLo…

本文介绍 Hive on Spark 的调优过程（各参数的设置）及调优前后性能对比。