守护石

想要进入大数据领域，首先最好要有一个演练场景，也就是你服务的客户具备大量非结构化的数据。若无法满足这一点，其实也不必烦恼，留意有些书的例子就带了很多数据，例如Google的Kaggle网站，有很多美国公共事业的数据。 其次学习大数据要有足够的机器资源，一台8核，16g—32g内…

构建互联网医疗平台架构平台，我们尝试了用DevOps的方式，这个跟实际情况有直接关系。我们当时的技术场景比较多，业务场景极其复杂。后端是Spring cloud构成的微服务，postgresql作为主

首先redis采用去中心化的设计这个理解是不到位的。redis分布式的模式，具有主从和集群两种，redis社区的集群方案redis cluster采用的是去中心化设计。我们先看看redis的演化过程： 上图是标准的Redis主从模式，只有Master接收写入请求，并将写入的数据…

首先我们延续上一期视频中日志采集架构的案例，Filebeat采集日志并推送Kafka消息队列进行分发，再由Logstash消费日志消息，并将日志数据最终落地在Elasticsearch集群索引当中，Kafka作为消息队列分发服务需要将收集到的日志消息继续分发下去，最终数据落地在…

首先分布式数据并不是绝对的喜欢使用kv存储模式，例如分布式数据库里面mongodb和elasticsearch是文档形式存储，若把HDFS也算进去的话，它是无索引的存储。 上图是HDFS作为分布式数据存储的文件分块存储模式，简单直接，并没有进行任何的kv索引建立。我们可以看到图…

通过看到一种火热的技术现象，会产生对事物的一种浅层认知后，然后再深入理解去获得一个比较深刻的认识。 大数据具有社会化，技术性的重要特点。 先说这个“大”，也就是大数据最早的定义：速度、类型和容量，所谓的3V。实际上大数据的发展早已经突破了这个定义。数据体现的不是所谓的“大小”，…

我们的目标是一台主机主机上的服务会产生日志，例如/var/log目录下面会不断产生各种日志记录我们把这个采集范围称为日志采集源这时候我们把ELK的文件采集器filebeat部署到这台主机上，让它实时监测并增量采集最新的日志记录Filebeat可以给ELK家族的Elasticse…

.... 微服务架构的目的是对原来过于大而重的云应用服务进行解耦，手段是进行比较合理的业务模块拆解，拆解的粒度往往由架构师掌握，实现细粒度的服务，服务在云端形成分布式状态。 那么微服务就具有了分布式的一些应用场景，比如：不同主机的分布式对象之间调用，以前EJB用RMI（远程方法…

当年的清华Luma QQ作者的封版告别信，就能判断出当时的商业化公司是多么与开源社区格格不入。但是Linux的桌面端发展到现在不是好好的吗，没有从历史的长河消失啊，而且桌面越来越成熟。另一面的服务器端发展基本上已经一统天下了！ 想要理解Linux的发展要从他的原始初衷看，而不能…