后端开发

这里记录一下学习与使用Protocol Buffer的笔记，优点缺点如何使用这里不再叙述，重点关注与理解Protocol Buffers的工作原理，其大概实现。 我们经常使用Protocol Buffer进行序列化与反序列化。理解Protocol Buffer的工作原理，就要理…

在国内访问 Docker 官方的镜像，一直以来速度都慢如蜗牛。为了快速访问 Docker 官方镜像都会配置三方加速器，目前常用三方加速器有：网易、USTC、DaoCloud、阿里云。 现在 Docker 官方针对中国区推出了镜像加速服务。通过 Docker 官方镜像加速，国内用…

工作中，我们经常会用到线程池，通常是任务产生后放到一个任务队列，线程池中的线程不断从任务队列中取任务执行，但这样设计在一些情况下并不是最优的，更常见的实现是基于work-stealing的线程池。work-stealing从字面理解即工作窃取，工作窃取（work-stealin…

多线程编程可以说每个程序员的基本功，同时也是开发中的难点之一，本文以Linux C为例，讲述了线程的创建及常用的几种线程同步的方式，最后对多线程编程进行了总结与思考并给出代码示例。 多线程编程的第一步，创建线程。创建线程其实是增加了一个控制流程，使得同一进程中存在多个控制流程并…

Git是开源的分布式版本控制系统，可以说是开发人员必备了，每个程序员都应该掌握。这里主要讲Git的安装与配置，工作区、暂存区、版本库的概念以及常用的一些命令。 Ubuntu下可以运行以下命令安装：sudo apt install git，安装成功后可查看Git版本：git --…

在Elasticsearch中，我们常常需要按时间来建立索引，以便我们今后的使用与管理，同时我们也经常按时间去删除一些老的数据。比如只保留最近3天的数据，只需将超多3天的索引数据删除就好了。删除索引有很多种方法，你可以自己编写脚本删除索引，也可以手动删除索引curl -XDEL…

在存储你的第一个事件一节中，我们创建了一个简单的Logstash管道示例来测试你已安装运行的Logstash。在生产环境中，Logstash管道会非常复杂：一般包含一个或多个输入，过滤器，输出插件。 在本章节，你将创建一个Logstash管道：Filebeat采集Apache …

首先，我们通过一个最简单的Logstash管道来测试Logstash是否已经安装成功。 Logstash管道有两个必需的元素：输入和输出，以及一个可选元素：过滤器。输入插件从源消耗数据，过滤器插件根据您指定的内容修改数据，输出插件将数据写入目标。 -e选项允许你可以直接在命令行…

在本章节，你将会学到Filebeat的关键组成部分以及它们是如何组织工作的。理解这些概念将有助于你对自己的Filebeat用例进行更优的配置。 Filebeat主要由2部分构成：输入嗅探(inputs)和收集器(harvester)。这些组件组合在一起，追踪数据文件并且将至发送…

Filebeat是一个轻量级的日志数据收集传输工具(shipper)。Filebeat安装在用户服务器上，监测追踪用户指定的日志文件或目录，收集日志，然后将之传输到Elasticsearch或Logstash以便进行后面的索引工作。 接下来让我们看一下Filebeat是如何工作…

日志库的设计，抓住最核心的一条，就是日志从产生到到达最终目的地期间的处理流程。 一般而言，为了设计一个灵活可扩展，可配置的日志库，可将日志库抽象为4个部分：记录器、过滤器、格式化器、输出器四部分。 通过将日志库分为4个抽象，使之成了一个较为灵活可扩展的日志库。比如你想实现输出到…