小米云技术

最近准备搭建一个新的kubernetes集群，将内核从3.18更新到了4.14版本，并执行一些常规的优化操作。在执行sysctl -p操作时突然报错如下： Linux 从4.12内核版本开始移除了 tcp_tw_recycle 配置。 移除sysctl.conf中关于net.i…

在10月20日的开源先锋日（OSCAR）上，小米开源了自研的SOAR（SQL Optimizer And Rewriter），点击查看“开源地址”。这是一款智能SQL优化和改写工具，开发人员可以直接通过此工具快速的对自己的SQL进行质量检查，生成评估报告，防止将问题SQL带到线…

本文记录了HBase中Safepoint导致长时间STW此问题的解决思路及办法。 现象：小米有一个比较大的公共离线HBase集群，用户很多，每天有大量的MapReduce或Spark离线分析任务在进行访问，同时有很多其他在线集群Replication过来的数据写入，集群因为读写…

nginx实际把http请求处理流程划分为了11个阶段，这样划分的原因是将请求的执行逻辑细分，以模块为单位进行处理，各个阶段可以包含任意多个HTTP模块并以流水线的方式处理请求。这样做的好处是使处理过程更加灵活、降低耦合度。这11个HTTP阶段如下所示： 接收到完整的HTTP头…

众所周知，32位的IPv4地址已经基本耗尽（这里的耗尽只是说的分配完了，实际上有相当一部分并没有投入到使用中），新一代的网络协议--IPv6采用128位的地址长度拥有更大的地址空间，如此大的地址空间，可以给地球上的每粒沙子分配一个IPv6地址。IPv6网络普及的声音喊了很多年，…

很多公司都有做动态调度系统，有些是基于 mesos+docker，有些采用了 google 的 K8s，或者是自研的系统，这些系统有一个明显的特征就是服务实例的ip会频繁更换。这时我们需要想办法让发布后的实例ip自动更新到 nginx 的配置中去，并且能够让其自动生效。本模块正…

小米的弹性调度平台（Ocean）以及容器平台主要基于开源容器自动化管理平台kubernetes（简称k8s）来提供服务，完善的监控系统提高容器服务的质量的前提。不同于传统物理主机，每个容器相当于一个主机，导致一台物理主机上的系统指标数量成本增长，总的监控指标规模相当庞大（经线上…

如今的数据库种类繁多，RDBMS（关系型数据库）、NoSQL（Not Only SQL）、NewSQL凭借己之长处，在数据库领域均有一席之地，可谓百家争鸣之势。先上一张DBEngines在2018年8月发布的数据库排名： 我们可以看到数据库份额之间的竞争还是十分激烈的。而本篇文…

切片(slice)是Go语言中最基本和最常用的数据结构之一，在本文中希望可以帮助读者更好的使用这一数据结构。 切片表示一个具有相同数据类型元素的的序列，切片的长度可变，通常写成[]T，其中元素的类型都是T。 切片用来访问数组的部分或全部元素，这个数组称为切片的底层数组。切片主要…

rsync 是一款快速增量备份工具，类似 Unix 系统下的数据镜像备份工具——RemoteSync。rsync 远程同步支持本地复制、与其他ssh、rsync主机同步。 1、可以镜像保存整个目录树和文件系统。 2、可以很容易做到保持原来文件的权限、时间、软硬链接等等。 3、无…