小米云技术

最近准备搭建一个新的kubernetes集群，将内核从3.18更新到了4.14版本，并执行一些常规的优化操作。在执行sysctl -p操作时突然报错如下： Linux 从4.12内核版本开始移除了 tcp_tw_recycle 配置。 移除sysctl.conf中关于net.i…

本文记录了HBase中Safepoint导致长时间STW此问题的解决思路及办法。 现象：小米有一个比较大的公共离线HBase集群，用户很多，每天有大量的MapReduce或Spark离线分析任务在进行访问，同时有很多其他在线集群Replication过来的数据写入，集群因为读写…

在10月20日的开源先锋日（OSCAR）上，小米开源了自研的SOAR（SQL Optimizer And Rewriter），点击查看“开源地址”。这是一款智能SQL优化和改写工具，开发人员可以直接通过此工具快速的对自己的SQL进行质量检查，生成评估报告，防止将问题SQL带到线…

众所周知，32位的IPv4地址已经基本耗尽（这里的耗尽只是说的分配完了，实际上有相当一部分并没有投入到使用中），新一代的网络协议--IPv6采用128位的地址长度拥有更大的地址空间，如此大的地址空间，可以给地球上的每粒沙子分配一个IPv6地址。IPv6网络普及的声音喊了很多年，…

nginx实际把http请求处理流程划分为了11个阶段，这样划分的原因是将请求的执行逻辑细分，以模块为单位进行处理，各个阶段可以包含任意多个HTTP模块并以流水线的方式处理请求。这样做的好处是使处理过程更加灵活、降低耦合度。这11个HTTP阶段如下所示： 接收到完整的HTTP头…

很多公司都有做动态调度系统，有些是基于 mesos+docker，有些采用了 google 的 K8s，或者是自研的系统，这些系统有一个明显的特征就是服务实例的ip会频繁更换。这时我们需要想办法让发布后的实例ip自动更新到 nginx 的配置中去，并且能够让其自动生效。本模块正…

小米的弹性调度平台（Ocean）以及容器平台主要基于开源容器自动化管理平台kubernetes（简称k8s）来提供服务，完善的监控系统提高容器服务的质量的前提。不同于传统物理主机，每个容器相当于一个主机，导致一台物理主机上的系统指标数量成本增长，总的监控指标规模相当庞大（经线上…

切片(slice)是Go语言中最基本和最常用的数据结构之一，在本文中希望可以帮助读者更好的使用这一数据结构。 切片表示一个具有相同数据类型元素的的序列，切片的长度可变，通常写成[]T，其中元素的类型都是T。 切片用来访问数组的部分或全部元素，这个数组称为切片的底层数组。切片主要…

了解用户名，组名，用户ID（uid）和组ID（gid）如何在容器内运行的进程与主机系统之间进行映射对于构建安全系统非常重要。如果没有提供任何其他选项，容器中的进程将以root身份执行（除非在Dockerfile中提供了不同的uid）。本文将解释这是如何工作的，如何正确授予权 首…