IoT日志利器：嵌入式日志采集客户端（C Producer）发布

2017年12月19日至20日，2017云栖大会·北京峰会在国家会议中心召开，飞天智能是贯穿云栖大会不变的主题，云计算、大数据、人工智能、物联网等热门话题备受各方关注。其中阿里云日志服务发布的嵌入式日志采集客户端（C Producer Library) 就是其中解决物联网日志采集、分析难的利器。

背景

IoT（Internet of Things）正在高速增长，越来越多设备开始逐步走进日常生活（例如智能路由器、各种电视棒、天猫精灵、扫地机器人），让我们体验到智能领域的便利。距Gartner预测，到2020年末预计会有200亿智能设备，可见该领域的巨大市场。

作为IoT/嵌入式工程师，除了需要深厚的开发功底外，面对海量的设备，如何有能力管理、监控、诊断这些“黑盒”设备至关重要。我们总结了嵌入式开发需求，主要有以下几点：

思考以上问题的解决方案，我们发现在传统软件领域那一套手段面临IoT领域基本全部失效，主要挑战来自于IoT设备这些特点：

日志服务(原SLS) 客户端Logtail在X86服务器上有百万级部署，可以参见文章：Logtail技术分享 : 多租户隔离技术+双十一实战效果，Polling + Inotify 组合下的日志保序采集方案。除此之外我们还有以下几种方式：

在IoT领域，我们从多年Logtail的开发经验中，汲取其中精华的部分，并结合IoT设备针对CPU、内存、磁盘、网络、应用方式等特点，开发出一套专为IoT定制的日志数据采集方案：C Producer

C Producer Library 继承Logtail稳定、边界特点，可以定位是一个“轻量级Logtail”，虽没有Logtail实时配置管理机制，但具备除此之外70%功能，包括：

提供多租户概念：可以对多种日志（例如Metric，DebugLog，ErrorLog）进行优先级分级处理，同时配置多个客户端，每个客户端可独立配置采集优先级、目的project/logstore等
支持上下文查询：同一个客户端产生的日志在同一上下文中，支持查看某条日志前后相关日志
并发发送，断点续传：支持缓存上线可设置，超过上限后日志写入失败

还有一些专门为IoT准备功能，例如：

C-Producer是量身为IoT定制的方案，因此会有一些特定考虑：

在以上场景中，C Producer Library 会简化您程序开发的步骤，您无需关心日志采集细节实现、也不用担心日志采集会影响您的业务正常运行，大大降低数据采集门槛。

为了有一个感性认识，我们对C-Producer 方案与其他嵌入式采集方案做了一个对比，如下：

C-Producer + 日志服务可以给IoT带来什么？答案是：IoT日志解决方案：

规模大
- 支持亿级别客户端实时写入
- 支持 PB/Day 数据量
速度快
- 采集快：0延迟：写入0延迟，写入即可消费
  - 查询快：一秒内，复杂查询（5个条件）可处理10亿级数据
  - 分析快：一秒内，复杂分析（5个维度聚合+GroupBy）可聚合亿级别数据
对接广
- 与阿里云各类产品无缝打通
- 各种开源格式存储、计算、可视化系统完美兼容

一个应用可创建多个producer，每个producer可包含多个client，每个client可单独配置目的地址、日志level、是否本地调试、缓存大小、自定义标识、topic等信息。

环境配置：传统X86服务器，树莓派（低功耗环境），配置分别如下：

一些典型场景可以参见云栖论坛和最佳实践。