Azure时间序列洞察力介绍

68 阅读7分钟

在这篇文章中,我们将详细了解Azure时间序列洞察力。微软Azure是如今领先的云供应商之一。如今,随着很多公司采用或迁移到云端,将现有技术转化为基于云端的服务并加以消费已经成为一种常见的趋势。这不仅有助于公司降低成本,而且反过来使他们能够专注于更多与业务有关的问题,而不是集中于基础设施成本。

Azure时间序列洞察力是云服务之一,用户可以用它来整合他们随时间不断变化的数据,如来自各种传感器或机器的数据,来自卫星、航空公司的数据等。任何可以大规模产生并需要分析的数据,都可以通过Azure Time Series Insights使用。在这篇文章中,我们将重点介绍这项服务的高层次介绍,以及一些详细的使用案例。

IoT Data Flow

图1 - 物联网数据流(来源)

Azure时间序列洞察力(TSI)的概述

Azure Time Series Insights是Azure提供的一项基于云的服务,可用于摄取、建模、查询和可视化由物联网设备产生的快速移动的时间序列数据。

Advanced Analytics using Azure Time Series Insights

图2 - 使用Azure时间序列洞察的高级分析(来源)

如上图,你可以看到Azure TSI在现实生活中如何实现的高级架构。时间序列形式的实时数据可以由各种设备产生,如移动设备、传感器、卫星、医疗设备等。这些设备的数据可以通过Azure IoT Hub被提取到Azure环境中。Azure物联网中心作为一个数据集成管道,连接到源设备,然后获取数据并将其送到TSI平台。一旦数据进入TSI,它就可以用于可视化目的,并可以进行相应的查询和汇总。此外,客户还可以在TSI中的数据基础上利用现有的分析和机器学习能力。来自TSI的数据可以使用Azure Databricks进一步处理,机器学习模型可以根据预先训练的模型进行应用,这些模型将实时提供预测。这就是如何启用Azure时间序列洞察力的整体架构。

使用Azure TSI,用户可以使用线形图或热图轻松地将汇总的数据可视化。

Azure时间序列洞察力的组成部分

Azure TSI提供了以下四个组件,用户可以利用这些组件从不同的数据源获取数据,具体如下。

  • 集成- TSI通过允许云数据网关(如Azure IoT Hub和Azure Event Hubs)之间的连接,从使用物联网设备产生的数据中提供了一个简单的集成。来自这些来源的数据可以很容易地以JSON结构消费,清洗,然后存储在一个列式存储中。
  • 存储- Azure TSI还负责将数据保留在系统中,用于查询和可视化数据。默认情况下,数据存储在SSD上,以便快速检索,并有400天的数据保留政策。这支持查询长达400天的历史数据。
  • 数据 可视化- 一旦数据从数据源获取并存储在列式存储中,它可以以线图或热图的形式进行可视化。视觉效果是由Azure TSI提供的,可以利用它来进行简单的视觉分析。
  • 查询 服务--虽然数据的可视化可以回答很多问题,但是TSI也提供了查询服务,你可以利用这些服务将TSI集成到你的自定义应用程序中。

通常情况下,时间序列数据是以时间戳为索引的。因此,你可以通过使用TSI作为后台服务来整合和存储数据,并使用Azure TSI的客户端SDK来构建前端,并显示线图和热图等视觉效果,从而构建你的应用程序。

了解Azure TSI的存储层和数据可用性

我们已经讨论过,Azure TSI中的数据是按时间戳索引并存储在Azure存储账户中的。对于Azure时间序列洞察力,数据被配置为存储在两种类型的存储中--热存储和冷存储。这是一个非常重要的概念,因为只有30天的数据被存储在暖存储中,而超过30天的数据被存储在冷存储中。这使得Azure TSI在查询过去30天内的数据时速度非常快,因为这些数据是从温暖存储中获取的。但是,如果你需要查询更长时间的数据,那么就会从冷库中读取。

在Azure门户中使用Azure时间序列洞察力

现在我们对Azure TSI有了一些了解,让我们学习如何在Azure门户上使用它。Azure TSI就像其他Azure管理的服务一样,因此可以直接从Azure门户中启动。导航到insights.timeseries.azure.com/,点击查看样本。Azure TSI通常与你环境中一些物联网设备已经产生的数据一起工作。就本文而言,我们没有任何物联网设备与之相连,因此,我们将采用Azure默认为我们提供的样本。

Azure TSI portal with Demo IoT Environment

图3 - Azure TSI门户与演示物联网环境

一旦你导航到门户,Contoso应用的演示环境就会打开,并有一些漂亮的可视化效果。Contoso风电场是一个虚构的风力发电厂,它有两个风车W6和W7在1号厂和2号厂运行。每个工厂都有几个物联网设备,收集有关以下方面的信息。

  • 齿轮箱系统
  • 发电机系统
  • 变桨系统
  • 安全系统
  • 天气系统
  • 偏航系统

Contoso Plant Hierarchy in Azure TSI portal

图4 - Azure TSI门户中的Contoso工厂层次结构

工厂中列出的物联网传感器或设备将以分层的方式出现,这样用户就可以更容易地导航和浏览设备的读数。

有可能改变可见窗口的日期范围。你只需向左或向右拖动时间切片器手柄就可以做到这一点。由于这里的数据是以时间戳为索引的,所以速度非常快,可视化反映的变化延迟非常小。

Changed the time slicer from 30 days to 180 days

图5 - 将时间切片器从30天改为180天

你可以在应用程序中列出的每个设备中进行导航。这提供了对设备的可见性,并且可以监测它们的性能。例如,在工厂内出现一些缺陷的情况下,可以进行调查,并确定问题的根本原因。使用Azure TSI进行根本原因分析的一个非常好的例子可以在官方文件中找到。

总结

在这篇文章中,我们已经详细了解了使用Azure时间序列数据的概念,我们不断产生的数据是基于时间的。这些数据可以在各种各样的系统中产生,如网站、用户,甚至是传感器或医疗设备等物联网设备。我们可以使用这些设备的数据,并在需要时实现各种用例。有了这项服务,你可以很容易地从各种数据源汇总你的快速移动的数据,并在网络应用程序或仪表盘上得到可视化。另外,你也有能力对这些数据进行查询,获得更简化的结果。

要了解更多,请关注微软的官方文档。你可以通过关注Azure TSI团队的Twitter来了解他们的最新消息和公告。

Aveek Das

Aveek是一名经验丰富的数据和分析工程师,目前在爱尔兰都柏林工作。他的主要技术兴趣领域包括SQL Server、SSIS/ETL、SSAS、Python、Apache Spark、Kafka等大数据工具以及AWS/Amazon和Azure等云技术。

他是一个多产的作者,在各种技术博客上发表了100多篇文章,包括他自己的博客,并经常在不同的技术论坛上发表文章。

在闲暇时间,他喜欢业余摄影,主要是街头图像和静物。在Instagram上可以看到他的一些作品的缩影。你也可以在LinkedIn上找到他

查看Aveek Das发表的所有文章

Aveek Das