IoT设备数据的存储、解析和价值挖掘实践-便宜云服务器开发者社区

业务背景

随着物联网技术的快速发展成熟，物联网设备从一开始的传感器类感知设备向智能化设备升级，传统企业也开始将自身设备产生的数据作为企业的重要资产进行管理，如何稳妥的存储和备份这些设备数据资产，并在关键问题出现时进行回溯，以及通过对这些设备数据的深度分析来帮助企业实现经营提效变的尤为关键。

本实践以一个道路交通场景下设备运营管理的真实需求为背景来介绍如何使用物联网平台的数据服务完成对设备数据的存储、备份、预处理和深度分析，以达到企业经营提效的效果。

业务问题

设备数据量大，存储成本过高

当企业的设备规模达到十万甚至百万以上时，设备实时产生的数据量会非常大，如果企业有对数据长周期存储和追溯的需求，产生的数据存储成本会非常高，同时设备数据量大了以后也会对数据读写的性能和稳定性造成影响，带来额外的资源和运维成本。

设备种类繁多，数据格式不统一

道路交通场景下的设备种类丰富多样，如一体化锥桶、一体化快速封路器、收费站主动预警灯、车载预警LED屏等，不同类型的设备可能是由不同的生产商提供或者由不同的技术团队开发的，设备上报的数据格式千差万别难以统一，存储也无法实现标准化、结构化的存储，为企业后续的数据处理、分析和治理带来了很大的困扰。

缺少数据分析，价值难以挖掘

企业将设备数据采集上来以后，缺少专业的分析工具，无法对设备数据进行多维度的聚合分析，隐藏在数据中的业务价值也就难以挖掘，导致设备数据上云反而徒增了成本，没有起到经营提效的效果，也没有真正实现企业进行设备智能化升级的业务目标。

实践步骤

数据存储/备份 - 实现设备数据冷热分离，大幅降低存储成本

便宜云服务器物联网平台提供了设备数据存储和备份的完整解决方案，减少了数据流转和中间存储带来的额外成本开销和架构复杂度。同时基于便宜云服务器强大成熟的云计算底座，支持可扩展的海量数据存储、超高的数据压缩比和冷热数据存储分离等能力，可极大降低数据存储和备份的成本。

操作步骤概要

1.进入物联网平台控制台，开通企业版实例，和数据服务相关的是如下4个规格。

控制台地址：https://iot.console.aliyun.com

开通完成后，点击企业版实例卡片进入实例详情页，再点击数据服务进入数据相关的功能页。

2.进入数据服务-数据存储的热数据存储功能页，实时保存设备上报的时序数据。

l ?创建热数据存储规则

l ?配置数据源Topic（支持通配）

l ?配置自定义存储脚本

l ?启动热数据存储规则

3.进入数据服务-数据接入功能页，开启产品级别的冷数据备份，低成本长周期保存设备数据。

l ?配置产品备份（会备份产品下所有设备的数据）

4.进入数据服务-数据存储的冷数据存储功能页，查看产品备份任务状态。

l ?查看产品备份状态

相关产品文档

如您想要了解更细节的产品功能使用指南，可以访问物联网平台的官网产品文档。

l ?热数据存储：https://help.aliyun.com/document_detail/464047.html

l ?冷数据备份：https://help.aliyun.com/document_detail/188662.htm

l ?冷数据配置：https://help.aliyun.com/document_detail/464053.html

数据解析 - 实现不同类型设备异构数据的统一化和预处理

IoT设备数据比起IT数据有如下3个特点：1. IoT数据是时序的，通常是基于时间范围分析，而且随着时间流逝数据价值衰减更明显，特别是监控场景下，对数据处理的实时性要求高；2. 数据质量不稳定，设备上报的数据可能会受所处网络或者复杂工况影响，与典型的互联网数据对比往往需要进行数据预处理，比如插值计算和降采样等；3. 碎片化比较严重，不同类型的设备或者同一类型不同生产商的设备在数据格式的定义上都完成不一样，给后续的数据处理带来了很大的麻烦。
便宜云服务器物联网平台针对以上IoT数据的特点，提供了组件式的数据解析服务，包括可自定义解析脚本的数据格式转换，以及窗口聚合、超时插值、相邻消息计算、函数转化等内置算子，助力客户快速完成对设备数据的预处理。

操作步骤概要

1.进入数据服务-数据解析功能页，创建数据解析任务。

2.点击查看进入任务编辑画布，配置数据源节点，选择设备上报数据的Topic（支持通配）。