
图片来源: Nana Smirnovaon Unsplash
工业4.0的竞赛和数字自动化的加速采用正在对各行业的组织进行压力测试。一个企业利用数据的能力是竞争优势的关键来源,这一点正变得越来越重要--这一原则在构建和维护计算机视觉应用时尤其适用。视觉自动化模型是由图像和视频驱动的,这些图像和视频捕捉了我们物理世界的数字表现。在大多数企业中,媒体是在多个传感器边缘设备上捕获的,并生活在孤立的源系统中,这使得跨环境的媒体整合成为一个核心挑战,在建立一个寻求视觉检测自动化的计算机视觉系统时需要解决。
在一个模型架构(建立训练人工智能模型的神经网络的代码)日益商品化和稳定的世界里,媒体变得更加重要。因此,对调整代码以优化性能的关注减少了,相反,更强调用你独特的媒体来训练行业标准模型,以教它如何最好地服务于你的应用。在以数据为中心的计算机视觉模型开发方法中,企业必须不断地在新的地面真实数据上训练模型,以防止领域和数据漂移。因此,无论是大型还是小型计算机视觉供应商,都必须确保组织能够以编程的方式不断地大规模汇集媒体。下面,我们将探讨一些我们认为在评估计算机视觉的数据管理解决方案时必不可少的领域。
预建的数据连接器
与已知的行业数据库架构或云供应商连接,而不需要定制python脚本。为了管理数据,你必须首先把它带到同一个地方。今天你的数据可能生活在各种商业云环境、企业内部系统和边缘设备中。你需要的是一种简化连接你所有硬件和软件的方式。预先建立的连接使这些过程在短短的几个点击下就能实现无缝连接,而不是几行代码。有一个代码编辑器(Python SDK),让你在需要时建立自定义的连接,也是无妨的。简而言之,你不希望每次需要整合一个新的媒体源时都要去敲你的IT部门的门。这对每个人来说都是一种痛苦。
数据组织
将你的大规模数据组织到文件夹中,确保你的数据湖不会成为一个数据沼泽。将不同来源的数据汇集在一起可能是一件混乱的事情。为了快速找到你需要的数据,像文件夹、桶或数据集这样的组织结构将帮助你对媒体进行分类。你可能想根据捕获的日期来组织数据,或者你想把一条生产线捕获的所有数据放在同一个文件夹中。选择权在你,只要确保保持一致。
数据可视化
你所有的数据现在都在同一个地方,但你如何快速筛选这些数据以找到感兴趣的媒体?这时,一个可视化的工具可以使浏览你的大规模媒体变得简单。这可能是你认为理所当然的事情,但是看到在页面上快速刷新并在你滚动时动态出现的缩略图,或者快速浏览不需要永远加载的图片旋转木马的能力,都是今天企业在试图使用商业消费应用(如谷歌云平台)来存储大规模媒体时所面临的问题。简而言之,你需要采用一种解决方案,它有一个灵活的、可扩展的后端,是为大数据而建立的,让你在最小的加载时间内快速浏览你的媒体。记住,在一个地方拥有所有这些数据对你的计算机视觉模型的成功至关重要。
数据可搜索性
那张照片又在哪个文件夹里?在处理数以百万计的媒体文件时,你不希望被这个问题所困扰。一个简单的类似于谷歌的搜索栏可以帮助你快速地按名称搜索,找到你感兴趣的媒体。一些计算机视觉平台还可以让你使用一个强大的工具,称为 "视觉搜索",它将自动检测图片的内容,让你搜索,使媒体更容易被发现。请记住,保持大规模媒体的快速搜索性能是一个独特的问题,需要建立一个系统,随着数据集规模的增加而扩展。
元数据管理和过滤器
说到大型数据集中媒体的可发现性,让我们来谈谈元数据这一福音。元数据允许你保存 "关于你的数据的数据",比如这张图片是10月4日由Linespex相机在安提瓜的一家工厂拍摄的,暴露了关于媒体的许多信息,而不仅仅是一张图片的文件名。更重要的是,一些数据管理平台让你根据你的元数据创建过滤器,让你更细化地找到你感兴趣的媒体。
数据出处
这个文件又是从哪里来的?完整的数据出处将帮助你轻松地回答这个问题,让你了解你的媒体来自哪里,而不需要猜测或追踪源系统。数据出处意味着你将知道什么媒体来自什么系统,以及该系统向平台发送新媒体的频率。大多数组织将利用这些信息,然后根据业务需要选择新的培训数据。例如,如果检测第7条生产线缺陷的模型性能下降,让我们首先尝试从监控该生产线的摄像机中获取一些新鲜媒体。
加快将计算机视觉模型从研发中转移到生产中的道路的秘密关键需要更好地管理你的企业媒体。这对于企业有能力利用数据来获得竞争优势至关重要。为自己的成功做准备意味着你在选择计算机视觉合作伙伴时要认真对待数据管理。