GPU 助力高速地物分析

471 阅读4分钟

地物分析

在真实世界中,多数物体与地理位置相关,我们称之为“地物” ( Features ) ,对地物的存储和处理分析就是空间 ( GIS ) 数据库的基本功能。

在 O2O 、 LBS 、物联网、新零售等这些越来越倾向线下业务的互联网行业中,本质都绕不开对“地物”的处理。无论是运动的对象(人、机器人、动物、汽车、自行车、无人机、地铁等),还是静止的对象(商店、公司、广场、水系、停车点等),这些“地物”都需要做存储和运算,业务人员如果掌握了 GIS 数据分析,就相当于拥有了处理“地物”的利器,多了一把在行业中披荆斩棘的斧子。

由 ZILLIZ 公司自主研发设计,基于 CPU/GPU 异构计算体系结构的新一代数据分析平台 MegaWise(https://www.zilliz.com/cn/docs/megawise_intro) ,利用 GPU 加速 GIS 数据的处理分析,助力行业领导者实现高速地物分析。本文将 MegaWise 与 PostGIS (对象-关系型数据库系统 PostgreSQL 的一个扩展) 进行常用 GIS 功能实验测试,从而对两款地物分析工具进行比对。


MegaWise 与 PostGIS

  • MegaWise 是一款基于 GPU 加速的分析数据库,充分利用 GPU 的并行处理能力,能够在毫秒内返回对数十亿行表的 SQL 查询结果。同时 MegaWise 原生支持 SQL 的语法、快速查询编译、查询矢量化和高级三级内存管理,具备极高的 GIS 数据分析性能。

  • PostGIS 是基于 PostgreSQL 的空间扩展,它提供如下空间信息服务功能:空间对象、空间索引、空间操作函数和空间操作符,从而实现 GIS 空间分析功能。


对地物数据进行处理时, PostGIS 通常将地理位置数据转换为 Geometry 对象,如常用函数ST_MakePoint ( latitude , longitude ) 将经纬度数据描述成 POINT ( latitude , longitude ) 类型,通过对 POINT 处理以实现地物分析。而 MegaWise 通过自主研发 GIS 函数,避免了空间几何类型的转换,可以直接处理 GIS 数据,充分利用 CPU/GPU 所构成的混合异构运算能力,实现高速地物分析。


实验测试

接下来将对常用地物分析功能进行测试,本次实验数据来自开源数据集 nyc-taxi-data 中的三亿数据,测试环境如下:


Component

Config / Version

CPU

Intel(R) Platinum 8163 CPU @ 2.50GHz24核48线程

Number of CPU

2

Graphics card

GeForce RTX 2080Ti 11GB 4卡

Mem

768GB

Disk

8TB

PostgreSQL

11.1

PostGIS

2.5

MegaWise

0.4.2


本次主要对以下四个常用 GIS 功能进行测试:

  1. 根据经纬度计算两点间的球面距离;

  2. 经纬度变换,EPSG:4326 坐标转 EPSG:900913 坐标;

  3. 判断坐标上的点是否在指定的圆内;

  4. 判断坐标上的点是否在指定的多边形内。


测试结果如下:


MegaWise函数

MegaWise(ms)

SQL1

distance_in_meters

131

SQL2

gis_discrete_trans_scale_
long_epsg_4326_900913

gis_discrete_trans_scale_
lat_epsg_4326_900913

141

SQL3

is_in_circle

83

SQL4

is_in_polygon

98


PostGIS函数

PostGIS(ms)

SQL1

ST_Distance

17340

SQL2

ST_Transform

17735

SQL3

ST_PointInsideCircle

17251

SQL4

ST_Contains

17177



说明:MegaWise 自研 GIS 函数见 (https://www.zilliz.com/cn/docs/release_notes_0.4.0),如 distance_in_meters (longitude1, latitude1, longitude2, latitude2) ,根据经纬度计算两点间的球面距离,与 PostGIS 中 ST_Distance (geometry g1, geometry g2) 的功能对应,从而进行对比实验测试, PostGIS 函数介绍参考(http://postgis.net/docs/manual-2.3/reference.html)。


可以看出,MegaWise 利用 GPU 大规模并行处理,性能提升百倍。同时,相比 PostGIS 需要将经纬度转为 Geometry 空间对象,MegaWise 对空间数据对象的相关知识几乎没有要求,使用者可以轻松实现地物分析。


总结

使用 MegaWise 可以告别处理地理空间对象的繁琐,轻松实现地物分析,而且性能提升百倍。同时,MegaWise 不仅能对 GIS 地理位置数据分析,还能实现可视化交互,ZILLIZ 公司设计研发了新一代海量时空数据可视化分析平台 ZILLIZ Analytics ,率先使用 GPU 的大规模并行处理和视觉渲染能力进行数据可视化呈现。与传统方案相比,ZILLIZ Analytics 具备平台高吞吐、高性价比、低延时三重优势,显著降低单位算力成本,对十亿级数据集的查询分析提供亚秒级响应。


ZILLIZ Analytics 平台包括 MegaWise 核心数据计算引擎,Picasso 图形渲染引擎和 Infini 可视化交互分析界面,其前端组件基于 React 构建,各类图表基于 D3 开发,用户可以灵活配置各个图表,支持针对多列数据进行聚合或者过滤。通过特有的 crossfilter sql 生成功能,用户可以进行多 chart 交互操作,并实时更新图表。下面是对纽约出租车数年的订单的汇总分析图:


MegaWise 通过 GPU 的大规模并行处理和视觉渲染能力,比传统地物分析方案性能提升百倍,同时 ZILLIZ Analytics 可以实现可视化地物分析,帮助行业决策者提供实时分析的能力,更多用法等您去探索。