跨媒体多模态数据的特点总结归纳

332 阅读1分钟

01.跨媒体是什么

网络空间与物理空间的不同来源、不同模态的数据,以多个角度共同刻画了相同或相关的主题和事件,形成了"跨媒体"信息。

02.特点有哪些

规模大: 因为互联网及媒体技术不断普及,以网络内容为代表的媒体内容数据数量爆炸式增长。同时信息技术与传统行业的不断融合也促成了不同模态、不同来源但具有复杂相关性的多源异构数据和信息的爆炸式增长。

关联复杂: 不同平台、不同来源(即跨数据源)的文本、图像、视频、音频等信息(即跨模态)共同刻画相同或相关的主题内容,呈现动态、复杂、多层级的语义关联关系。

语义不平衡:

可分为四类

  • 数据分布不一致:由模态差异导致的不同媒体具有不同的数据分布,例如文本数据是符号化的,而图像数据是连续性的。

  • 表征不一致:例如文本数据用符号化的词语来表示语义,而图像数据使用特征向量来表示语义,导致融合或转化时出现偏差。

  • 关联程度不同:比如视频和音频信息关联程度高,而视频和文本信息关联程度低。

  • 模糊性:例如一张图片可能存在多种描述,一段文字可能有多种语义,这种模糊性也给多模态处理带来偏差。