图像识别(CV)在房地产领域的应用

315 阅读3分钟
原文链接: zhuanlan.zhihu.com

过去两年,我们 Trulia Data Science Team 探索了大量图像识别(Computer Vision)在房地产相关的应用,在 Trulia 上线了一些,并发布了一些博客,在这里一并总结一下。

相关博客:

背景

Trulia 上展示着大量的房地产相关图片,每天的新照片数量超过百万,单从数量上来说,可能是图片数量最大的产品之一。在这个注重视觉体验的时代,如果想要给用户更好的体验,将图片作为中心打造产品,我们必须了解每一张图片。因此,我们组一直在探索相关的技术,开发新的应用。


Scene Classification

我们首先完成研发的是图像的分类。在一般的房屋图片中,都有不同的房间类型,比如厨房、客厅、卧室、后院等等。我们训练了深度模型可以准确地将图片归类成为几十种房间类型。

一旦有了房间类型,我们可以围绕着这些图像数据做一些视觉体验优先的特性,比如专门把好看的游泳池放在一块一起展示,这样给用户带来了更好的浏览体验。用户开心了,自然就会在网站上停留更久。

Image Appropriateness and Quality

当网站上的内容过多,都会出现一些极端情况,比如不符合规范的内容。在图片中也有这样的情况,不少上传的图片并不是房地产领域的图片,比如宠物、大量文字等等。为了解决这个问题,我们开发了模型来预测图片是否适合房地产领域。

同时,我们也非常在乎对于不同的图片,哪一张更好看。为此,我们开发了模型来预测图片的好看程度。


这些模型被应用在了不同的领域,确保用户能够看到好看的图片,远离不相关的图片,增加用户体验。

Hero Image

一个房子平均有20张图片,但几乎所有展示房子的地方都只会放一张图片。放哪一张图片最合适?我们使用算法,结合通过模型预测的图片的几个信息,来自动挑选封面照片。


我们的算法结合了模型预测出来的分数,去掉不适合房地产领域的图片,参考图片好看程度,并给与不同的房间类型不同的权重,综合选出最好的照片作为封面照片。这样的算法还可以根据用户偏好的房间类型,比如厨房、卧室,来给用户优先展示用户喜欢看到的图片,做到个性化的图片推荐。


What is Next?

随着视觉体验的重要性日益增加,用户越来越期待看到图片,而不是文字的内容。因此,把图片作为产品的核心,是一个无法阻挡的趋势。而只有让计算机理解图片,才能给用户相关的内容。为了像理解文字那样理解图片,必须要研发相关的技术,做好技术储备。

正如我在答案如何评价谷歌的「人工智能先行」(AI First)战略?中所说,现在是做机器学习应用最好的时代。越来越多成熟的框架和数据集的出现,大大减低了研发的难度,应用的研发已经没有技术门槛。我们应该更多地探索用户的需求与体验,思考如何使用技术带来全新的产品,更好地服务用户。


by @陈然