程序员的选房神技,GitHub上的房源爬虫

3,678 阅读3分钟
原文链接: zhuanlan.zhihu.com

买房,在中国是任何一个年轻人都绕不开都话题。特别是在当下限购摇号等多重政策打压的情况,要选到一个自己心仪的房子可谓难度不小。

而且,伴随着房价上涨的还有房租。买不起房的,想要租个合适的小窝也不容易啊!

正在看房路上的我,只能用下图表达此时心情!

万万没想到的是,在选房这个难题上,程序员小哥哥却自有神技。利用爬虫技术轻松获取所有房源,搭配数据分析轻松就搞定了自己的小窝。

此时的你,是不是流下了“不懂技术”的眼泪。不哭不哭站起来撸,来看看 Github 上的房源爬虫,直接拿来就用岂不更妙!

1.自如实时房源提醒

房源监控脚本,自动检测符合条件的高性价比房源,1个小时更新一次。一旦出现符合条件的房源就打印出来。代码量不大,却十分好用。

项目地址:facert/ziroom_realtime_spider

2.链家二手房租房在线数据

一个链家网全国房源爬虫工具,轻松获取存量房交易数据以及现存房源。还搭配了数据分析的教程,提供可视化。

项目地址:XuefengHuang/lianjia-scrawler

数据分析教程:www.ershoufangdata.com/

3.贝壳网爬虫API:

直接通过pip install ke安装即可使用,一行代码将指定筛选条件的全量数据保存为JSON/csv。

项目地址:rangduju/Ke

使用命令:

from Ke.ke import Ke
%%time
df = Ke(username='17810375258', password='abcd1234').ke_scraper_rent(url='https://bj.zu.ke.com/zufang/sanlitun/l0', keyword='北京三里屯', export='csv')
df

4.链家网和贝壳网房价爬虫

采集北京上海广州深圳等21个中国主要城市的房价数据(小区,二手房,出租房,新房),稳定可靠快速!支持csv,MySQL, MongoDB,Excel, json存储,并且同时支持Python2和3。具有图表展示数据功能,并且拥有详细注释,可进行功能扩展。

项目地址:jumper2014/lianjia-beike-spider

5.北京地区链家房屋成交

爬下了北京所有的小区信息及北京的所有历史成交记录,很简单的一个爬虫,可供北京地区的购房者进行价格比较。

项目地址:lanbing510/LianJiaSpider

6.号称宇宙最快的链家爬虫

直接使用链家API抓取数据的技术爬虫,作者自嗨号称宇宙最快,具体快不快,还等你亲自试试呢。

项目地址:CaoZ/Fast-LianJia-Crawler

7.地图搜租房

爬虫全天不间断获取公开租房信息,汇总处理分析后落地到数据库中。整合房源众多,包括豆瓣租房小组】、【豆瓣租房小程序】、【Zuber合租】、【蘑菇租房】、【CCB建融家园】、【58同城品牌公寓】、【Hi住租房】、【房多多】、【贝壳租房】、【v2ex租房帖子】、【上海互助租房】。并且支持房价筛选、个人房源。可以直接利用高的地图展示房源。现在都拥有自己的官网产品了。

项目地址:liguobao/58HouseSearch

官网地址:地图搜租房

实验楼曾经有一个实习生,把自己毕业时利用高德 API 和 Python 找到房子的租房经历。写成了一个课程,感兴趣的同学也可以关注学习一下!

高德API + Python 解决租房问题