padluo

开始链家爬虫的时候，了解到需要实现模拟登录，不登录不能爬取三个月之内的数据，目前暂未验证这个说法是否正确，这一小节记录一下利用浏览器(IE11)的开发者工具去分析模拟登录网站(链家)的内部逻辑过程，花了一个周末的时间，部分问题暂未解决。 利用浏览器(IE11)的开发者工具，启用…

getCategory.py，提取词库分类ID和名字，以字典形式返回。 SpiderMan.py，爬虫调度器。 UrlManager.py，URL管理器。 HtmlDownloader.py，网页下载器。 HtmlParser.py，网页解析器。 DataOutput.py，数…

基础爬虫框架主要包括五大模块：爬虫调度器、URL管理器、网页下载器、网页解析器、数据存储器。 爬虫调度器：启动、执行、停止爬虫，统筹其他模块的协调工作。 URL管理器：管理已爬取的URL和未爬取的URL这两个数据，提供获取新URL链接的接口。 网页下载器：将URL管理器提供的一…

本案例以Data Tech 2017浙江大数据建模与创新应用大赛的模型挑战赛选题三: 通信信用风险评估为例说明。此次比赛还在进行中，开放了浙江移动及相关企业脱敏后的数据，大家都可以拿来练练手。 本选题用到的数据包括公共数据集、用户通话数据、违约行为数据。 训练集数据：用户通话数…

通过对读取数据的实践，下面是数据集文件对应读取后的DataFrame说明。 其中train_comm有201703-201706共4个月的用户通话数据，以"长格式(long)"或"堆叠格式(stacked)"存储，UserI_Id直接关联其他DataFrame会出现一对多的情况…

有这么一句话在业界广为流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。 数据使用经数据预处理，合并后的宽表train_user_comm_basic。 根据单特征的分析，进行特征处理。 缺失值处理，依据对通信的业务和数据理解，填充缺失值。AGE列缺失数据…

把训练数据拆分为训练集和交叉验证集，比例为7:3。x_train和y_train用来训练模型，x_test和y_test用来交叉验证。 首先随机森林采用默认参数,用袋外分数评估模型好坏.在bagging的每轮随机采样中，训练集中大约有36.8%的数据没有被采样集采集中。对于这部…

客户机操作系统：rhel-server-6.5-x86_64。 网络连接：NAT模式。Connecet automaticcally：打勾。不会随宿主机网段变化发生IP变化。 禁用透明大页面，首先查看透明大页面是否启用，[always] never表示已启用，always [n…

客户机操作系统：CentOS-6.5-x86_64。 网络连接：host-only。Connecet automaticcally：打勾。 /mnt/dvd1和/mnt/dvd2，用于挂载Centos6.5原有的两个镜像ISO文件。 /mnt/dvd，合并后的镜像文件存放目录。…