张宏伦

这是全栈数据工程师养成攻略系列教程的第九期：9 实战 爬取豆瓣电影数据。 掌握了爬虫的基本原理和代码实现，现在让我们通过实战项目巩固一下。 确定目标 在写爬虫之前应当想清楚：我需要哪方面的数据？需要包含哪些字段？这些数据需要以何种形式呈现？ 很多网站往往都是大家爬取的对象，例如…

最近 全栈数据工程师养成攻略 的微信群已经将近500人，开了二群之后为了打通不同微信群之间的消息，花了点时间做了个消息同步机器人，在任意群收到消息时同步到其他群，并且将聊天内容上传至数据库，以供进一步分析、统计和展示。 基本思路是，用 Python 模拟微信网页版登陆，接收到群…

这是全栈数据工程师养成攻略系列教程的第八期：8 爬虫 使用 urllib2 获取数据。 我们知道，Http 请求主要有 GET 和 POST 两种。对于一个 url，既可以使用浏览器去访问，也可以使用代码去请求。 Urllib2 我们主要使用的是 Python2.7 中的 urllib2，官方文档在…

这是全栈数据工程师养成攻略系列教程的第七期：7 爬虫 Http请求和Chrome。 我们在浏览网页时，网页上显示的文字和图片等数据从何而来？为了弄清这一点，需要首先了解下什么是Http请求。 访问一个链接 首先在浏览器中访问一个网页链接：http://kaoshi.edu.si…

这是全栈数据工程师养成攻略系列教程的第六期：6 数据 解读数据结构和类型。 数据的结构 在DT时代，我们的生活中随处都会接触到各种各样的数据。以地铁数据为例，可以分为静态数据和动态数据两大类。 静态数据：包括线路信息和站点信息等，例如一共有多少条线路，每条线路包含哪些站点，各个…

这是全栈数据工程师养成攻略系列教程的第五期：5 实战 西游记用字统计。 我们将通过一个简单的实战项目，来巩固之前学习的 Python 基础。 数据 所使用的数据可以在我的 Github 上找到，https://github.com/Honlan/fullstack-data-engin…

这是全栈数据工程师养成攻略系列教程的第四期：4 Python 先学会基本语法。 Python简单易学，但又博大精深。许多人号称精通Python，却不会写Pythonic的代码，对很多常用包的使用也并不熟悉。学海无涯，我们先来了解一些Python中最基本的内容。 Python的特…

这是之前参加某次比赛的成果，在此和大家分享，欢迎对数据感兴趣的朋友多指点。 问题背景 互联网金融 2007 年进入国内，2013 年得到了蓬勃的发展。与此同时，也出现了很多问题平台诸如提现困难、老板跑路、停业等。截止 2016 年 3 月，在国内近 4000 家 P2P 平台中，问题平台比例已接近 4…

去年中秋节我瞎折腾了一个看看我属于哪种月饼？今年中秋节，我和数据、设计、文案等多位小伙伴合作，隆重推出月饼2.0版本～ 主要包括两个页面，第一个页面接受用户输入，包括姓名、性别、星座和地域。 第二个页面根据输入的字段，结合通过阿里大数据训练的模型，输出可能匹配的月饼。 我在自己…