张宏伦

数据概览 本次项目使用到的数据包括：一卡通消费数据、校园网wifi数据、上海市闵行区气象数据。具体来说包括： 商户信息：共134项观测，包含32个商户系统、85个子商户； 用户信息：共30861项观测，包含30861个一卡通账户、30812个学号，即有49名学生拥有两个一卡通账…

这是全栈数据工程师养成攻略系列教程的第三期：3 序言 带好装备Python和Sublime。 对于程序员来说，两件最重要的装备，便是编辑器和编程语言。 Sublime 某些语言可能会有自己专用的编译器和编程环境，如Java的Eclipse。但是在这里我给大家推荐的是一款通用、简…

在上海，每天上下班，都如同一场战争，对郊区的上班族而言尤其如此。 我女朋友小黄住在闵大荒5号线的剑川路附近，每天坐地铁去市区上班。地铁很快，但单程仍需80多分钟；地铁很方便，但极度拥挤，人的压缩性似乎没有极限。 上海地铁的一天 不信，来看看每天各个站点的进站客流（数据来自于SO…

1 项目背景 不应该说是一个项目，顶多算是自己的第一次微信h5页面尝试。以前经常在微信上看到各种h5页面，以测试为主题的居多。当时是中秋节，也想趁着过年赶紧做一个微信h5页面，实际感受下微信的传播效应，万一火了呢？ 既然是中秋节，那就做一个“看看我属于哪种月饼”的测试页面吧，流…

这是全栈数据工程师养成攻略系列教程的第二期：2 序言 数据工程和编程语言。 现在大数据的概念火得不行，太多的人言必称大数据，所以我这里就不谈大数据，而是介绍如何去做一些个人能hold住的小而美的数据工程和数据应用。 如何玩转数据 玩转数据基本包括以下四个流程： 第一是采集，我们…

这是全栈数据工程师养成攻略系列教程的第一期：1 序言 暖个场子。 大家好，我是张宏伦，目前是上海交通大学的一名直博在读生。 为什么要做这样一个全栈数据工程师养成攻略的系列视频教程呢？主要有以下三个目的： 将自己所学和数据相关的一些知识和经验同大家分享； 对自己个人经历进行一次综…

1 关于数据 本文中所使用到的数据包括，交通卡、交通事故、出租车轨迹、公交车运行、地铁运行、空气质量、气象监测、新浪微博等12个数据集近TB量级的数据。 2 关于我们 我们希望通过应用交通数据以解决大型活动（如演唱会、足球比赛、跨年活动等）结束后大规模人群滞留导致的疏散困难、交…

1 项目描述 WECO是一个开源的共创社区，是一片创意互相碰撞的土壤。在这里你可以查看、喜欢、评论他人发布的创意，可以关注和私信感兴趣的用户，当然还可以发布属于自己的创意！ 作为WECO的技术支持和开发人员，简单来说，WECO是一个类似微博和知乎的内容管理系统，只不过这里的内容…

1 项目描述 为了减轻妹子工作中处理Excel的辛苦，用python写了几个处理xlsx的代码，分别完成一些独立的任务，如根据考勤记录判断每天未来、迟到、早退的名单，实现两个复杂xlsx文件的单元格对比，等等。但妹子毕竟是文科生，直接提供py代码并且要求在命令行中调用，还是极度…