在Tornado框架中, 模板引擎能带给我们很多方便, 它是便捷展现页面的极佳方式. 在上一节中我们介绍了模板引擎对于{{}}以及对于 {%%}的用法. 我们简单回顾一下: {{}}使用: 直接取服务端在render()函数中传递参数的值, 例如服务端中有self.render…

这是全栈数据工程师养成攻略系列教程的第七期：7 爬虫 Http请求和Chrome。 我们在浏览网页时，网页上显示的文字和图片等数据从何而来？为了弄清这一点，需要首先了解下什么是Http请求。 访问一个链接 首先在浏览器中访问一个网页链接：http://kaoshi.edu.si…

本文就简单的分析了今日头条视频链接的构造过程，主要知识点也是这个，然后借助 python 脚本简单的实现了这个逻辑，将页面中的视频下载到本地了，不用之前那么手动的进行操作了。加上有了 Android 版本的辅助小工具，可以在手机端想怎么保存就怎么保存！如果觉得文章不错，就记得多多扩散分享，如果有打赏那就更好了！

词云又叫文字云，是对文本数据中出现频率较高的 “关键词” 在视觉上的突出呈现，形成关键词的渲染形成类似云一样的彩色图片，从而一眼就可以领略文本数据的主要表达意思。

一年一度的虐狗节终于过去了，朋友圈各种晒，晒自拍，晒娃，晒美食，秀恩爱的。程序员在晒什么，程序员在加班。但是礼物还是少不了的，送什么好？作为程序员，我准备了一份特别的礼物，用以往发的微博数据打造一颗“爱心”，我想她一定会感动得哭了吧。哈哈 准备工作 有了想法之后就开始行动了，自…

我们将许多信息放在cookie中势必会造成浏览器端的臃肿, 此时便需要在服务端保存原本在浏览器端的那些键值对. 在浏览器端只需存储一个表示身份的随机加密字符串, 当浏览器端访问服务端时候携带该字符串, 经过比较, 验证合法之后便可以取该用户在服务端存储的相应信息. 但是在Tor…

> 最近由于需要一直在研究微博的爬虫，第一步便是模拟登陆，从开始摸索到走通模拟登陆这条路其实还是挺艰难的，需要一定的经验，为了让朋友们以后少走点弯路，这里我把我的分析过程和代码都附上来。

我们首先来谈谈web框架. web框架的本质其实就是socket服务端再加上业务逻辑处理, 比如像是Tornado这样的框架. 有一些框架则只包含业务逻辑处理, 例如Django, bottle, flask这些框架, 它们的使用需要依赖包含socket的第三方模块(即 wsg…

本文全面的介绍了爬虫的原理、技术现状、以及目前仍面临的问题。如果你没接触过爬虫，本文很适合你，如果你是一名资深的虫师，那么文末的彩蛋你可能感兴趣。