litreily

通常而言，FTP传输过程中，客户端在完成账户认证后，需要指定具体的文件路径方能下载或删除服务器端的文件。但是在使用命令行指令去操作ftp数据时，如果每次都要输入完整的路径就太麻烦了，而且如果想要同时下载多个文件还需逐个执行下载指令，那有什么方法可以通过正则表达式去完成模糊匹配和…

今天介绍一个妹子站点图片的爬取过程，站点唯美女生。站点结构非常简单，单独用requests库或者scrapy框架都可以。本文介绍的是使用scrapy框架爬取。 站点做的非常清新唯美，结构简洁明了，主页的主体部分以卡片形式展示各个主题的缩略图和简要介绍，但主页并不适合直接爬取。 …

自毕业后，就再也没有用过QQ，QQ空间里记录的是些并不精彩的青葱岁月，但好歹也是份回忆，近日想着学以致用，用Python把QQ空间相册的所有照片爬取下来，以作备份。 爬取第一步，分析站点，首先需要知道如何登录QQ空间。最初想法是用requests库配置登录请求，模拟登录，但是不…

有时候需要在公司使用家里个人PC的一些资源，此时可以选择Teamvieawer进行远程，但是略微麻烦而且访问速率较慢，此时通过vps实现内网穿透就是个不错的想法。 本文讲述的内网穿透方法是通过autossh实现vps对内网的反向代理，在vps与内网之间建立一条长连接，使得外网P…

pypcap是一个对libpcapC库进行封装和简化的面向对象的抓包工具库，可以非常方便的用于抓包和过滤，结合dpkt解析库可以完成许多网络数据包的抓取和分析。本文讲述的就是如何使用pypcap及dpkt库实现简单抓包工具，也称为嗅探器(sniffer). 这里有个问题,如果使…

pug原名jade,因版权问题更名为pug,即哈巴狗。与hexo默认模块ejs一样，pug也是一个模板引擎，可用于快速的网站开发，当然也可以用于静态博客网站的设计。本站点现时所用主题manupassant也使用了pug。 本文针对Hexo中使用pug的情况为例，说明其基本语法。…

scrapy作为一款强大的爬虫框架，当然要好好学习一番，本文便是本人学习和使用scrapy过后的一个总结，内容比较基础，算是入门笔记吧，主要讲述scrapy的基本概念和使用方法。 需要说明的是，项目管道(Item Pipeline)主要完成数据清洗，验证，持久化存储等工作；下载…

应一位金融圈的朋友所托，帮忙写个爬虫，帮他爬取中国期货行业协议网站中所有金融机构的从业人员信息。网站数据的获取本身比较简单，但是为了学习一些新的爬虫方法和技巧，即本文要讲述的生产者消费者模型，我又学习了一下Python中队列库queue及线程库Thread的使用方法。 生产者消…

其实，新浪微博用户图片爬虫是我学习python以来写的第一个爬虫，只不过当时懒，后来爬完Lofter后觉得有必要总结一下，所以就有了第一篇爬虫博客。现在暂时闲下来了，准备把新浪的这个也补上。 言归正传，既然选择爬新浪微博，那当然是有需求的，这也是学习的主要动力之一，没错，就是美…