Python爬虫极简入门-单网页版如果你也听说过炫酷的爬虫，却一直没有成功实现自制的想法，这篇教程会帮上忙。今天,咱们

如果你也听说过炫酷的爬虫，却一直没有成功实现自制的想法，这篇教程会帮上忙。

今天,咱们先来看一下如何制作一个能运行的极简爬虫。做中学。

DIY骨干爬虫-单网页版

首先下载 python 2,我们将制作一个名为骨干爬虫的Python爬虫程序：

爬虫是干嘛的？

是用来自动下载网络上东西的程序，不详细举例了。

爬虫的运行步骤

获取指定的网页的地址对应网页数据X
从X中用正则匹配出你需要的信息:
- 新网址Y：访问goto 1或保存（简单爬虫就不管啦，哈哈哈）
- 你需要的内容T：保存
- 需要获取的文件的路径P:保存

概念上的难点

如何爬?-遍历新网页保存本网页连接们的方式
获取信息-如何保存图片或者其他文件?有API，直接调用

你需要做的事情

找到你需要的文件(图片,rar随便什么)在网页中的地址
设计一个正则表达式匹配它

行动

无论你使用python2还是3,我给出两个版本的代码，你可以看到他们的区别很小

复制下面的内容到python2的编辑器里，运行。查看images里面的内容如果成功它里面会有一些图片：

#python 2.*的代码

from urlparse import urlsplit

from os.path import basename

import urllib2

import re

import requests

import os

import json

url = 'www.juemei.com/mm/'#你的网址

if not os.path.exists('images'):

os.mkdir("images")

#1. 伪装啊

header = {

'User-Agent': "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0",

'Host': "www.baidu.com",#伪装来源,斗智斗勇

'Referer': url

}

#下载一个网页

url_content = urllib2.urlopen(url).read()

#正则匹配你要下载的文件网址

img_urls = re.findall('img .*?src="(.*?.jpg)"',url_content)

#循环处理匹配到文件网址

for img_url in img_urls:

try:

#获取循环网址之一的远程文件的数据

img_data = urllib2.urlopen(img_url).read()

#让它在本地的名字也是服务器上的名字

file_name = basename(urlsplit(img_url)[2])

#保存

output = open('images/' + file_name, 'wb')

output.write(img_data)

output.close()

#try except 一旦下载某个文件失败就跳过这个文件

except:

pass

Python3

#python 3.*

from urllib.parse import urlsplit