利用requests爬取重定向内容

236 阅读1分钟
# -*- coding: UTF-8 -*-
import requests
def post_data_django(s,url,data):
    s.get(url)
    #post用户名和密码的时候要post这个csrf表单,同时带着cookies
    #下面这个csrftoken是cookies里面的一个随机值
    params = {'csrfmiddlewaretoken':s.cookies.get('csrftoken')}
    params.update(data)
    r = s.post(url,data = params)#也可以加参数cookies = 参数
    return r , s

url_login = 'http://www.heibanke.com/accounts/login'
url_form = 'http://www.heibanke.com/lesson/crawler_ex02/'
s = requests.Session()#自动保持登录状态并更新cookies
r,s = post_data_django(s,url_login,{'username':'test','password':'test123'})
print 'login',r.status_code
for number in range(30):
    rr,s = post_data_django(s,url_form,{'username':'test','password':str(number)})
    if rr.text.find(u'密码错误')>0:
        print number,"not correct"
        number = number + 1
    else:
        print rr.text
        break