爬虫定义
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据
模块
import requests
分析接口
探索百度贴吧
name = input("请输入你要爬取的贴吧:")
url = 'http://tieba.baidu.com/f?ie=utf-8&kw='+name
response = requests.get(url)
print(response.text)