pyquery的语法和jQuery很像，所以熟悉jQuery的人估计会选择用这个库来解析网页。本文用pyquery的使用来展示css选择器的用法，css选择器是个人认为解析网页最方便的方法。
本文分为如下几个部分
- 解析html流程说明
- 提取内容
- 识别标签
解析html流程说明
我们先看一个例子，了解使用pyquery的流程
在下面的html代码中其提取如下部分
- 标题
- 文字1
- 文字1和文字2
- 列表1第1项 列表1第2项
a = '''<title>标题</title>
<body>
<ul class='list1'>
<li>列表1第1项</li>
<li>列表1第2项</li>
</ul>
<p class='first'>文字1</p>
<p class='second'>文字2</p>
<ul class='list2'>
<li>列表2第1项</li>
<li>列表2第2项</li>
</ul>
</body>'''
from pyquery import PyQuery as pq
doc = pq(a)
doc('title').text() # '标题'
doc('p').filter('.first').text() # '文字1'
doc('p[class=first]').text() # 同上，只是这种方法支持除了id和class之外的属性筛选
doc('p').text() # '文字1 文字2'
doc('ul').filter('.list1').find('li').text() # '列表1第1项 列表1第2项'
doc('ul.list1 li').text() # 简化形式
doc('ul.list1 > li').text() # 节点之间用>连接也可以，但是加>只能查找子元素，空格子孙元素
从上面的代码，我们可以发现
- pyquery可以像xpath语句一样，只输入一个字符串，里面是节点顺序以及属性筛选等，与xpath使用思路完全相同，只是语法不同而已，学好了xpath使用这个应该会很轻松
- 属性中有两个特例
class和id，因为这两个是网页中用的最多的属性，所以使用时可以分别用.和#来表示 - pyquery还定义了一些方法，每次进行一步操作，比如提取标签(find)、筛选属性(filter)等
首先加载库
from pyquery import PyQuery as pq
提取内容
提取内容分为两个部分
- 提取标签内容，用
.text() - 提取标签属性值，用
.attr()
提取子孙节点内容用.text()，如果只提取子节点用.html()，可能提取出来的是子节点的整个标签
a = '''
<body>
<h><a href='www.biaoti.com'>head</a></h>
<p>段落1</p>
<p>段落2</p>
</body>
'''
doc = pq(a)
# 提取标签内容
doc('h').text() # 'head'
doc('h').html() # '<a href="www.biaoti.com">head</a>'
doc('body').html() # '\n <h><a href="www.biaoti.com">head</a></h>\n <p>段落1</p>\n <p>段落2</p>\n'
doc('p').text() # '段落1 段落2'
doc('p').text().split(' ') # ['段落1', '段落2']
doc('p:nth-of-type(1)').text() # '段落1'
doc('body').text() # 'head 段落1 段落2'
# 提取标签属性
doc('h a').attr('href') # 'www.biaoti.com'
识别标签
只根据标签来识别
- 找到所有名为a的标签
- 找到名为a或b的标签
因为思路和xpath非常相似，所以直接上代码
a = '''
<body>
<h1>head</h1>
<h2>标题2</h2>
<h2>标题3</h2>
</body>
'''
doc = pq(a)
doc('h1').text() # 'head'
doc('h1, h2').text() # 表示“或”用逗号 'head 标题2 标题3'
同时根据标签和属性识别
a = '''
<body>
<h>标题</h>
<p id='p1'>段落1</p>
<p id='p2'>段落2</p>
<p class='p3'>段落3</p>
<p class='p3' id='pp'>段落4</p>
</body>
'''
doc = pq(a)
doc('p#p1').text() # '段落1'
doc('p.p3[id]').text() # 含有id属性
doc('p.p3#pp').text() # 使用多个属性筛选
doc('p[class=p3][id=pp]').text()
doc('p[class=p3], p[id=p1]').text() # 或的关系
doc('p[class=p3],[id=p1]').text() # 或者只用,隔开
doc('*#p1').text() # 不指定标签名
# 否定
doc('p:not([id])').text() # 不含有id属性
doc('body :not(p)').text() # 选出不是p的子节点 '标题'
doc('p:not(.p3)').text() # 选出class不是p3的
doc('p[id][id!=p2]').text() # 也可以用!=，这里选择有id且id不是p2的
# 类似正则表达式
doc('p[id^=p]').text() # 首端匹配
doc('p[id$=p]').text() # 尾端匹配
doc('p[id*=p]').text() # 包含
根据标签内内容来识别
根据内容来识别和根据属性非常相似
a = '''
<p id='p1'>段落1</p>
<p class='p3'>段落2</p>
<p class='p3'>文章</p>
<p></p>
'''
doc = pq(a)
# :contains查找内容中包含某字符串的标签
doc('p:contains(段落1)').text() # '段落1'
doc('p:contains(段落)').text() # '段落1 段落2'
doc('p:contains("1")').text()
根据位置识别
a = '''<title>标题</title>
<body>
<ul class='list1'>
<li>列表1第1项</li>
<li>列表1第2项</li>
</ul>
<p class='first'>文字1</p>
<p class='second'>文字2</p>
<ul class='list2'>
<li>列表2第1项</li>
<li>列表2第2项</li>
</ul>
</body>'''
doc = pq(a)
doc('ul:nth-of-type(2) li').text() # 选择第二个ul下的所有li
doc('ul li:nth-of-type(2)').text() # 选择每个ul中第二个li
doc('ul li:even').text() # :even取偶数 :odd取奇数（这里索引第一个是0）
doc('ul li:first').text() # :first取第一个 :last取最后一个
doc('ul li:eq(0)').text() # 还有 lt gt 索引从0开始
这里是根据需求的顺序进行讲解，还有另外的思路，通过总结jquery语法的角度列出一个表格，比较方便查看，主要可以参考如下几个网站
pyquery库除了提供了css选择器方法提取，还提供了一些方法，因为它们和css选择器功能重复，所以这里不再赘述，感兴趣的读者可以参考这篇文章
使用css进行真实网页的爬虫练习可以看这篇文章pyquery+mysql抓取赶集网实战
专栏信息
专栏主页：python编程
专栏目录：目录
爬虫目录：爬虫系列目录
版本说明：软件及包版本说明
