spider_学习笔记04

5.xpath语法：

简介：

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

它和re正则起着相同的作用，实现的功能也差不多，但是由于是查找格式化文档所以比正则更加简单而且准确。X

使用方式：

使用//获取整个页面当中的元素，然后写标签名，然后再写谓词进行提取。比如：

 //div[@class='abc']

需要注意的知识点：

0. /和//的区别：/代表只获取直接子节点。//获取子孙节点。一般//用得比较多。当然也要视情况而定。

1. contains：有时候某个属性中包含了多个值，那么可以使用contains函数。示例代码如下：

    //div[contains(@class,'job_detail')]
   

2. 谓词中的下标是从1开始的，不是从0开始的。

使用lxml解析HTML代码：

0. 解析html字符串：使用lxml.etree.HTML进行解析。示例代码如下：

    htmlElement = etree.HTML(text)
    print(etree.tostring(htmlElement,encoding='utf-8').decode("utf-8"))
   

1. 解析html文件：使用lxml.etree.parse进行解析。示例代码如下：

    htmlElement = etree.parse("tencent.html")
    print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))
   

   这个函数默认使用的是XML解析器，所以如果碰到一些不规范的HTML代码的时候就会解析错误，这时候就要自己创建HTML解析器。

    parser = etree.HTMLParser(encoding='utf-8')
    htmlElement = etree.parse("lagou.html",parser=parser)
    print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))
   

   lxml结合xpath注意事项：

   0. 使用xpath语法。应该使用Element.xpath方法。来执行xpath的选择。示例代码如下：

       trs = html.xpath("//tr[position()>1]")
      

      xpath函数返回来的永远是一个列表。

   1. 获取某个标签的属性：

       href = html.xpath("//a/@href")
       # 获取a标签的href属性对应的值
      

   2. 获取文本，是通过xpath中的text()函数。示例代码如下：

       address = tr.xpath("./td[4]/text()")[0]
      

   3. 在某个标签下，再执行xpath函数，获取这个标签下的子孙元素，那么应该在斜杠之前加一个点，代表是在当前元素下获取。示例代码如下：

       address = tr.xpath("./td[4]/text()")[0]
      

\