爬取动态HTML

动态HTML

一、反爬措施

1、通过客户端标识来判断

解决办法：封装user-agent请求头

2、通过请求频率，在后台日志中通过分析请求ip来判断是否是爬虫

解决办法：设置请求频率，针对很难爬取的网站，就慢慢获取数据

3、封IP

解决办法：设置代理，代理池

4、能一次获取的数据绝不分批次获取，能在列表页获取的数据绝不在详情页获取

目的：减小请求次数

5、改变网页数据获取架构

数据不在页面直接渲染，而是通过前端js异步获取

js获取到数据需要：执行js才可以

但是使用requests模块获取到的js代码可以执行吗。---js代码的字符串。

解决的办法：如果能找到一个执行js的工具，数据就出来了

浏览器中之所能够出现数据是因为浏览器就有执行js的功能

同时我们python也有两个工具

• selenium ：驱动--让我们可以通过代码的方式来进行下面两个工具的控制

• phantomjs ：无界面浏览器

• chrome ：有界面浏览器

6、验证码

二、selenium

selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。

Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器

• 安装selenium

  pip install selenium==2.48.0

三、PhantomJS

phantom：美 ['fæntəm]，鬼怪，幽灵

PhantomJS 是一个基于 Webkit 的“无界面”(headless)浏览器，它会把网站加载到内存并 执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效

如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫 了，这个爬虫可以处理 JavaScript、cookie、headers，以及任何我们真实用户需要做的事情

注意：PhantomJS 只能从它的官方网站 phantomjs.org/download.ht…)下载。因为

PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库，所以它不需要像Python 的其他库一样安装，但我们可以通过 Selenium 调用 PhantomJS 来直接使用

方法一：设置环境变量：C:\Users\cz\Downloads\phantomjs-2.1.1-windows\bin

打开终端命令行，输入：phantomjs，能够进行到 phantomjs 命令行，则表示安装成功

四、Selenium+PhantomJS操作

Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫

from selenium import webdriver
import time

# 1、先要创建一个浏览器驱动
# driver = webdriver.PhantomJS()
driver = webdriver.Chrome()  # chrome
# driver = webdriver.Firefox()#火狐
# driver = webdriver.Ie()#火狐
# driver = webdriver.Safari()#火狐

# 2、请求url
driver.get('https://www.baidu.com/')
# 3、等待
time.sleep(1)
# 4、这是后driver就是浏览器。这个浏览器里面已经打开了百度的首页
# 先看看页面内容：截图
driver.save_screenshot('index.png')
# 可以获取页面元素（页面的中所有标签都是元素）
# find_element_by_id
# find_element_by_xpath
# find_element_by_css_selector
result = driver.find_element_by_id('kw')
# print(result)#WebElement
# webelement的操作：
# （1）、如果是input：输入
result.send_keys('尹能静')
# 找到按钮：点击
driver.find_element_by_id('su').click()
time.sleep(1)
# （2）找元素的位置
print(result.location)
print(result.size)

# 对于driver对象（浏览器对象）的属性
# （1）获取页面源代码--浏览器功能组件帮我们将js执行后得到页面内容。
print(driver.page_source)
# (2)最大化，关闭浏览器
# 最大化
driver.maximize_window()
# 关闭当前选项卡
driver.close()
driver.quit()  # 退出
# （3）获取cookie值:
driver.get_cookies()

等待的作用：就是为了让程序的速度和浏览器的速度同步

#强制等待：time.sleep()--缺点：不容易控制。
#隐式等待：等到页面全部加载完成
# driver.implicitly_wait(20)#20最大等待时长
#显示等待：检测页面的元素，然我们可以等到【某个页面元素】满足【某些条件为止】。
#某个页面元素：
#某些条件为止
#presence_of_element_located等到元素（一个）加载出来
#presence_of_all_elements_located:等待所有的都加载出来
#定位器：他是一个元组，（By.xpath/id/css_selector,'对应的语法'）
 #1、显示等待的对象 #driver：等待对象监听哪个浏览器
 #20:最大等待时长
 wait = WebDriverWait(driver,5)
 wait.until(EC.presence_of_all_elements_located(
 (By.XPATH, 'xpath语法')))

五、Selenium常用方法总结：

1、获取当前页面的Url

方法：current_url  
实例：driver.current_url

2、获取元素坐标

方法：location
解释：首先查找到你要获取元素的，然后调用location方法
实例：driver.find_element_by_xpath("xpath").location

3、表单的提交

方法：submit
解释:查找到表单（from）直接调用submit即可
实例：driver.find_element_by_id("form1").submit()

4、获取CSS的属性值

方法：value_of_css_property(css_name)
实例：driver.find_element_by_css_selector("input.btn").value_of_css_property("input.btn")

5、获取元素的属性值

方法：get_attribute(element_name)
实例：driver.find_element_by_id("kw").get_attribute("kw")

6、判断元素是否被选中

方法：is_selected()
实例：driver.find_element_by_id("form1").is_selected()

7、返回元素的大小

方法：size
实例：driver.find_element_by_id("iptPassword").size
返回值：{'width': 250, 'height': 30}

8、判断元素是否显示

方法：is_displayed()
实例：driver.find_element_by_id("iptPassword").is_displayed()

9、判断元素是否被使用

方法：is_enabled()
实例：driver.find_element_by_id("iptPassword").is_enabled()

10、获取元素的文本值

方法：text
实例：driver.find_element_by_id("iptUsername").text

11、元素赋值

方法：send_keys(*values)
实例：driver.find_element_by_id("iptUsername").send_keys('admin')

12、返回元素的tagName

方法：tag_name
实例：driver.find_element_by_id("iptUsername").tag_name

13、删除浏览器所有的cookies

方法：delete_all_cookies()
实例：driver.delete_all_cookies()

14、删除指定的cookie

方法：delete_cookie(name)
实例：deriver.delete_cookie("my_cookie_name")

15、关闭浏览器

方法：close()
实例：driver.close()

16、关闭浏览器并且退出驱动程序

方法：quit()
实例：driver.quit()

17、返回上一页

方法：back()
实例：driver.back()

18、清空输入框

方法：clear()
实例：driver.clear()

19、浏览器窗口最大化

方法：maximize_window()
实例：driver.maximize_window()

20、查看浏览器的名字

方法：name
实例：drvier.name

21、返回当前会话中的cookies

方法：get_cookies()
实例：driver.get_cookies()

22、根据cookie name 查找映射Value值

方法：driver.get_cookie(cookie_name)
实例：driver.get_cookie("NET_SessionId")

23、截取当前页面

方法：save_screenshot(filename)
实例：driver.save_screenshot("D:\\Program Files\\Python27\\NM.bmp")

六、爬虫的基本的流程

七、什么是ajax？

我们与网站服务器通信的唯一方式，就是发出http请求获取新页面如果提交表单之后，或从服务器获取信息之后，网站的页面不需要重新刷新，那么你访问的网站就在用 Ajax 技术

Ajax 其实并不是一门语言，而是用来完成网络任务(可以认为它与网络数据采集差不多) 的一系列技术

Ajax全称是AsynchronousJavaScriptandXML(异步JavaScript和XML)，网站不需要使用单独的页面请求就可以和网络服务器进行交互(收发信息)

Ajax是一种客户端技术，当浏览器通过一些javascript动作（滑动页面、点击一个按钮等等），此时 Ajax引擎就会发送HTTP请求，服务器返回数据会交给Ajax引擎，最后Ajax引擎会将服务器返回的数据渲染到浏览器当前的页面中，这样我们不需要整个页面进行刷新就能加载我们想要的内容，所以有时候，当我们需要爬取页面数据时，如果能够找到Ajax引擎所发送的HTTP请求，我们就能直接通过发送这个请求从而获取数据，这样可以大大提高我们爬取数据的效率

八、如何在爬虫中分析ajax？

分析步骤：

1、确认ajax请求。

首先对于ajax确定出发的js动作是什么？

​ 比如：滑动加载，输入内容出现变化，鼠标悬浮

​ 确定事件之后，打开F12，清空之后取做这些操作，出现ajax请求了

还有一种方法：

XHR就是开发者工具专门用来过滤ajax请求的

2、打开ajax请求response，查看那一条是关于需求数据的ajax

3、分析ajax请求

​ 分析的关键就是ajax请求的参数

​ 方法：对比---发现规律

八、爬虫案例：

（1）、爬取豆瓣图书

import time
from lxml import etree
import requests
from selenium import webdriver

''''
技术点1：selenium使用步骤
技术点2：while循环做分页
技术点3：driver驱动一般要在全局变量中创建。
'''


def get_text(text):
    if text:
        return text[0]
    return ''


def parse_page(div_list):
    '''
    解析数据
    :param div_list: [<element div at 0xssssse>,...]
    :return:
    '''
    # print(div_list)
    for div in div_list:
        book_name = get_text(div.xpath('.//div[@class="title"]/a/text()'))
        book_url = get_text(div.xpath('.//div[@class="title"]/a/@href'))
        book_rate = get_text(div.xpath('.//span[@class="rating_nums"]/text()'))
        book_comment_num = get_text(div.xpath('.//span[@class="pl"]/text()'))
        info = div.xpath('.//div[@class="meta abstract"]/text()')
        # print(infos)
        if info:
            infos = info[0].split(r'/')
            # print(infos)
            try:
                book_author = infos[0]
                book_price = infos[-1]
                book_date = infos[-2]
                book_publish = infos[-3]
                item = {}
                item['book_name'] = book_name
                item['book_date'] = book_date
                item['book_publish'] = book_publish
                item['book_price'] = book_price
                item['book_url'] = book_url
                item['book_rate'] = book_rate
                item['book_comment_num'] = book_comment_num
                item['book_author'] = book_author
                item['book_author'] = book_author
                print(item)

            except Exception:
                pass


def get_xpath_by_selenium(url):
    '''
    请求url，获取页面内容
    :param url:
    :return:
    '''
    # 1、创建驱动

    # 2、请求url
    driver.get(url)
    # 3、等待
    time.sleep(1)
    # 4、获取页面源码
    html_str = driver.page_source
    # 测试
    # print(html_str)
    return etree.HTML(html_str)


def main():
    # 1、确定url
    base_url = 'https://book.douban.com/subject_search?search_text=python&cat=1001&start=%s'
    # 2、分页
    # 直接确定就是100页
    # 使用while循环
    i = 0
    while True:
        # 2.1请求盖页
        tree = get_xpath_by_selenium(base_url % (i * 15))
        # 2.2 获取列表-
        div_list = tree.xpath('//div[@id="root"]/div/div[2]/div/div/div[position()>1]')
        if not div_list:
            break
        # 解析数据
        parse_page(div_list)
        # 页码+1
        # time.sleep(10000)
        i += 1


if __name__ == '__main__':
    # 技术点二：
    # dirver一般要放在全局变量中，不能放在方法中

    driver = webdriver.Chrome()
    main()

（2）、爬取斗鱼直播信息

import time

from selenium import webdriver
from lxml import etree


# phantomjs是可以是被网站识别出来。
def get_text(text):
    if text:
        return text[0]
    return ''


def parse_page(li_list):
    '''
    解析页面数据
    :param li_list:
    :return:
    '''
    for li in li_list:
        title = get_text(li.xpath('.//h3[@class="DyListCover-intro"]/text()'))
        anchor = get_text(li.xpath('.//h2[@class="DyListCover-user"]/text()'))
        hot = get_text(li.xpath('.//span[@class="DyListCover-hot"]/text()'))
        live_url = get_text(li.xpath('.//div[@class="DyListCover HeaderCell is-href"]/a/@href'))
        # print(live_url)

        item = {}
        item['title'] = title
        item['anchor'] = anchor
        item['hot'] = hot
        item['live_url'] = live_url
        print(item)


def main():
    # 1、确定url
    base_url = 'https://www.douyu.com/g_LOL'
    # 2、创建驱动
    driver = webdriver.Chrome()
    driver.get(base_url)
    time.sleep(2)

    while True:
        # 3.1先解析当前页面、
        tree = etree.HTML(driver.page_source)
        li_list = tree.xpath('//ul[@class="layout-Cover-list"]/li')
        parse_page(li_list)
        # 3.2找到下一页按钮
        next_page = driver.find_element_by_xpath('//div[@class="ListFooter"]/ul/li[last()]')
        # print(next_page)
        # 3.3点击之前判断一下他能不能点
        aria_disabled = next_page.get_attribute('aria-disabled')
        # 如果不能点分页结束
        # 如果能点，点击他进行下一页的循环
        if aria_disabled == 'true':
            break

        next_page.click()
        # 等待
        time.sleep(2)


if __name__ == '__main__':
    main()

（3）、爬取豆瓣电影

import os

import requests, re, json
from excel_utils.excel_utils import Excel_Utils
from lxml import etree


def get_content(url):
    '''
    获取url的响应内容
    :param url:
    :return:
    '''
    response = requests.get(url, headers=headers)
    return response.text


def parse_ajax(json_str):
    '''
    解析json数据保存
    :param json_str:
    :return:
    '''
    json_data = json.loads(json_str)
    filename = '电影信息.xls'

    if not os.path.exists(filename):
        Excel_Utils.write_to_excel(json_data, filename)
    else:
        Excel_Utils.append_to_excel(json_data, filename)


def request_ajax(type_id):
    '''
    解析类型下的ajax数据
    :param type_id: 类型的id
    :return:
    '''
    # 确定ajax请求
    base_url = 'https://movie.douban.com/j/chart/top_list?'
    i = 0
    while True:
        params = {
            'type': type_id,
            'interval_id': '100:90',
            'action': '',
            'start': str(i * 20),
            'limit': '20',
        }
        headers.update({'X-Requested-With': 'XMLHttpRequest'})
        response = requests.get(base_url, params=params, headers=headers)
        json_str = response.text
        if json_str == '[]':
            break
        parse_ajax(json_str)


def main():
    # 1、确定url
    index_url = 'https://movie.douban.com/chart'
    # 2、从首页中获取每个type_id
    html_str = get_content(index_url)
    tree = etree.HTML(html_str)
    type_urls = tree.xpath('//div[@class="types"]/span/a/@href')
    print(type_urls)
    for type_url in type_urls:
        type_id = re.search(r'type=(\d+)&interval_id', type_url).group(1)
        # print(type_id)
        request_ajax(type_id)


if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
    }
    main()

（4）、爬取腾讯招聘信息

import requests, json, time
from excel_utils.excel_utils import Excel_Utils


class Tencent:
    def __init__(self, url, headers):
        self.url = url
        self.headers = headers

        self.parse()

    def write_to_file(self, list_):
        """写入数据"""
        Excel_Utils.write_to_excel(list_, filename)

    def parse_json(self, text):
        """解析ajax数据,将Json转为Python字典"""
        infos = []
        json_dict = json.loads(text)
        print(json_dict)
        for data in json_dict['Data']['Posts']:
            RecruitPostName = data['RecruitPostName']
            CategoryName = data['CategoryName']
            Responsibility = data['Responsibility']
            LastUpdateTime = data['LastUpdateTime']
            detail_url = data['PostURL']
            item = {}
            item['RecruitPostName'] = RecruitPostName
            item['CategoryName'] = CategoryName
            item['Responsibility'] = Responsibility
            item['LastUpdateTime'] = LastUpdateTime
            item['detail_url'] = detail_url
            infos.append(item)
            print(item)
        self.write_to_file(infos)

    def parse(self):
        """ajax参数"""
        for i in range(1, 30):
            params = {
                'timestamp': '1594433126442',
                'countryId': '',
                'cityId': '',
                'bgIds': '',
                'productId': '',
                'categoryId': '',
                'parentCategoryId': '',
                'attrId': '',
                'keyword': '',
                'pageIndex': str(i),
                'pageSize': '10',
                'language': 'zh-cn',
                'area': 'cn'
            }
            response = requests.get(self.url, params=params, headers=self.headers)
            self.parse_json(response.text)


if __name__ == '__main__':
    start = time.time()
    filename = '腾讯招聘信息.xls'
    base_url = 'https://careers.tencent.com/tencentcareer/api/post/Query?'
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
        'referer': 'https://careers.tencent.com/search.html',
        'sec - fetch - mode': 'cors',
        'sec - fetch - site': 'same - origin',
    }
    Tencent(base_url, headers)
    print(time.time() - start)