学弟问我什么样的技术才能算入门了爬虫!至少能搞定百分之八十的网站才算吧!

336 阅读6分钟

前言

今天回到宿舍,发现比我小两届的小学弟还在看某站的一些爬虫教学视频!我看了一眼应该是爬小说的吧!就带着指导一下的心态,问了一下学弟!说:学弟,这个爬小说的应该看一遍就能自己爬了吧!学弟:哪有这么厉害,我看一遍最多能懂一个大概的思路,代码你让我不看源码敲,我都不知道咋去实现!我说:这个其实还是基础不够扎实,但是爬小说这块还是非常简单的爬虫案例,基本都能上手很快的,你有不会的地方随时找我!学弟:好的,多谢学长,话说,需要掌握哪些技术才能算是入门爬虫了!我说:入门爬虫其实不难,能搞定百分之八十的网站就基本算入门进阶了!学弟:但是那网站不都是有反爬吗,这个怎么搞定呢!

如果你也和我这位学弟有这样疑惑,或者想看一下网站的反爬,那就可以跟着我继续往下看了哈,今天给学弟演示的相当于是一个反爬中比较简单的小教程吧!期望能帮助到你!

正题

这次咱们要去搞定的网站是有道翻译,需要用到js解密!

首先

首先来看一下它的网页!

找到它的post

以上步骤图片应该都能看懂吧!那接下来咱们直接上源代码!

import requests


#请求头
#headers不能只有一个User-Agent,因为有道翻译是有一定的反扒机制的,所以我们直接全部带上
headers = {
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Connection": "keep-alive",
    "Content-Length": "244",
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "Cookie": "OUTFOX_SEARCH_USER_ID=-1506602845@10.169.0.82; JSESSIONID=aaaUggpd8kfhja1AIJYpx; OUTFOX_SEARCH_USER_ID_NCOO=108436537.92676207; ___rl__test__cookies=1597502296408",
    "Host": "fanyi.youdao.com",
    "Origin": "http://fanyi.youdao.com",
    "Referer": "http://fanyi.youdao.com/",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36",
    "X-Requested-With": "XMLHttpRequest",
}

#提交参数
params = {
    "i": "I love you",
    "from": "UTO",
    "to": "AUTO",
    "smartresult": "dict",
    "client": "fanyideskweb",
    "salt": "15975022964104",
    "sign": "7b7db70e0d1a786a43a6905c0daec508",
    "lts": "1597502296410",
    "bv": "9ef72dd6d1b2c04a72be6b706029503a",
    "doctype": "json",
    "version": "2.1",
    "keyfrom": "fanyi.web",
    "action": "FY_BY_REALTlME",
}

url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"

#发起POST请求
response = requests.post(url=url,headers=headers,data=params).json()

print(response)

到这里表面上已经完成了有道翻译的代码,但其实还有问题,比如下方如果更换了需要翻译的内容就会报错

什么原因呢?

我们在有道翻译重新翻译,会发起新的POST请求,而每次请求所带的参数值会有所不同,如果想要真正实现有道翻译功能,就要找到这四个参数值得生成方式,然后用python实现同样的功能才行

JS解密(详解)

Ctrl+Shift+f 进行搜索,输入sign

因为加密肯定是发起请求的时候加密所以我们搜索translate_o

调试一下

在有道翻译重新输入翻译内容,即可到断点处停下

但是发现数据已经是加密好了的

但由于我们是调试模式,可以返回到上一步,点击如下按钮

可以发现salt、sign、lts、bv都是通过 r 获取出来的,而 r 又是通过一个函数得到的

进入该函数

可以发现这里就是加密的地方

复制这段js代码,我们需要使用使用python代码来实现

可以看到是一模一样的,到这里算是有一点点小成功了😁

注意这里翻译的内容不同其bv也是不同的哦

接下来看lts,用python实现

可见python生成的时间戳和JS的有所不同,但细心的小伙伴肯定知道怎么把python的时间戳变成跟JS一样

这样就ok了

乘以1000转化为int舍弃小数位再转化为字符串,因为JS里是字符串

接下来看i,然后用python实现

温馨提示:

可能会正在有道翻译更新时进行改变,但这不是什么问题,如果仔细看了JS解密的话,还是能够找到新的

python实现JS解密后的完整代码

虽然建议自己敲,但是你懒就直接哪去用吧!如果文章看的不够清晰,我有录了视频,从零开始录得,搞了我一两个小时,主要只教给学弟,感觉太少,还不如拿出来分享一下!如果觉得此篇文章对你有帮助,就帮小编点个赞吧!

源码文章完整视频点这里即可

import requests
from hashlib import md5
import time
import random


#请求地址
url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"

appVersion = "5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36"

headers = {
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Connection": "keep-alive",
    "Content-Length": "244",
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "Cookie": "OUTFOX_SEARCH_USER_ID=-1506602845@10.169.0.82; JSESSIONID=aaaUggpd8kfhja1AIJYpx; OUTFOX_SEARCH_USER_ID_NCOO=108436537.92676207; ___rl__test__cookies=1597502296408",
    "Host": "fanyi.youdao.com",
    "Origin": "http://fanyi.youdao.com",
    "Referer": "http://fanyi.youdao.com/",
    "user-agent": appVersion,
    "X-Requested-With": "XMLHttpRequest",
}


def r(e):
    # bv
    t = md5(appVersion.encode()).hexdigest()

    # lts
    r = str(int(time.time() * 1000))

    # i
    i = r + str(random.randint(0,9))

    return {
        "ts": r,
        "bv": t,
        "salt": i,
        "sign": md5(("fanyideskweb" + e + i + "]BjuETDhU)zqSxf-=B#7m").encode()).hexdigest()
    }


def fanyi(word):

    data = r(word)
    params = {
        "i": word,
        "from": "UTO",
        "to": "AUTO",
        "smartresult": "dict",
        "client": "fanyideskweb",
        "salt": data["salt"],
        "sign": data["sign"],
        "lts": data["ts"],
        "bv": data["bv"],
        "doctype": "json",
        "version": "2.1",
        "keyfrom": "fanyi.web",
        "action": "FY_BY_REALTlME",
    }

    response = requests.post(url=url,headers=headers,data=params)
    #返回json数据
    return response.json()



if __name__  "__main__":
    while True:
        word = input("请输入要翻译的语句:")
        result = fanyi(word)
        
        #对返回的json数据进行提取,提取出我们需要的数据
        r_data = result["translateResult"][0]
        print(r_data[0]["src"])
        print(r_data[0]["tgt"])

这代码我就不做过多解释了,相信大家都能看懂。 实在看不懂就找我拿视频教程吧!也可以留言问我

实现效果

JS解密后完整代码升级版

如果只是对一些词语、语句翻译那还不如直接在网址上进行翻译,本次升级版可以对文章句子进行分段翻译,更有助于提高英语阅读理解的能力。(特别适合我这样的英语学渣)😂

import requests
from hashlib import md5
import time
import random


#请求地址
url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"

appVersion = "5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36"

headers = {
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Connection": "keep-alive",
    "Content-Length": "244",
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "Cookie": "OUTFOX_SEARCH_USER_ID=-1506602845@10.169.0.82; JSESSIONID=aaaUggpd8kfhja1AIJYpx; OUTFOX_SEARCH_USER_ID_NCOO=108436537.92676207; ___rl__test__cookies=1597502296408",
    "Host": "fanyi.youdao.com",
    "Origin": "http://fanyi.youdao.com",
    "Referer": "http://fanyi.youdao.com/",
    "user-agent": appVersion,
    "X-Requested-With": "XMLHttpRequest",
}


def r(e):
    # bv
    t = md5(appVersion.encode()).hexdigest()

    # lts
    r = str(int(time.time() * 1000))

    # i
    i = r + str(random.randint(0,9))

    return {
        "ts": r,
        "bv": t,
        "salt": i,
        "sign": md5(("fanyideskweb" + e + i + "]BjuETDhU)zqSxf-=B#7m").encode()).hexdigest()
    }


def fanyi(word):

    data = r(word)
    params = {
        "i": word,
        "from": "UTO",
        "to": "AUTO",
        "smartresult": "dict",
        "client": "fanyideskweb",
        "salt": data["salt"],
        "sign": data["sign"],
        "lts": data["ts"],
        "bv": data["bv"],
        "doctype": "json",
        "version": "2.1",
        "keyfrom": "fanyi.web",
        "action": "FY_BY_REALTlME",
    }

    response = requests.post(url=url,headers=headers,data=params)
    return response.json()


if __name__  "__main__":
 #打开需要翻译的文章
    with open("文章.txt",mode="r",encoding="utf-8") as f:
        #获取文章全部内容
        text = f.read()

    result = fanyi(text)
    r_data = result["translateResult"]
    
    #翻译结果保存
    with open("test.txt",mode="w",encoding="utf-8") as f:
        for data in r_data:
            f.write(data[0]["tgt"])
            f.write('\n')
            f.write(data[0]["src"])
            f.write('\n')
            print(data[0]["tgt"])
            print(data[0]["src"])

实现效果

最后

祝大家都早日入门爬虫!入门之后你会发现一个新世界,爬虫能实现的东西太多了,而且学下来越来越有劲!大家如果想看视频可以到BZ搜Python数据分析!也可以点击链接哦!

源码文章完整视频点这里即可 在校大四狗,不考研!

谢谢大家!