Python网络爬虫:百度翻译JS解密

473 阅读3分钟

本人已参与【新人创作礼】活动,一起开启掘金创作之路。 本文首发于CSDN

hello,大家好,我是wangzirui32,今天我们来学习JS解密的一个案例——百度翻译JS解密,开始学习吧!

1. 解析请求参数

百度翻译的链接:fanyi.baidu.com
打开开发者工具,切换到“Network”,然后输入一些文字进行测试:
请求
图片中用红色框标注的是翻译的请求,请求表单如下:
表单
通过尝试不同的翻译内容,发现只有sign的值会变,这个值应该是根据翻译内容自动生成的。
那么,sign值是如何加密的呢?这就需要深入JS代码了。

2. 解析JS代码

首先,我们再次加载页面,选择“JS”选项,再按下Ctrl+Shift+F切换到搜索模式,搜索sign:
查找JS文件
经过排查,发现index_a8b7098.js这个JS文件很可疑,匹配了结果很多次。
双击此文件,选择“{}”美化代码:
JS文件
按下Ctrl+F,输入sign查询,最后找到了加密的代码,然后再点击代码行数,设置断点:
设置断点
然后,点击“翻译”按钮,此时JS代码会停留再这一行等待执行,再看右边的调试栏,找到L函数,因为设置sign的代码是L(e)
L函数
接着,右击函数名(L),选择“Show function definition”,找到函数源代码:
函数定义
将代码进行复制,如下:

function e(r) {
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === o) {
        var t = r.length;
        t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
    } else {
        for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)
            "" !== e[C] && f.push.apply(f, a(e[C].split(""))),
            C !== h - 1 && f.push(o[C]);
        var g = f.length;
        g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
    }
    var u = void 0
      , l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
    u = null !== i ? i : (i = window[l] || "") || "";
    for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
        var A = r.charCodeAt(v);
        128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),
        S[c++] = A >> 18 | 240,
        S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224,
        S[c++] = A >> 6 & 63 | 128),
        S[c++] = 63 & A | 128)
    }
    for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
        p += S[b],
        p = n(p, F);
    return p = n(p, D),
    p ^= s,
    0 > p && (p = (2147483647 & p) + 2147483648),
    p %= 1e6,
    p.toString() + "." + (p ^ m)
}

接下来,将这些代码保存到baidu.js中,然后安装execjs模块:

pip install execjs

然后,进入交互式提示符测试JS代码:

>>> import execjs
>>> js = open("baidu.js", "r")
>>> run_js = execjs.compile(js.read())
>>> sign = run_js.call("e", "程序员")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  .....
execjs._exceptions.ProgramError: TypeError: 'i' 未定义

可以看到,程序提示i未定义,通过不断地调试得知 i 是一个固定值,为"320305.131321201",于是加入JS代码中:

function e(r) {
	// 定义i变量
    var i = "320305.131321201";
    
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    ......
}

好了,再次测试,报错:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  ......
execjs._exceptions.ProgramError: TypeError: 缺少对象

一检查,发现n函数没有定义,在调试中我成功找到n函数的代码:
函数
加入JS文件:

function e(r) {
    var i = "320305.131321201";
    ......
}

function n(r, o) {
    for (var t = 0; t < o.length - 2; t += 3) {
        var a = o.charAt(t + 2);
        a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),
        a = "+" === o.charAt(t + 1) ? r >>> a : r << a,
        r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
    }
    return r
}

再次运行,成功输出sign值:

744914.1031907

3. 编写爬取代码

import requests
import execjs

content = input("请输入你需要翻译的中文内容:")

js = open("baidu.js", "r")
run_js = execjs.compile(js.read())
sign = run_js.call("e", content)
js.close()

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64",
    "Cookie": "你的Cookie信息"
}

form = {
    'from': 'zh',
    'to': 'en',
    'query': content,
    'transtype': 'translang',
    'simple_means_flag': '3',
    'sign': sign,
    'token': '你的Token信息',
    'domain': 'common',
}
url = "https://fanyi.baidu.com/v2transapi"
r = requests.post(url, headers=headers, data=form)
result = r.json()["trans_result"]['data'][0]['dst']
print(result)

这里说明一下,token是根据Cookie信息自动生成的,所以请求头要加上Cookie信息。
运行代码:

请输入你需要翻译的中文内容:程序员
programmer

至此,整个流程就结束啦~


好了,今天的课程就到这里,我是wangzirui32,喜欢的可以点个收藏和关注,我们下次再见!