子竹聆风

配置 代理：隧道代理为佳 在宿主机上找个位置，新建文件/root/splash/proxy-files/mywebsite.ini 注意：区别于官方文档，ini应该为小写 docker启动spalsh

设备：华为p9 华为p9，mitmproxy 抓包安卓7以上ca证书安装方法 安卓7到9 （包含） https://zhuanlan.zhihu.com/p/259255855 用charles或fi

场景： 国外新闻，很多需要做这种转换。新闻源是时间字符串，产品是全球化的，需要转成时间戳 代码： 坑： Windows系统下，altzone与timezone返回值 相差1小时。最好用timezone

在kafka的默认配置下，限制了数据传输的大小（默认情况下为1M） 网络数据采集与提取，有时候会超过这个1M限制 一.修改kafka的配置文件 1、知道自己的数据量大概范围，联系大数据运维，修改对应的

Docker 部署 Jupyter Notebook。为什么喜欢在线的编程环境？因为方便快捷，容易拿起，容易放下

多进程并发运行selenium gird。多进程并发运行selenium gird。多进程并发运行selenium gird

难点解读1、隐藏webdriver demo code参考: 最完美方案！模拟浏览器如何正确隐藏特征本地版本remote selenium gird版本2、静态资源打包进egg，生产环境，读取包中的数

需求背景一次性任务还是周期性涉及到自动登录、cookie、半自动化还是全自动化等等，一般周期任务自动化难度会增加，需要评估需求合规性《网络安全法》时间需求必要性程度如果短时间内不能绕过反爬或者破解，是

在docker中启动selenium gird使用扩展，并使用隧道代理。how to set proxy with authentication in selenium chromedriver python proxy with authentication(账号密码认证代理…

核心设置UA，优先在lua脚本中使用splash:set_user_agent(“{ua}”)设置ip代理，使用SplashRequest的proxy代码结果