子竹聆风

场景： 国外新闻，很多需要做这种转换。新闻源是时间字符串，产品是全球化的，需要转成时间戳 代码： 坑： Windows系统下，altzone与timezone返回值 相差1小时。最好用timezone

在kafka的默认配置下，限制了数据传输的大小（默认情况下为1M） 网络数据采集与提取，有时候会超过这个1M限制 一.修改kafka的配置文件 1、知道自己的数据量大概范围，联系大数据运维，修改对应的

Docker 部署 Jupyter Notebook。为什么喜欢在线的编程环境？因为方便快捷，容易拿起，容易放下

多进程并发运行selenium gird。多进程并发运行selenium gird。多进程并发运行selenium gird

难点解读1、隐藏webdriver demo code参考: 最完美方案！模拟浏览器如何正确隐藏特征本地版本remote selenium gird版本2、静态资源打包进egg，生产环境，读取包中的数

需求背景一次性任务还是周期性涉及到自动登录、cookie、半自动化还是全自动化等等，一般周期任务自动化难度会增加，需要评估需求合规性《网络安全法》时间需求必要性程度如果短时间内不能绕过反爬或者破解，是

在docker中启动selenium gird使用扩展，并使用隧道代理。how to set proxy with authentication in selenium chromedriver python proxy with authentication(账号密码认证代理…

核心设置UA，优先在lua脚本中使用splash:set_user_agent(“{ua}”)设置ip代理，使用SplashRequest的proxy代码结果

如果没有兴趣，了解我遇到的坑，可以不用往下看了。 此篇文章纪录下问题，涉及到财务申请，技术变更（代理方案和代码变更），即是公司流程和技术上的双重问题，公司内，繁杂的审批流程问题。 写下来，总归是好。 为什么是500元，因为隧道代理，一般都是500块钱包月起步的。如果每月预算超过…