学习目标
跟随架构师律师马原的脚步读完这一讲,你能:
- 建立个人的法律风险意识
- 掌握日常工作的自我保护措施
- 找到合法做事的技术路径
六个生存法则
法则一:优先 API
几乎所有大平台都有官方 API。API 有明确的授权范围和使用限制。遵守这些规则,你就站在了一个有明确边界的场地上。
# 好:使用官方 API
import requests
resp = requests.get(
'https://api.example.com/v1/data',
headers={'Authorization': 'Bearer YOUR_API_KEY'},
params={'limit': 100}
)
# 不好:直接爬页面
resp = requests.get('https://example.com/page')
法则二:做增值
法律对"原始数据搬运"的态度越来越负面。但如果你对数据做了深度加工,法律评价会完全不同。
# 高风险:搬运
for item in crawled_data:
display(item) # 原样展示
# 低风险:增值
report = analyze_trends(crawled_data)
insight = predict_future(crawled_data)
print(f"行业趋势: {report}")
print(f"未来预测: {insight}")
法则三:留日志
完整、诚实的访问日志,在法庭上可能是你最有力的辩护证据。
# 日志应该包含:
log_entry = {
'timestamp': '2024-01-15T10:30:00Z',
'action': 'fetch',
'url': 'https://example.com/page',
'status_code': 200,
'user_agent': 'MyBot/1.0 (+https://my-site.com/bot; contact@my-site.com)',
'robots_txt_compliant': True,
'crawl_delay_observed': 2.0,
}
法则四:定期审
法律在变,平台规则在变,你的代码也应该跟着变。
# 建议每季度运行一次合规检查
# 可以做成 CI/CD pipeline 的一部分
def quarterly_compliance_audit():
check_robots_txt_updates()
review_user_agreement_changes()
audit_data_retention_policies()
verify_anonymization_effectiveness()
法则五:问律师
事前预防大于事后补救。新业务上线之前,深入技术实现与业务流的咨询一下律师。这比出了事之后请刑事辩护律师划算得多。
法则六:存善意
保留所有能证明你"善意"的证据:
- 项目 README 里的法律声明
- 代码注释里的合规提醒
- 提交记录里的功能说明
- 团队会议纪要里的风险讨论
- 和法务、律师的沟通记录
技术人的法律素养自检表
# 爬虫工程师法律素养自检表
## 基础知识(必须知道)
- [ ] 知道刑法第285条是什么
- [ ] 知道侵犯公民个人信息罪的入罪标准
- [ ] 知道反不正当竞争法第13条的内容
- [ ] 知道 robots.txt 的法律意义
- [ ] 知道用户协议的法律约束力
## 技术规范(必须做到)
- [ ] 所有爬虫使用诚实 User-Agent
- [ ] 遵守目标站点的 Crawl-delay
- [ ] 正确处理 429/403/503 错误码
- [ ] 不伪造 device_id、IP 地址
- [ ] 保留完整的访问日志
## 数据处理(必须审查)
- [ ] 抓取前检查是否包含个人信息
- [ ] 个人信息已做去标识化
- [ ] 数据存储已加密
- [ ] 设定了数据保留期限
- [ ] 未超出授权范围使用数据
## 业务模式(必须评估)
- [ ] 业务模式不构成实质性替代
- [ ] 数据输出有实质性增值
- [ ] 数据来源已标注
- [ ] 有法律纠纷应对预案
推荐阅读清单
法律法规
- 《中华人民共和国刑法》第285条、第253条之一、第217条、第363条
- 《中华人民共和国反不正当竞争法》(2025年修订)
- 《中华人民共和国个人信息保护法》
- 《中华人民共和国网络安全法》
- 《中华人民共和国数据安全法》
司法解释
- 两高《关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》
- 两高《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》
判例数据库
- 中国裁判文书网(wenshu.court.gov.cn)
- 人民法院案例库
全文完。
作者:一个科班计算机(网络工程)写代码出身(毕业后十年一线独角兽爬虫企业、专注高可用分布式爬虫架构)的刑事律师,上海刑事律师马原。
这18讲不是教科书,是我在企业合规、法庭上、看守所里、技术鉴定报告堆里攒下来的经验。如果其中任何一讲让你停下来想了想自己的爬虫业务——这18讲就没有白写。
技术向善,但愿使用技术的人,也能被善待|懂技术更懂如何用法律保护技术人