网络爬虫简介

文章目录

• • 1.什么是爬虫&价值
  • 2.爬虫合法性探究

1.什么是爬虫&价值

概念：通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。
价值
数据就是金钱
爬虫工程师

2.爬虫合法性探究

在法律中不被禁止
具有违法风险
善意爬虫 恶意爬虫
风险体现在：
爬虫干扰了被访问网站的正常运营
爬虫抓取了受到法律保护的特定类型的数据或信息
如何在编写爬虫的过程中避免进入局子？
时长优化自己的程序，避免干扰被访问网站的正常运行
在使用时，审查抓取到的内容，如果发现了涉及用户隐私或者商业机密等敏感内容需要及时停止爬取或传播