网络爬虫具有技术中立性,目前没有被我国明令禁止,但是还是可能触犯法律.
一、网络爬虫行为刑事案件概况
笔者通过在 Alpha 系统检索网络爬虫行为所涉刑事案件，共得到刑事裁判文书 25 份。细化到具体罪名来看，网络爬虫业务刑事案件涉及最多的罪名为侵犯公民个人信息罪（占 48%），后依次为侵犯著作权罪（占 16%）、非法获取计算机信息系统数据、非法控制计算机信息系统罪（占 16%）、非法侵入计算机信息系统罪（占 4%）、提供侵入、非法控制计算机信息系统程序、工具罪（占 4%）、破坏计算机信息系统罪（占 4%）、传播淫秽物品罪（占 4%）、诈骗罪（占 4%）。
案例
在上海晟品网络科技有限公司、侯明强等非法获取计算机信息系统数据罪一案中，侯明强指使被告人郭辉破解北京字节跳动网络技术有限公司的防抓取措施，使用 “tt_spider” 文件实施视频数据抓取行为，在数据抓取的过程中使用伪造 device_id 绕过服务器的身份校验，使用伪造 UA 及 IP 绕过服务器的访问频率限制。法院认为 “被告单位上海晟品网络科技有限公司违反国家规定，采用技术手段获取计算机信息系统中存储的数据，情节严重，其行为已构成非法获取计算机信息系统数据罪。”
侵犯公民个人信息罪
《网络安全法》第四十四条规定 “任何个人和组织不得窃取或者以其他非法方式获取个人信息，不得非法出售或者非法向他人提供个人信息。” 根据我国《刑法》第二百五十三条之一第一款之规定，违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，构成侵犯公民个人信息罪。根据本条第三款之规定，窃取或者以其他方法非法获取公民个人信息的，亦构成侵犯公民个人信息罪。所谓 “公民个人信息”，根据《办理侵犯公民个人信息刑事案件适用法律若干问题的解释》第一条之规定，是指以电子或者其他方式记录的能够单独或者与其他信息结合识别特定自然人身份或者反映特定自然人活动情况的各种信息，包括姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等。
在彭中正、吕雷、周敏侵犯公民个人信息罪一案中，被告人彭中正辩解称涉案信息来源是在网上抓取，并非非法获取的。而法院认为 “彭中正无论是从公司窃取还是自己加工获取，未征得他人同意收集信息，均系非法手段，不影响本罪的构成。” 因此，如果爬虫控制者在未经他人同意或者超出权限许可范围的情况下大量抓取公民个人信息，其手段即具有非法性，可能构成侵犯公民个人信息罪。
诈骗罪
在电信诈骗泛滥的当下，网络爬虫技术也也成为了犯罪分子实施诈骗的工具，根据《关于办理电信网络诈骗等刑事案件适用法律若干问题的意见》的规定，利用 “钓鱼网站” 链接、“木马” 程序链接、网络渗透等隐蔽技术手段实施诈骗的，属于酌定从重处罚情节。
在叶文荣、孙雷杰诈骗案中，被告人叶文荣雇佣他人，为谋取非法利益，通过购买爬虫软件获取淘宝网新开店店家信息，冒充淘宝客服人员向店家发送店铺未激活、交易关闭等虚假信息，以帮助店家解决问题为由诱骗被害人同意其进行远程协助并提供支付宝账户及密码，后其通过电脑远程操作的方式使用被害人支付宝为视频账户充值。法院认为 “被告人叶文荣以非法占有为目的，利用电信网络对不特定多数人实施诈骗，骗取财物数额特别巨大，其行为已构成诈骗罪”。
总结
爬虫爬取数据法律风险主要从以下几方面考虑
一 是数据是否属于开放数据。数据是否公开不是合法性判断的标准，是否为开放数据才是，公开数据不必然等同于开放数据；
二 是取得数据的手段是否合法。爬虫采用的技术是否突破数据访问控制，法律上是否突破网站或App的Robots协议；
三 是使用目的是否合法。如果爬虫的目的是实质性替代被爬虫经营者提供的部分产品内容或服务，则会被认为目的不合法；
四 是是否造成损害。爬虫是否实质上妨碍被爬虫经营者的正常经营，是否不合理增加运营成本，是否破坏系统正常运行。
五 如果利用爬虫技术非法获取公民个人信息，可能触犯侵犯公民个人信息罪
