其实爬虫无合法还是违法之分，爬虫是中立的技术，如果错的话，也错在使用爬虫的人，正所谓：爬虫本无错，人却滥用之。
使用爬虫的人或行为是否违法，需要具体情况具体分析，重者可能会触犯刑律，有牢狱之灾；轻者可能会以民事被诉诸法院，需破财免灾。
一、触犯刑律的警示案例：非法获取计算机信息系统数据罪
南山区人民法院153号刑事判决书查明以下事实：2015年11月左右，xx为了提高元光公司开发的智能公交APP"车来了"在中国市场的用户量及信息查询的准确度，保证公司更好的经营，xx授意xx，指使公司员工xx等人利用网络爬虫软件获取包括谷米公司在内的竞争对手公司服务器里的公交车行驶信息、到站时间等实时数据。xx负责编写爬虫软件程序；xx负责不断更换爬虫程序内的IP地址，使用变化的IP地址获取数据，以防元光公司察觉；xx负责编写程序，利用xx设置的不同IP地址及xx编写的爬虫程序向谷米公司发出数据请求，大量爬取谷米公司开发的智能公交APP"酷米客"的实时数据，日均300万至400万条。起初，xx破解"酷米客"客户端的加密算法没有成功，xx便出面聘请其他公司技术人员帮忙将谷米公司APP的加密系统攻破，使刘xx顺利爬取到谷米公司服务器里的大量公交车行驶实时数据。爬取的数据直接为元光公司所用，使该公司的智能公交APP"车来了"准确度提高。经评估：谷米公司因被非法侵入计算机信息系统所造成的直接经济损失为24.43万元人民币。
南山区人民法院153号刑事判决书认定：xx违反国家规定，采用其他技术手段，获取计算机信息系统中储存的数据，情节特别严重，其行为已构成非法获取计算机信息系统数据罪。在共同犯罪中，xx系"车来了"APP的主要负责人，起组织、领导作用，系主犯。xx作为具体实施者，分工配合，共同完成犯罪行为，其等在犯罪活动中起次要作用，系从犯，依法对从犯予以从轻处罚。xx非法获取数据的目的主要系用于数据比对，其犯罪动机尚不属恶劣，且均当庭表示认罪，对其宣告缓刑。综上，综合涉案金额、手段、性质及认罪态度等情节，依照《中华人民共和国刑法》第二百八十五条第二款、第四款、第三十条、第三十一条、第二十五条第一款、第二十六条第一款、第四款、第二十七条、第七十二条第一款、第三款、第七十三条第二款、第三款之规定，判决：一、xx犯非法获取计算机信息系统数据罪，判处有期徒刑三年，缓刑四年，并处罚金人民币十万元。二、xx犯非法获取计算机信息系统数据罪，判处有期徒刑二年，缓刑三年，并处罚金人民币五万元。三、xx犯非法获取计算机信息系统数据罪，判处有期徒刑一年六个月，缓刑二年，并处罚金人民币四万元。四、xx犯非法获取计算机信息系统数据罪，判处有期徒刑一年四个月，缓刑二年，并处罚金人民币三万元。五、xx犯非法获取计算机信息系统数据罪，判处有期徒刑一年四个月，缓刑二年，并处罚金人民币三万元。
二、从民事角度分析，需结合以下情况具体分析：
**1.爬取的数据和信息的性质：**是公开信息还是非公开信息；是个人信息还是企业数据等，如果是个人信息或者隐私数量大的，直接参考上面第一条。
**2.获取的方式：**有没有破坏对方的技术措施，有没有绕过或规避系统技术保护措施或服务器访问保护规则，如绕过正常的登录方式等。
3.获取数据和信息的数量：“大量”是多少？1000条、10000条、10000000条，都会有实质影响。
4.获取数据和信息后的使用方式：爬取到的信息如何使用，如果爬了未使用或者未外显使用，也就是对方取证不到你使用，那风险相对要小。
