数据分析之爬虫
3篇文章 · 0订阅
  • 【动图详解】通过 User-Agent 识别爬虫的原理、实践与对应的绕过方法
    随着 Python 和大数据的火热，大量的工程师蜂拥而上，爬虫技术由于易学、效果显著首当其冲的成为了大家追捧的对象，爬虫的发展进入了高峰期，因此给服务器带来的压力则是成倍的增加。企业或为了保证服务的正常运转或为了降低压力与成本，不得不使出各种各样的技术手段来阻止爬虫工程师们毫无…
    Python Nginx 浏览器
  • Python | 数据分析实战Ⅰ
    “Talk is cheap,Show me the code.”翻译为中文是“废话少说，放码过来。”我觉得可谓信达雅。 下面我来写一写在第一阶段的一些学习操作总结和感受。 打开浏览器开发者工具，观察Network部分的内容，首先点进Doc部分，看看服务器给我们返回了哪些文本内…
    数据分析 Python 后端
  • Python | 数据分析实战 Ⅱ
    上一篇文章《Python | 数据分析实战Ⅰ》中，实现了对数据的简单爬取，在文末也遗留了了一些问题。 在这篇文章中，我们主要对以上几个问题进行思考，并采取一些解决方式。 假如在对一个网站进行大量访问爬取时，略有反爬措施的网站一定会检测到你这个异常IP并进行封禁。如果你还没遇到这…
    数据分析 爬虫 Python