获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
赞
0
返回
|
搜索文章
最新 热门
  • 关于python爬虫中的一些问题--7 list去重
    在python爬虫过程中，可能需要对存入list的内容进行筛选，这时候可能需要list的去重操作。
    • 5年前
    • 244
    • 评论
    Python
  • 关于python爬虫中的一些问题--6 UnicodeDecodeError: 'utf-8' codec can't decode byte
    在python爬虫中，对于获取到的内容，或许需要进行解码操作。如： 该情况可能是是由于出现了无法进行转换的 二进制数据 造成的。 写一个小脚本进行一下判断，是整体的字符集参数选择上出现了问题，还是出现了部分的无法转换的二进制块。 1、如果输出的代码都是hex形式的，可能就是你选…
    • 5年前
    • 1.0k
    • 评论
    Python
  • 关于python爬虫中的一些问题--5 urllib.request.urlretrieve()
    该方法用于根据URL下载文件到本地，常用于爬虫程序中快速下载文件。 参数filename:指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。) 参数reporthook:是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利…
    • 5年前
    • 1.3k
    • 评论
    Python
  • 关于python爬虫中的一些问题--4 爬取的页面内容为空
    其实这一切的关键在于请求头headers中的参数是否符合该网站的要求。一般在爬虫程序中，设想完备的headers会减少许多不必要的麻烦。 但即使解决header的问题，并不是解决了所有爬虫无效的情况。在前后端分离开发的时代，程序的网站的反爬虫机制由前后端共同约定完成，这就需要更…
    • 5年前
    • 490
    • 评论
    Python
  • 关于python爬虫中的一些问题--3 创建文件夹
    如，python爬虫将下载的图片等资源，分目录进行存储。有时根据特殊情况，还需要先判断该目录是否存在。 这两个函数之间最大的区别是当父目录不存在的时候os.mkdir(path)不会创建，os.makedirs(path)则会创建父目录。 比如：例子中我要创建的目录web位于D…
    • 5年前
    • 248
    • 评论
    Python
    • 个人成就
    文章被点赞 5
    文章被阅读 28,655
    掘力值 640
    收藏集
    1
    关注标签
    16
    加入于