爬虫抓取图片、内容(python)及python爬虫环境配置

85 阅读2分钟

携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第16天,点击查看活动详情

本环境教程基于mac m1芯片。

一、安装python3

运行命令brew install python3,安装完成之后输入python3出现如下图,安装成功: 在这里插入图片描述

二、安装MongoDB

运行命令brew tap mongodb/brew 完成之后,再输入命令brew install mongodb-community安装社区版 输入命令:sudo brew services start mongodb/brew/mongodb-community启动服务后, 在输入mongo: 如下图即安装成功: 在这里插入图片描述

在安装MongoDB的时候如果出现了如下问题:

Error: Your Command Line Tools are too outdated.
Update them from Software Update in System Preferences or run:
  softwareupdate --all --install --force

If that doesn't show you any updates, run:
  sudo rm -rf /Library/Developer/CommandLineTools
  sudo xcode-select --install

Alternatively, manually download them from:
  https://developer.apple.com/download/all/.
You should download the Command Line Tools for Xcode 13.3.

在这里插入图片描述 那么我们先去这个网址找到: 在这里插入图片描述 点击下载,下载完成之后安装,重新运行安装MongoDB的命令即可。

三、安装Redis

运行命令brew install redis,安装完成之后输入redis-cli出现如下图,安装成功: 在这里插入图片描述 安装完成之后修改/opt/homebrew/etc/redis.conf配置: 在这里插入图片描述 将这行注释打开。 输入命令brew services list查看服务开启的状态: 在这里插入图片描述

接着输入命令brew services restart redis启redis服务: 在这里插入图片描述 然后就可以输入命令redis-cli -a foobared进入redis命令行当中: 在这里插入图片描述

四、安装mysql

输入命令brew install mysql安装mysql。 输入命令mysql.server start运行mysql: 在这里插入图片描述 接着输入命令mysql -uroot -p出现如下图,则mysql安装成功: 在这里插入图片描述

五、常用爬虫库安装

输入命令pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter: 出现如下图即安装成功: 在这里插入图片描述

六、代码初演示

6.1 网站内容

打开终端,输入:python3在这里插入图片描述 然后输入代码:

import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
response = requests.get('https://你想请求的网址', headers=headers)
print(response.text)
print(response.headers)
print(response.status_code)

在这里插入图片描述 在这里插入图片描述 可以看到我们已经将网站内容请求回来了。

6.2 抓取图片

输入代码:

import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
response = requests.get('https://img.cc0.cn/unsplash/2019102200275640703.jpg/tuijian', headers=headers)

with open('/Users/justin/Downloads/1.png', 'wb') as f:
    f.write(response.content)
    f.close()

在这里插入图片描述 可以看到图片已经下载成功: 在这里插入图片描述

如果你觉得本文对你有所帮助的话,那就请关注点赞评论三连吧,谢谢,你的肯定是我写博的另一个支持。