我的 python 学习之路

一、什么是JS、JS反爬是什么？JS逆向是什么? JS（JavaScript） 是互联网上最流行的脚本语言，这门语言可用于 HTML 和 web，更可广泛用于服务器、PC、笔记本电脑、平板电脑和智能手

什么是字体反爬 网页开发者自己创造一种字体，因为在字体中每个文字都有其代号，那么以后在网页中不会直接显示这个文字的最终的效果，而是显示他的代号，因此即使获取到了网页中的文本内容，也只是获取到文字的代号

说明：本文为课件导入，非原创 什么是验证码 验证码（CAPTCHA）是一种计算机程序设计技术，用于确定用户是人类而不是机器。它通常表现为一种图像或声音，要求用户在输入框中输入正确的文本或数字来证明自己

python操作redis： redis的安装与连接： 字符串的相关操作： 启动 redis 服务，打开图形化界面，然后直接运行代码， 介绍： 1 Scrapy分布式爬虫意味着几台机器通过某种方式共同

背景 随着互联网+大数据时代的来临，传统的关系型数据库已经不能满足中大型网站日益增长的访问量和数据量。这个时候就需要一种能够快速存取数据的组件来缓解数据库服务I/O的压力，来解决系统性能上的瓶颈。 什

Scrapy是什么？ Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架(异步爬虫框架)。 通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定

爬虫与反爬虫的斗争 爬虫建议 尽量减少请求次数 保存获取到的HTML，供查错和重复使用 关注网站的所有类型的页面 H5页面 APP 多伪装 代理IP（基本不怎么使用） 获取随机的请求头： 代码实例：

进程与线程： 什么是进程？ 电脑中时会有很多单独运行的程序，每个程序有一个独立的进程， 而进程之间是相互独立存在的。比如电脑上开启的 Chrome、网易云音乐等等。 什么是线程？ 一个可以独立运行的程

MongoDB 简介： MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，因此可以存储比较复杂的数据类型。 支持的查

初识 MySql： MySql的安装： 1. 打开官网： https://www.mysql.com/， 找到 DOWNLOADS，点击并进入： 2. 界面滑到最下边，这个位置，点击并进入： 3. 根

终端是什么？ Mac 上查看端口占用情况并结束进程的方法 1. 查看当前系统中所有的端口占用情况： 将 <端口号> 替换为你要查询的端口号。例如，如果你想查看端口 80 的占用情况，命令应该是： 按下

一、进程： 进程(progress)：是指计算机中已运行的程序。 每个进程都有自己的地址空间、内存、寄存器和堆栈等资源，它们与其他进程相互隔离，互不干扰。进程是操作系统中最基本的资源分配单位，也是操作

三大数据解析方式： Beautifulsoup 正则表达式 xpath 其中xpath最为常用，也最为方便。 数据解析的基本原理： bs4: 标签定位 提取标签，标签属性中存储的数据值 原理： 实例化

概述： 正则表达式，又称规则表达式 , （Regular Expression，在代码中常简写为regex、regexp或RE），是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符

csv 是什么？ 逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），。 CSV (Comma Separated Values)，即

BeautifulSoup 是什么？ Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库。，最主要的功能是从网页抓取数据。能够通过自己喜欢的转换器实现

Xpath 是什么？ xpath 是一种 xml 的路径查询语言，是一种非常强大的定位方式。能在 xml 树状结构中寻找节点。用于在 xml 文档中通过元素和属性进行导航。（html 是 xml 的一

了解一下 urllib： urllib 库 是 Python 内置的 HTTP 请求库。它包含4个模块： request：最基本的 HTTP 请求模块，可以用来模拟发送请求。 error：异常处理模块

HTML基础 1、浏览器发展史 浏览器的主要功能就是向服务器发出请求，在浏览器窗口中展示HTML文档、PDF、图片、视频等网络内容。这些网络资源的位置由用户使用 URI（统一资源标示符）来指定指定。或

什么是爬虫？ 简单来说：代替人去模拟浏览器进行网页操作。 它能解决什么问题？ 自动高效地获取互联网中我们感兴趣的信息并为我们所用。 即：为其他程序提供数据源 如搜索引擎(百度、Google等)、数据分