阅读 28

什么是python爬虫和代理IP?

爬虫的基本原理是基于网站网络协议,根据网址批量获取到网页上的信息操作过程。简单一点说就是用计算机程序来模拟人工点击网页获取数据的过程。

IP我们都不陌生,一台电脑通常只有一个公网IP来确定电脑的位置。代理IP即代理服务器(Proxy Server)是一种重要的安全功能,它的工作主要在开放系统互联(OSI)模型的对话层,从而起到防火墙的作用。

IP是上网需要唯一的身份地址,身份凭证,而代理IP就是我们上网过程中的一个中间平台,是由你的电脑先访问代理IP,之后再由代理IP比如IPIDEA可以切换全球的ip访问你点开的页面,所以在这个页面的访问记录里留下的是就是代理IP的地址,而不是你的电脑本机IP。

ip代理一般有以下几种作用:

1、突破自身IP访问限制,访问一些自己网络无法访问的网站等。

2、访问一些单位或团体内部资源,如某大学FTP(前提是该代理地址在该资源 的允许访问范围之内),使用教育网内地址段免费代理服务器,就可以用于对教育网开放的各类FTP下载上传,以及各类资料查询共享等服务。

3、提高访问速度:通常代理服务器都设置一个较大的硬盘缓冲区,当有外界的信息通过时,同时也将其保存到缓冲区中,当其他用户再访问相同的信息时, 则直接由缓冲区中取出信息,传给用户,以提高访问速度。

4、隐藏真实IP:上网者也可以通过这种方法隐藏自己的IP,免受攻击。

文章分类
阅读
文章标签