抓取某宝商品信息？拦截图片?谷歌插件可以！

平时普通的爬虫：在代码里面发一个请求，然后从流中获取网页内容，解析网页内容得到相关信息。这个方式的优点是简单快捷，缺点是很容易被拦截，失败率高。另辟蹊径的方式就是使用谷歌插件获取页面所有内容，再解析，得到所要的信息。插件名称：chromeCrawl 插件添加地址：点我

如果上不了谷歌应用网站，可以使用github的手动安装教程：点我

插件简单使用 安装后在浏览器右上角看到安装后的图标：共有三个功能

这三个复选框的解释：

打开爬取页面功能：勾选该复选框，才会向后台接口发送页面内容，同时接收数据接口出现
自动关闭页面：勾选该复选框，爬取页面完成后，页面自动关闭。
不显示多媒体资源：勾选该复选框，图片，视频，字体等资源将不加载，可以提高网页加载速度
备注：
接收数据接口：接收页面数据的接口，需要自己定义，默认http://localhost:8080/content,与 打开爬取页面功能 联动

当打开爬取功能时，我们想要拿到页面内容，可以这样设置：

如果是java的话，后台这样接收就可以了：

package com.molikam.shop.controller;


import java.util.concurrent.atomic.AtomicInteger;

import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RestController;


@RestController
public class CrawlerController {
	
	AtomicInteger count = new AtomicInteger(0);
	@RequestMapping(value="/content",method={RequestMethod.POST})
	public void getContent(String content){
		
		System.out.println(count.incrementAndGet());
		System.out.println(content);
		
	}
}

想要看插件具体代码或者自己添加更多需求，移步github下载：点我

下载后在background.js和content_script.js这两个文件添加内容就行了，具体如何编写谷歌插件，百度一下都有的。