zjsjj

1、最简单的方式，直接request进行网络请求2、使用socket注：转载来自https://blog.csdn.net/fengmm521/article/details/79469113

1、获取指定目录下的所有文件2、获取文件名后缀(以txt文件为例)

开启多个pipeline后，yield出的item会在所有pipeline中流转，流转的顺序以后便分配的数字为依据，数字越小，流转次序越高。 简单来说，就是以spider.name 区分不同的爬虫，当该item正好流转到该爬虫时，可截断它继续流转。当流过目标pipeline时，…

1、https://segmentfault.com/a/1190000005840672关于反爬虫，看这一篇就够了

安装方式一：直接拖拽你的xpath-helper.crx插件到谷歌浏览器的扩展程序里。使用快捷钱ctrl+shift+x调出插件，如果没有成功，安装方式二进行安装 安装方式二：把你的插件扩展名改成rar，然后解压。再重新添加到你的谷歌浏览的扩展程序里面。使用快捷键查看是否安装成…

当使用js中URLencode转码方法使用，包括将name、value中的空格替换为加号；将非ascii字符做百分号编码；将input的name、value用‘=’连接，不同的input之间用‘&’连接。 百分号编码什么意思呢。比如汉字‘丁’吧，他的utf8编码在十六进制下是0…

Creating Server TCP listening socket 127.0.0.1:6379: bind: No error。 安装流程为傻瓜式，所以私以为是安装过程中启动了某些应用。 重新启动命令，关闭服务。 启动redis服务时，提示：QForkMasterIni…

多线程编程是爬虫程序的重要手段，对于多线程中的各种概念与关系，多少会出现一些懵懂不清的情况，在这里简单记述。 Python多线程与多进程中join()方法的效果是相同的。 当一个进程启动之后，会默认产生一个主线程，因为线程是程序执行流的最小单元，当设置多线程时，主线程会创建多个…

在python爬虫时，可以通过开启多线程提高效率，但有时因为业务的缘故，可能需要在线程里边再次开启线程。 1、不建议在线程里边再次嵌套线程。 2、线程是异步的，但是在线程的里所执行的方法是同步的，对程序效率的提高没什么帮助，反而可能造成一定的问题。