ChromeDriver + Python爬虫

482 阅读1分钟

1. ChromeDriver 版本要和浏览器版本一致

2. Pycharm中python interpreter最好用环境变量中的python,这样在命令行和在pycharm中运行行为会一致,能避免很多问题(pip install之后编译还是找不到包问题等)

3. Python可以做简单的web服务器,用法也很方便

详细可以参照这里:blog.csdn.net/xiabenshu/a…

from http.server import BaseHTTPRequestHandler, HTTPServer

class RequestHandler(BaseHTTPRequestHandler):
    '''处理请求并返回页面'''

    # 页面模板
    Page = '''\
        <html>
        <body>
        <p>Hello, web!</p>
        </body>
        </html>
    '''

    # 处理一个GET请求
    def do_GET(self):
        self.send_response(200)
        self.send_header("Content-Type", "text/html")
        self.send_header("Content-Length", str(len(self.Page)))
        self.end_headers()
        self.wfile.write(self.Page.encode('utf-8'))

if __name__ == '__main__':
    serverAddress = ('', 8080)
    server = HTTPServer(serverAddress, RequestHandler)
    server.serve_forever()