Go Movies

一个基于 golang 的爬虫电影站，效果站： go-movies.hezhizheng.com/

Github： github.com/hezhizheng/…

使用安装

# 下载
git clone https://github.com/hezhizheng/go-movies

# 进入目录
cd go-movies

# 启动
go run main.go 
or
# 安装 bee 工具
bee run

访问
http://127.0.0.1:8899

开启爬虫

• 直接访问链接 http://127.0.0.1:8899/movies-spider
• 消耗：Windows 下 cup 10% 左右，内存 30mb 左右
• 网络正常的情况下，爬虫完毕耗时大概 21 分钟左右（存在部分爬取失败的记录）

Tools

• github.com/gocolly/col… 爬虫框架
• html/template 模板引擎
• 数据库 redis 缓存 / 持久 github.com/Go-redis/re…
• 路由 github.com/julienschmi…
• json 解析 jsoniter github.com/json-iterat…

目录结构参考 beego 设置

TODO

• [ ] 跨平台打包，模板路径不正确
• [ ] goroutine 并发数控制
• [ ] 爬取数据的完整性
• [ ] redis 查询问题？

Other

许多 Go 的原理还没弄懂，有精力会慢慢深究下。写得很潦草，多多包涵。

go 爬虫

hezhizheng