大家也看到之前几周我推的三个网站 [ 1000 系列]
* 一下子打开 1000 张 GIF iguooo.com/
* 妹子 x100 www.wulangdashu.com/
* 十万个日式冷笑话 www.iguooo.cn/
也是我无聊至极写写爬虫,快速搭建的几个网站。
我会说几个关键点,
1. 爬虫
2. 建站
3. 费用, 为什么有广告
4. 粘度 & SEO 的反思
一。 爬虫
研究了下几个著名的爬虫框架:
* PySpider
* Scrapy
这几个都是比较广义的爬虫,给一个入口然后通过页面中的链接不断抓取。
对于我来说,我有特定的目标页面和目标页面特定的元素需要爬取。
于是便放弃了大型框架, 自己做一个定义一个小型脚手架。
自定义的爬虫,就是维护一个队列,维护一个消费者线程池和一个生产者线程池。外加一个 monitor 线程用于统计队列情况。

* 利用 Redis 的原子性操作,可以做去重。
* 利用 Redis List 的 push , pop 的原子性可以做同步的生产消费队列
* 爬取网页用了 requests + BeautifulSoup 分析
* 资源后续处理使用 requests 下载资源,七牛的库上传七牛云端
* 想持续抓取,可以将爬虫加入到 celery 定时任务中
BaseSpiderClass
代码 : gist.github.com/awanabe/a94… 显示 Gist 代码
二:建站
因为是做着玩的项目, 爬虫和 web 部分都放在一个项目中。
然后现在一个项目里面要承接多个 web 项目,每一个项目用的是独立域名,所以就放弃了使用 Flask 的 Blueprint 来配置子域名。
(有兴趣配置 Blueprint 的同学可以移步 github.com/awanabe/Fla… 我老早做的一个 Blueprint 的 demo )
于是就对原先的
nginx -> uwsgi -> flask 的模式做了一对多的改进。
> 原先一般的 Flask 项目结构是这样的
├── config.py # 配置文件
├── main.py # 项目入口, 从 service 中引出 flask app ,供 uwsgi 调用
├── service # 项目
├── ├── static # 静态文件夹
│ │ ├──
css
│ │ ├── fonts
│ │ ├── img
│ │ └── js
│ ├── templates # 模板文件夹
│ └── router.py # flask app 初始化 + router
└── requirement.txt
> 改造之后,建立多个项目和对应的项目入口,静态资, config 文件,工具类,数据 model 都可以公用。
├── config.py # 配置文件
├── static # 静态文件夹
│ ├── css
│ ├── fonts
│ ├── img
│ └── js
├── utils
├── model.py
│
├── main_01.py # 项目入口, 从 service 中引出 flask app ,供 uwsgi 调用
├── service_01 # 项目
│ ├── templates # 模板文件夹
│ └── router_01.py # flask app 初始化 + router
│
├── main_02.py
├── service_02
│
├── templates
│ └── router_02.py
│
├── main_03.py
├── service_03
│ ├── templates
│ └── router_03.py
│
└── requirement.txt

* nginx 配置多域名
* uwsgi 开启多 worker 模式,尽可能的
* 节约公共云资源,使用本地静态资源配置,所以开启了 nginx 的静态资源域名
* 全部存储都基于 Redis ,不使用 MySQL 。数据库在服务器中占用内存, IO 都是挺大的。直接用 Redis 查询写入速度大大提升。
这样就在一台主机,一个项目里面建立起了多个网站。
三。费用, 为什么有广告
> 支出
* 阿里云服务器 1G 内存 + 1Core + 3M 带宽 = 150 元 /月
* 七牛 因为我的自信,直接 po 上了 1000 张 GIF 的页面, 导致半天时间消耗流量 500G 。 直接扑街, 耗费 150 元。然后改为本机做静态资源
* 域名 2 个 com+1 个 cn = 100 左右
* 在 V2EX 上置顶,消耗 2000 个铜币 ~ 60 元吧
*
时间 5x8 小时
> 收入
* 在被七牛重重打击之后,无奈加上了 adsense 广告。有两天因为 V 友帮忙点击,超过了 1 刀一天。大部分一天 0.1~0.5 刀直接 = 8 刀 /28 天
== 巨大的坑。不可能回本嘛。。所以骂我广告🐶的然后 Block 我的,我真心不是愿意挂广告的。
四。粘度 & SEO 的反思
* 一共三个网站,流量比较好的是 GIF 和日式冷笑话,单纯的妹子图不怎么样。
流量比 10 : 1 。 => 有故事有阅读的内容比较有粘度
* 网站内容的增长几乎为 0 ,我大部分都是一次性爬取的资源。 而且以图片为主,导致搜索引擎无法抓取有效关键词。从搜索引擎进来几乎为 0 。(有评论会好点
* 图片类型网站重资源消耗,所以文字类型网站 SEO 会好做很多。
* 在 V 站,妹子图的帖子的收藏很高很高,回复超级少(宅男们,你们很厉害。。