新闻聚合泛内页蜘蛛反爬屏蔽站群

32 阅读1分钟

D58SEO程序,有点复杂,有一对一指导

多套内页模板,尽量使用备案域名,国内机房急速出权重!

外链引蜘蛛引shtm后缀,蜘蛛自动爬html和htm

html和htm 是自己设置的关键字的内页不要直接引外链蜘蛛

优质的国内机房线路肯定更友好,如果海外建议美国CN2GIA、9929等 不建议使用香港地区机器,香港部分IP段无法进行采集!

参考案例:

泛内页站群.png

说明:php7.4

伪静态:

location ~ (data|admin)/{

return 403;

}

#location ~ .txt$ {

# return 403;

#}

rewrite ^/sitemap.(.)$ /sitemap.php;

rewrite ^/sitemap.(.)$ /sitemap.php;

rewrite ^(/|/index.php|/index.html|/index.htm|/default.php|/default.htm|/default.html)?/ky/index.php?s= /ky/index.php?s=1 last;

location / {

if (!-e $request_filename){

rewrite ^(.*)/ky/index.php?s= /ky/index.php?s=1 last; break;

}

}

后台地址添加自己的ip不然进不去后台:/ky/d58seo/login.txt

后台地址:你的域名/ky/d58seo/login.php

后台账号密码修改地址:/ky/d58seo/main/key.php

kd/wbsp.txt 域名前缀设置(想怎么设置)

引蜘蛛注意事项

引蜘蛛引shtm,引shtml 蜘蛛自动爬html和htm

shell采集计划脚本

/usr/bin/php /www/wwwroot/你的建站目录地址/ky/cj1.php

/usr/bin/php /www/wwwroot/你的建站目录地址/ky/cj8.php

shell 脚本 宝塔计划 任务时间半小时或者一小时 上面的 路径要改成 自己的

如果 ip 被封了 需要 换ip

可选oss存储

oss.php和oss1.php功能 不同

oss.php是 七牛 存储 单站 缓存

oss1.php是 统一 存储 需要 设置 .user.ini 增加 :/www/wwwroot/cache.com/cache/ 需要增加信任建立统一缓存文件夹

cache.com 还要建立 cache

这是区分新闻显示和后缀显示的