从购买阿里云ECS开始浏览器上打开 http://机器ip:27017/ ，测试mongodb 是否已经启动（确保阿里云

4、配置域名解析（在阿里云）

产品与服务 > 域名 那里

5、mongoDB 的安装配置

window 下安装本地练习详细看: blog.csdn.net/heshushun/a…

	 找到安装目录下  mongod --dbpath  D:\data\db    跑mongoDB
	 再去 D:\mongodb\bin 中打开 mongo.exe
	 即可正常使用了
	 现在开始用node进行调用

常用指令：

	use dbName    查看已经插入的文档
	show collections  查看已存在的集合
	db.col.find().pretty()  查看集合内容
	db.dropDatabase()  删除当前use的库
	db.库名.drop()  删除集合
	db.表名.find().skip(0).limit(20)  // 查询第一页（page=1）
	db.表名.find().skip((page-1)*pageSize).limit(pageSize) // 总的分页器查询
	XXXX.find({}).count();  // 查询中的数量 /pageSize 就是总页Math.ceil(totalNum/pageSize)
	ctx.model.IqiyiTvlist.find().skip((pageno - 1) * pagesize).limit(pagesize)  // egg-mongoose

centos 7 下的安装： www.runoob.com/mongodb/mon…

到安装目录**/usr/local/mongodb/bin** 跑 ./mongod --config ./mongodb.config 浏览器上打开 http://机器ip:27017/ ，测试mongodb 是否已经启动（确保阿里云安全组端口已打开）。

6、做爬虫（抓取爱奇艺数据）

puppeteer 安装在centos 遇到一些问题。最终解决 www.jianshu.com/p/163d355d2… segmentfault.com/a/119000001…

nohup 日志管理 unix/Linux下一般想让某个程序在后台运行，很多都是使用 & 在程序结尾来让程序自动运行 www.cnblogs.com/baby123/p/6…

7、跑 nginx 配置https 证书

(将根目录设置在/home/service/www/web) 下载配置文件免费证书配置

nginx配置SSL证书配置之后用root ，依然会报403 权限错误。(将home/service 也进行权限处理 chomd 777 + 文件 )

nginx 反向代理： blog.csdn.net/xiaoxiangzi… 常用nginx 指令：

nginx -t     查看当前nginx 的配置目录（/etc/nginx）
nginx 启动nginx 可直接范围ip 进行验证
nginx -s reload  重启nginx
nginx -s quit 关闭nginx

注意proxy_pass 最后一个带与不带/是有区别的

location /proxy/ {
    proxy_pass http://127.0.0.1/;
}
// 代理到URL：http://127.0.0.1/test.html

第二种（相对于第一种，最后少一个 / ）

location /proxy/ {
    proxy_pass http://127.0.0.1;
}
代理到URL：http://127.0.0.1/proxy/test.html

开启gizp 压缩

   #gzip模块设置
   gzip on; #开启gzip压缩输出
   gzip_min_length 1k;    #最小压缩文件大小 大于1K的才压缩，一般不用改
   gzip_buffers 4 16k;    #压缩缓冲区 不改
   # gzip_http_version 1.0;    #压缩版本（默认1.1，前端如果是squid2.5请使用1.0）
   gzip_comp_level 2;    #压缩等级
   gzip_types text/plain application/x-javascript application/javascript text/css application/xml;    #压缩类型，默认就已经包含textml，所以下面就不用再写了，写上去也不会有问题，但是会有一个warn。
   gzip_vary on;
   gzip_disable "MSIE [1-7]\.";

centos 常用指令：

（似乎是root 的权限才生效，service用户老是挂不起）
nohup node server.js &
nohup node demo2.js nohup.out &
ps -aux|grep katoto.js
tail -f **.out 实时查看错误日志
查看进程 ，然后 可以用kill -9 + pid  来杀死。
netstat -nap | grep 80 查看端口占用情况。
jobs -l 查看运行的后台进程

= 当需要重启机器时，机器重启之后 =

跑**/usr/local/mongodb/bin** 下的 ./mongod --config ./mongodb.config 命令，这个config 是在安装的时候加上的。放到bin下。 config 内容：

dbpath = /data/db
logpath = /data/logs/mongodb.log
port = 27017
fork = true
bind_ip = 0.0.0.0

浏览器上打开http://机器ip:27017/ 测试mongodb 是否已经启动。重起爬虫 /home/service/getList 下的index.js

index.js 爬虫源码：

const puppeteer = require('puppeteer')
let getList = async () => {
    const browser = await (puppeteer.launch({
        ignoreHTTPSErrors: true,
        devtools: false,
        headless: true,
        args: ['--no-sandbox']
    }))
    const page = await browser.newPage()
    await page.goto('https://www.iqiyi.com/dianying_new/i_list_paihangbang.html')
    const movieList = await page.evaluate(() => {
        let movieList = []
        document.querySelectorAll('.site-piclist .J_videoLi').forEach((item, index) => {
            let currObj = {}
            currObj._id = item.getAttribute('tvid')
            currObj.picLink = item.querySelector('.site-piclist_pic_link').getAttribute('href')
            currObj.pic = item.querySelector('img').getAttribute('src')
            currObj.name = item.querySelector('img').getAttribute('title')
            currObj.desc = item.querySelector('.site-piclist_info_describe').innerHTML
            currObj.score = item.querySelector('.score .num').innerHTML
            movieList.push(currObj)
        })
        return movieList
    })
    const pagemusic = await browser.newPage()
    await pagemusic.goto('https://list.iqiyi.com/www/5/----------------iqiyi--.html')
    const musicList = await pagemusic.evaluate(() => {
        let musicList = []
        document.querySelectorAll('.site-piclist .site-piclist_pic a').forEach((item, index) => {
            let currObj = {}
            currObj._id = item.getAttribute('data-qidanadd-tvid')
            currObj.picLink = item.getAttribute('href')
            currObj.pic = item.querySelector('img').getAttribute('src')
            currObj.name = item.querySelector('img').getAttribute('title')
            currObj.timeLen = item.querySelector('.viedo_rb .icon-vInfo').innerHTML
            musicList.push(currObj)
        })
        return musicList
    })
    browser.close()
    return {
        movieList,
        musicList
    }
}
var MongoClient = require('mongodb').MongoClient
var url = 'mongodb://47.96.234.59:27017/'
MongoClient.connect(url, { useNewUrlParser: true }, function (err, db) {
    if (err) throw err
    var dbo = db.db('katoto')
    setInterval(async () => {
        let backData = null
        backData = await getList()
        console.log(new Date())
        backData.movieList.forEach((item, index) => {
            dbo.collection('movie').save(item)
        })
        backData.musicList.forEach((item, index) => {
            dbo.collection('music').save(item)
        })
    }, 600000)
})

跑nginx (重启自启动) 启接口服务 7001 需要先cd eggAjax 那，然后npm run stop 再npm run start 设置https证书 server段代码：

    server {
        listen 443;
        server_name localhost;
        ssl on;
         #root html;
        #index index.html index.htm;
        ssl_certificate   cert/cert-1541754636220_www.katoto.cn.crt;  # 文件位置
        ssl_certificate_key  cert/cert-1541754636220_www.katoto.cn.key;  # 文件位置
        ssl_session_timeout 5m;
        ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
        ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
        ssl_prefer_server_ciphers on;
        location / {
                root    /home/service/www/web;
                try_files $uri $uri/ /$args;
                index  index.html index.htm;
        }
   }

node 起一个服务。 chenshenhai.github.io/koa2-note/

koa 学习记录 chenshenhai.github.io/

egg 尝试使用 (router 文件要在app 下)

blog.csdn.net/xiaoba_598/… www.cnblogs.com/web-fengmin…

遇到跨域问题 1、用 egg-cros cnodejs.org/topic/5abcb… 2、nginx 代理

        location ^~/api/{
            proxy_pass http://127.0.0.1:7001
        }

搭建一个jenkins 自动构建工具 www.cnblogs.com/loveyouyou6… 启动有点问题安装插件有问题

最终解决方案 step1：访问locahost：8080/restart，越过配置插件的页面，直接访问 step2：点击【系统管理】--【管理插件】--【高级】--【上传插件】，手动安装下载好的插件，然后重启就行默认的jobs空间 /root/.jenkins/jobs

插件手动离线安装 www.cnblogs.com/ziyuyuyu/p/… updates.jenkins-ci.org/download/pl…

docker www.cnblogs.com/yufeng218/p… docker 常用指令

docker search lamp  // 找包 
docker pull + name  // 拉取包
docker ps  -a //  查看docker 进程
docker run -p 80:80 -i -t + name  // 进入docker   80 为真实端口与docker 的映射
// 进入docker 环境
service apache2 start
service mysql start 
mysql -uroot -p // 进入mysql
// 删除docker 后遗症
docker ps -a|awk '{print $1}'|xargs docker rm
docker run -p 4590:80 -i -t -d  linode/lamp   // 跑起
docker ps 查看进程
docker exec -it e0e1925750d8 bash

php 升级 blog.csdn.net/wuhounuanya…

strongswan 科学工具

复制id_rsa.pub 最好用cat 来进行复制。

压缩/etc目录 tar -czvf myetc.tar.gz /etc

解压缩到mytest目录 tar -xzvf myetc.tar.gz -C mytest

遇到npm奇怪问题，检查是否，1、内存爆了。2、磁盘满了

top 查看内存。 du 查看磁盘文件情况

du -lh --max-depth=1

jenkens 自动打包遇到内部npm包服务因磁盘满了。出现npm-lock 文件无生成，且hash值不一致。 npm ERR! sha1-i56to4Tb7WJNsGJaGZHINTd6JjY= integrity checksum failed when using sha1:xxxxxxx but got sha5: xxxxxx

启动redis
nohup redis-server &
启动数据库
systemctl restart  mysql.service 
mysql -uroot -h 127.0.0.1 -p

nginx负载均衡配置

按照一定的权重、轮询，将客户端请求转发到不同应用服务器上，减轻单个服务器压力，提高系统并发量。 nginx, 通过在upstream参数中添加的应用服务器IP后添加指定参数即可实现

upstream xxx_h5 {
    server 127.0.0.1:10080  weight=5 max_fails=2 fail_timeout=15s;
    server 192.168.72.49:8081;  // 默认配置
}
upstream xxx_h52 {
    server 127.0.0.1:10081  weight=5 max_fails=2 fail_timeout=15s;
}

从购买阿里云ECS开始

1、CentOS 7中添加一个新用户并授权

2、 不支持rz 和sz

3、不支持unzip

4、 配置域名解析 （在阿里云）