一、flink清单
| CDH 1.23日迁移 | ||||||
|---|---|---|---|---|---|---|
| 任务名称 | 强依赖中间件 | 依赖中间资源 | flink资源（核数） | 内存 | 是否允许跨站 | 搬家方式 |
| fbi-onebyone-data-collect-flink | redis ims-wdd（ks) | 6台机器 8c16G | 16 | 32 | 是 | 新发展申请一台物理机用于腾挪 金山选一台物理机去新发展 redis申请腾挪资源 |
| fbi-onebyone-data-collect-flink-grey | 4 | 12 | ||||
| pss-flink | 8 | 32 | ||||
| pss-flink-gray | 4 | 16 | ||||
| cic-flink | redis cic-realstorage(ks) | 18台机器 8c16G | 64 | 120 | 否 | 去新发展 redis申请腾挪资源 |
| cic-flink-gray | 8 | 16 | ||||
| cic-flink-ph | 64 | 120 | ||||
| ims-storeMerchandise | 24 | 74 | 是 | 去新发展 | ||
| ims-storeMerchandise-purchase | 24 | 74 | 是 | 去新发展 | ||
| flink-cdc | 64 | 120 | 是 | 去新发展 | ||
| material stock calculate | redis 新零售(ks) | 10台机器 8c16G | 12 | 32 | 否 | |
| stdProduct stock calculate | 12 | 2 | ||||
| fbi-material-storage-record | 24 | 74 | ||||
| fbi-std-product-storeage-record | 24 | 74 | ||||
| FBI_FiveMinute_HBASE_0111 | Hbase（ks） | 4 | 20 | 双站，可停机 | ||
| FBI_FiveMinute_HBASE_JDE | Hbase（ks） | 4 | 20 | 双站，可停机 | ||
| FBI_FiveMinute_HBASE_0111_PRODUCT | Hbase（ks） | 4 | 20 | 双站，可停机 | ||
| FBI_FiveMinute_HBASE_0111_basicmaterial | Hbase（ks） | 4 | 20 | 双站，可停机 | ||
| FBI_HOLD | 8 | 64 | 双站，可停机 |
二、flink部署&重启手册
http://172.16.224.53:7180/cmf/services/14/pools/status
admin/fbi@2020
[Flink job 手工重启操作步骤]lue
-
CIC 实时库存flinkjob
[CIC 实时库存flinkjob 重启操作步骤]lue
-
CIC WDD 售卖量对接onebyone Flink Job
[CIC WDD 售卖量对接onebyone Flink Job 重启操作步骤]lue
-
餐厅实有列表flink
功能描述：消费实时库存流水队列，根据餐厅盘点+调拨+进货 维护餐厅"实有列表"
执行 yarn application -list | grep store 找到想看应用的域名
| flink-job名称 | 环境 | 部署物理机ip | jar包位置 | 启动/停止脚本 | 备注 | ||
|---|---|---|---|---|---|---|---|
| ims-storeMerchandise | 金山 | 172.25.144.12切换到172.16.224.55 | /home/cic/ims-basic/boh-ims-storeMerchandise.jarcic | 启动：/home/cic/ims-basic/storeMerchandisePurchase.sh/home/cic/ims-basic/storeMerchandise.sh停止：/home/cic/ims-basic/storeMerchandiseKill.sh | |||
| ims-storeMerchandise-purchase | |||||||
注意：
重启后注意观察队列：【重启后队列消费速率正常、且队列积压在下降就正常了】
yarn application -list | grep ims-storeMerchandise
172.16.224.55
# 启动脚本：
/home/cic/ims-basic/storeMerchandise-start.sh
# 关闭服务
storeMerchandise-kill.sh
餐厅实有列表-常规货品队列
/mnt/disk2/flink-1.12.2/bin/yarn-session.sh -nm ims-storeMerchandise -s 10 -jm 10000MB -tm 30000MB -qu root.storeMerchandise -d
yarn application -list | grep ims-storeMerchandise
ping yum-fbi-cdh-14
/mnt/disk2/flink-1.12.2/bin/flink run -yid application_1670958445164_124415 /home/cic/ims-basic/boh-ims-storeMerchandise.jar
/mnt/disk2/flink-1.12.2/bin/yarn-session.sh -nm ims-storeMerchandise -s 10 -jm 10000MB -tm 30000MB -qu root.storeMerchandise -d
/mnt/disk2/flink-1.12.2/bin/flink run -yid application_1670958445164_122385 /home/cic/ims-basic/boh-ims-storeMerchandise.jar
餐厅实有列表-进货量设置队列
/mnt/disk2/flink-1.12.2/bin/yarn-session.sh -nm ims-storeMerchandise-purchase -s 5 -jm 10000MB -tm 20000MB -qu root.storeMerchandise -d
/mnt/disk2/flink-1.12.2/bin/flink run -yid application_1670958445164_124416 /home/cic/ims-basic/boh-ims-storeMerchandise20220713.jar PurchaseStatusUpdate
Kill
#!/bin/bash
id=`yarn application -list | grep ims-storeMerchandise | awk '{print $1}'`
if [ -z $id ]; then
exit 0
fi
echo $id
yarn application -kill $id
