oeos系统子服务详细介绍

50 阅读12分钟

微服务作用介绍

微服务名称微服务ID服务简介项目名称
S3网关服务KS01提供兼容S3标准访问和数据传输oeos-gateway-s3
管理控制台服务KS02Console,提供管理控制台以及系统控制接口支持oeos-admin
数据堆叠服务KS03小文件打包,提供数据整合以及性能提升的服务oeos-filepacking
调度微服务KS04定时任务,提供内置功能模块的任务调度与管理oeos-schedule
事件微服务KS05系统事件、审计日志,提供内部事件处理与日志维护支持oeos-sysevent
远程文件访问服务KS06RFA,辅助集群节点间数据平衡管理,内部数据共享支持oeos-rfa
统计服务KS07提供系统内元数据搜索与维护支持oeos-statistics
系统状态共享服务KS08提供集群系统运行状态的数据共享支持oeos-exporter
认证服务KS09提供用户认证与状态维护支持oeos-auth
对象数据处理服务KS10桶任务模块的调度,提供集群内数据处理理服务oeos-objecthandle
oeos-task
节点管理系统服务SS01提供节点内容器服务管理与维护支持oeos-agent
系统状态服务SS02Zookeeper,提供系统内集群配置处理与共享支持oeos-statuskeeper
元数据存储服务SS03TIKV数据库,提供元数据存储管理支持oeos-kvdatabase
消息服务SS04Kafaka,提供消息分发处理支持oeos-message
元数据代理服务SS05TIKV查询,提供元数据库协调访问支持oeos-kvstore
系统协调服务SS06提供整体协调控制支持oeos-coordinate
存储节点管理服务SS07提供数据中心管理支持oeos-datacenter-admin
索引服务SS08Elasticsearch,提供索引管理与维护支持oeos-index
系统监控服务SS09系统概览,使用Prometheus、Granfana提供监控告警支持oeos-monitor
系统设备管理服务SS10提供节点设备维护管理支持oeos-device
数据中心服务SS11D节点存储Minio,为集群提供数据存储服务oeos-datacenter
空间管理服务SS12oeos-space

微服务安装位置及其端口占用OEOS共集成了10个KS服务和11个SS服务,以下提供所有微服务(共21个)的安装位置及其端口占用 :

微服务名称微服务IDRPC管理端口APP服务端口安装位置
S3网关服务KS013751租户开通9000-9050/usr/local/oct/oeos/app/KS01
管理控制台服务KS0237523500/usr/local/oct/oeos/app/KS02
数据堆叠服务KS033753-/usr/local/oct/oeos/app/KS03
调度微服务KS043754-/usr/local/oct/oeos/app/KS04
事件微服务KS053755-/usr/local/oct/oeos/app/KS05
远程文件访问服务KS0637563501/usr/local/oct/oeos/app/KS06
统计服务KS073757-/usr/local/oct/oeos/app/KS07
系统状态共享服务KS0837583502/usr/local/oct/oeos/app/KS08
认证服务KS093759-/usr/local/oct/oeos/app/KS09
对象数据处理服务KS103760-/usr/local/oct/oeos/app/KS10
节点管理系统服务SS013701-/usr/local/oct/oeos/app/SS01
系统状态服务SS0237022181/usr/local/oct/oeos/app/SS02
元数据存储服务SS0337032379/usr/local/oct/oeos/app/SS03
消息服务SS0437049092/usr/local/oct/oeos/app/SS04
元数据代理服务SS0537059099/usr/local/oct/oeos/app/SS05
系统协调服务SS063706-/usr/local/oct/oeos/app/SS06
存储节点管理服务SS073707-/usr/local/oct/oeos/app/SS07
索引服务SS0837089200、9300/usr/local/oct/oeos/app/SS08
系统监控服务SS09370913000、19090/usr/local/oct/oeos/app/SS09
系统设备管理服务SS103710-/usr/local/oct/oeos/app/SS10
数据中心服务SS11371119000/usr/local/oct/oeos/app/SS11

KS10服务附属服务安装位置及说明

服务名称服务ID服务说明安装位置
代理处理C000-/usr/local/oct/oeos/app/C000
垃圾回收C001提供系统垃圾回收功能/usr/local/oct/oeos/app/C001
系统升级C002提供系统在线升级功能/usr/local/oct/oeos/app/C002
数据冷冻C003提供桶内数据冷冻功能/usr/local/oct/oeos/app/C003
数据解冻C004提供桶内数据解冻功能/usr/local/oct/oeos/app/C004
过期删除C005提供桶内数据过期删除功能/usr/local/oct/oeos/app/C005
图片处理C006提供桶内图像数据压缩、水印功能/usr/local/oct/oeos/app/C006

微服务日志存放位置

微服务名称微服务ID微服务日志存放位置
S3网关服务KS01/usr/local/oct/oeos/logs/default/KS01
管理控制台服务KS02/usr/local/oct/oeos/logs/default/KS02
数据堆叠服务KS03/usr/local/oct/oeos/logs/default/KS03
调度微服务KS04/usr/local/oct/oeos/logs/default/KS04
事件微服务KS05/usr/local/oct/oeos/logs/default/KS05
远程文件访问服务KS06/usr/local/oct/oeos/logs/default/KS06
统计服务KS07/usr/local/oct/oeos/logs/default/KS07
系统状态共享服务KS08/usr/local/oct/oeos/logs/default/KS08
认证服务KS09/usr/local/oct/oeos/logs/default/KS09
对象数据处理服务KS10/usr/local/oct/oeos/logs/default/KS10
节点管理系统服务SS01/usr/local/oct/oeos/logs/default/SS01
系统状态服务SS02/usr/local/oct/oeos/logs/default/SS02
元数据存储服务SS03/usr/local/oct/oeos/logs/default/SS03
消息服务SS04/usr/local/oct/oeos/logs/default/SS04
元数据代理服务SS05/usr/local/oct/oeos/logs/default/SS05
系统协调服务SS06/usr/local/oct/oeos/logs/default/SS06
存储节点管理服务SS07/usr/local/oct/oeos/logs/default/SS07
索引服务SS08/usr/local/oct/oeos/logs/default/SS08
系统监控服务SS09/usr/local/oct/oeos/logs/default/SS09
系统设备管理服务SS10/usr/local/oct/oeos/logs/default/SS10
数据中心服务SS11/usr/local/oct/oeos/logs/default/SS11
代理处理C000/usr/local/oct/oeos/logs/default/C000
垃圾回收C001/usr/local/oct/oeos/logs/default/C001
系统升级C002/usr/local/oct/oeos/logs/default/C002
数据冷冻C003/usr/local/oct/oeos/logs/default/C003
数据解冻C004/usr/local/oct/oeos/logs/default/C004
过期删除C005/usr/local/oct/oeos/logs/default/C005
图片处理C006/usr/local/oct/oeos/logs/default/C006

微服务日志文件说明

微服务名称微服务ID微服务日志说明
S3网关服务KS01GatewayS3Service.log保存了KS01服务启停和一些服务运行异常的日志;S3Gateway-T01-output.log保存了go那边报出来的日志;SubService-KS01-T01.log保存了租户T01子进程的日志;tenant-T01-s3-access.log保存了租户T01中S3接口调用日志。
管理控制台服务KS02SystemManagementService.log保存了访问console时的日志,包括在console上做某些操作时出现的报错信息。
数据堆叠服务KS03PackingService.log保存了KS03服务启停和一些服务运行异常的日志;Index.log保存了所有文件元数据的更新记录;SubService-KS03-T01.log保存了租户T01子进程的日志,小文件打包打包过程中的详细日志。
调度微服务KS04ScheduleService.log保存了KS04服务启停日志;SubService-KS04-T01.log保存了租户T01子进程的日志,系统定时任务执行调度信息。
事件微服务KS05SystemEventService.log保存了KS05服务启停和一些服务运行异常的日志;SystemEventLog.log保存了所有系统事件的详细信息。
远程文件访问服务KS06RemoteFileAccessService.log保存了KS06服务启停和一些服务运行异常的日志;rfa-error.log保存了服务运行过程中的error;rfa-output.log远程文件访问的处理记录。
统计服务KS07StatisticsService.log保存了KS07服务启停和一些服务运行异常的日志;SubService-KS07-T01.log保存了租户T01子进程的日志,处理transaction的详情;Index.log保存所有数据索引创建的记录。
系统状态共享服务KS08SystemExporterService.log保存了KS08服务启停和一些服务运行异常的日志;
认证服务KS09AuthService.log保存了KS09服务启停和一些服务运行异常的日志。
对象数据处理服务KS10ObjectHandleService.log保存了KS10服务启停和一些服务运行异常的日志;SubService-KS10-T01.log保存了租户T01子进程的日志,包括任务运行状态的日志。
节点管理系统服务SS01NodeManagementService.log保存了SS01服务启停和一些服务运行异常的日志。
系统状态服务SS02StatusKeeperService.log保存了SS02服务启停和一些服务运行异常的日志。
元数据存储服务SS03KVDatabaseService.log保存了SS03服务启停和一些服务运行异常的日志。
消息服务SS04MessageService.log保存了SS04服务启停和一些服务运行异常的日志。
元数据代理服务SS05GatewayKVStoreService.log保存了SS05服务启停和一些服务运行异常的日志。
系统协调服务SS06CoordinateService.log保存了SS06服务启停和一些服务运行异常的日志;OceanStorage_LSOceanVolume1_RO0.log保存了蓝光服务接口的调用日志(主要是获取设备容量信息的记录其中LSOceanVolume1代表的是卷池code)、
存储节点管理服务SS07DataCenterAdminService.log保存了SS07服务启停和一些服务运行异常的日志。
索引服务SS08IndexService.log保存了SS08服务启停和一些服务运行异常的日志。
系统监控服务SS09MonitorService.log保存了SS09服务启停和一些服务运行异常的日志(注:SS09不会在所有节点上都安装,需要先找到安装这个服务的节点然后到指定目录下查询日志)。
系统设备管理服务SS10DeviceManagementService.log保存了SS10服务启停、系统磁盘状态和一些服务运行异常的日志。
数据中心服务SS11DataCenterService.log保存了SS11服务启停和一些服务运行异常的日志;DataCenter-error.log保存了Minio运行过程中的error记录;DataCenter-output.log保存了Minio抛出的一些日志。
代理处理C000-
垃圾回收C001GarbageCollectionCommand.log保存了垃圾回收命令执行的详细日志。
系统升级C002-
数据冷冻C003T02-TID1715144564239-ObjectFreezeCommand.log保存了租户T02中数据冷冻任务TID1715144564239的启动、停止、运行状态的日志;T02-TID1715144564239-{任务名称}-Task.log:保存了租户T02中数据冷冻任务TID1715144564239运行中的参数配置、任务运行的详细信息;记录任务扫描需要冷冻桶中对象数量以及对象总大小信息、判断是否需要开始向ocean推送对象。T02-TID1715144564239-{任务名称}-NFZ-Freezer.log:保存了租户T02中数据冷冻任务TID1715144564239的数据处理的详细过程的日志(数据的打包、分片、传输、提交冷冻任务等),记录向ocean推送对象详细过程;T02-TID1715144564239-{任务名称}-Confirmer.log保存了租户T02中数据冷冻任务TID1715144564239中已经提交完冷冻任务的每一个文件是否冷冻状态的记录;T02-TID1715144564239-{存储层名称}_RO0.log保存了租户T02中数据冷冻任务TID1715144564239的数据冷冻任务中调用蓝光系统接口的详细记录(其中LSOceanVolume1为蓝光卷池code)。
数据解冻C004T02-TID1715305501844-ObjectUnfreezeCommand.log保存了租户T02中数据解冻任务TID1715305501844的启动、停止、运行状态的日志;T02-TID1715305501844-unfreeze-Task.log保存了租户T02中数据解冻任务TID1715305501844的详细记录;T02-TID1715305501844-OceanStorage_LSOceanVolume1_RO0.log保存了租户T02中任务TID1715305501844的调用蓝光系统接口的详细记录(其中LSOceanVolume1为蓝光卷池code)。
过期删除C005T01-TID5414394208144046849-ObjectDeleteCommand.log保存了T01租户中过期删除任务TID5414394208144046849的启动、停止、运行状态的日志;T01-TID5414394208144046849-#DEL-EXPIRES-md5-Task.log保存了T01租户中过期删除任务TID5414394208144046849的数据处理详细记录。
图片处理C006-