微服务作用介绍
| 微服务名称 | 微服务ID | 服务简介 | 项目名称 |
|---|---|---|---|
| S3网关服务 | KS01 | 提供兼容S3标准访问和数据传输 | oeos-gateway-s3 |
| 管理控制台服务 | KS02 | Console,提供管理控制台以及系统控制接口支持 | oeos-admin |
| 数据堆叠服务 | KS03 | 小文件打包,提供数据整合以及性能提升的服务 | oeos-filepacking |
| 调度微服务 | KS04 | 定时任务,提供内置功能模块的任务调度与管理 | oeos-schedule |
| 事件微服务 | KS05 | 系统事件、审计日志,提供内部事件处理与日志维护支持 | oeos-sysevent |
| 远程文件访问服务 | KS06 | RFA,辅助集群节点间数据平衡管理,内部数据共享支持 | oeos-rfa |
| 统计服务 | KS07 | 提供系统内元数据搜索与维护支持 | oeos-statistics |
| 系统状态共享服务 | KS08 | 提供集群系统运行状态的数据共享支持 | oeos-exporter |
| 认证服务 | KS09 | 提供用户认证与状态维护支持 | oeos-auth |
| 对象数据处理服务 | KS10 | 桶任务模块的调度,提供集群内数据处理理服务 | oeos-objecthandle |
| oeos-task | |||
| 节点管理系统服务 | SS01 | 提供节点内容器服务管理与维护支持 | oeos-agent |
| 系统状态服务 | SS02 | Zookeeper,提供系统内集群配置处理与共享支持 | oeos-statuskeeper |
| 元数据存储服务 | SS03 | TIKV数据库,提供元数据存储管理支持 | oeos-kvdatabase |
| 消息服务 | SS04 | Kafaka,提供消息分发处理支持 | oeos-message |
| 元数据代理服务 | SS05 | TIKV查询,提供元数据库协调访问支持 | oeos-kvstore |
| 系统协调服务 | SS06 | 提供整体协调控制支持 | oeos-coordinate |
| 存储节点管理服务 | SS07 | 提供数据中心管理支持 | oeos-datacenter-admin |
| 索引服务 | SS08 | Elasticsearch,提供索引管理与维护支持 | oeos-index |
| 系统监控服务 | SS09 | 系统概览,使用Prometheus、Granfana提供监控告警支持 | oeos-monitor |
| 系统设备管理服务 | SS10 | 提供节点设备维护管理支持 | oeos-device |
| 数据中心服务 | SS11 | D节点存储Minio,为集群提供数据存储服务 | oeos-datacenter |
| 空间管理服务 | SS12 | oeos-space |
微服务安装位置及其端口占用OEOS共集成了10个KS服务和11个SS服务,以下提供所有微服务(共21个)的安装位置及其端口占用 :
| 微服务名称 | 微服务ID | RPC管理端口 | APP服务端口 | 安装位置 |
|---|---|---|---|---|
| S3网关服务 | KS01 | 3751 | 租户开通9000-9050 | /usr/local/oct/oeos/app/KS01 |
| 管理控制台服务 | KS02 | 3752 | 3500 | /usr/local/oct/oeos/app/KS02 |
| 数据堆叠服务 | KS03 | 3753 | - | /usr/local/oct/oeos/app/KS03 |
| 调度微服务 | KS04 | 3754 | - | /usr/local/oct/oeos/app/KS04 |
| 事件微服务 | KS05 | 3755 | - | /usr/local/oct/oeos/app/KS05 |
| 远程文件访问服务 | KS06 | 3756 | 3501 | /usr/local/oct/oeos/app/KS06 |
| 统计服务 | KS07 | 3757 | - | /usr/local/oct/oeos/app/KS07 |
| 系统状态共享服务 | KS08 | 3758 | 3502 | /usr/local/oct/oeos/app/KS08 |
| 认证服务 | KS09 | 3759 | - | /usr/local/oct/oeos/app/KS09 |
| 对象数据处理服务 | KS10 | 3760 | - | /usr/local/oct/oeos/app/KS10 |
| 节点管理系统服务 | SS01 | 3701 | - | /usr/local/oct/oeos/app/SS01 |
| 系统状态服务 | SS02 | 3702 | 2181 | /usr/local/oct/oeos/app/SS02 |
| 元数据存储服务 | SS03 | 3703 | 2379 | /usr/local/oct/oeos/app/SS03 |
| 消息服务 | SS04 | 3704 | 9092 | /usr/local/oct/oeos/app/SS04 |
| 元数据代理服务 | SS05 | 3705 | 9099 | /usr/local/oct/oeos/app/SS05 |
| 系统协调服务 | SS06 | 3706 | - | /usr/local/oct/oeos/app/SS06 |
| 存储节点管理服务 | SS07 | 3707 | - | /usr/local/oct/oeos/app/SS07 |
| 索引服务 | SS08 | 3708 | 9200、9300 | /usr/local/oct/oeos/app/SS08 |
| 系统监控服务 | SS09 | 3709 | 13000、19090 | /usr/local/oct/oeos/app/SS09 |
| 系统设备管理服务 | SS10 | 3710 | - | /usr/local/oct/oeos/app/SS10 |
| 数据中心服务 | SS11 | 3711 | 19000 | /usr/local/oct/oeos/app/SS11 |
KS10服务附属服务安装位置及说明
| 服务名称 | 服务ID | 服务说明 | 安装位置 |
|---|---|---|---|
| 代理处理 | C000 | - | /usr/local/oct/oeos/app/C000 |
| 垃圾回收 | C001 | 提供系统垃圾回收功能 | /usr/local/oct/oeos/app/C001 |
| 系统升级 | C002 | 提供系统在线升级功能 | /usr/local/oct/oeos/app/C002 |
| 数据冷冻 | C003 | 提供桶内数据冷冻功能 | /usr/local/oct/oeos/app/C003 |
| 数据解冻 | C004 | 提供桶内数据解冻功能 | /usr/local/oct/oeos/app/C004 |
| 过期删除 | C005 | 提供桶内数据过期删除功能 | /usr/local/oct/oeos/app/C005 |
| 图片处理 | C006 | 提供桶内图像数据压缩、水印功能 | /usr/local/oct/oeos/app/C006 |
微服务日志存放位置
| 微服务名称 | 微服务ID | 微服务日志存放位置 |
|---|---|---|
| S3网关服务 | KS01 | /usr/local/oct/oeos/logs/default/KS01 |
| 管理控制台服务 | KS02 | /usr/local/oct/oeos/logs/default/KS02 |
| 数据堆叠服务 | KS03 | /usr/local/oct/oeos/logs/default/KS03 |
| 调度微服务 | KS04 | /usr/local/oct/oeos/logs/default/KS04 |
| 事件微服务 | KS05 | /usr/local/oct/oeos/logs/default/KS05 |
| 远程文件访问服务 | KS06 | /usr/local/oct/oeos/logs/default/KS06 |
| 统计服务 | KS07 | /usr/local/oct/oeos/logs/default/KS07 |
| 系统状态共享服务 | KS08 | /usr/local/oct/oeos/logs/default/KS08 |
| 认证服务 | KS09 | /usr/local/oct/oeos/logs/default/KS09 |
| 对象数据处理服务 | KS10 | /usr/local/oct/oeos/logs/default/KS10 |
| 节点管理系统服务 | SS01 | /usr/local/oct/oeos/logs/default/SS01 |
| 系统状态服务 | SS02 | /usr/local/oct/oeos/logs/default/SS02 |
| 元数据存储服务 | SS03 | /usr/local/oct/oeos/logs/default/SS03 |
| 消息服务 | SS04 | /usr/local/oct/oeos/logs/default/SS04 |
| 元数据代理服务 | SS05 | /usr/local/oct/oeos/logs/default/SS05 |
| 系统协调服务 | SS06 | /usr/local/oct/oeos/logs/default/SS06 |
| 存储节点管理服务 | SS07 | /usr/local/oct/oeos/logs/default/SS07 |
| 索引服务 | SS08 | /usr/local/oct/oeos/logs/default/SS08 |
| 系统监控服务 | SS09 | /usr/local/oct/oeos/logs/default/SS09 |
| 系统设备管理服务 | SS10 | /usr/local/oct/oeos/logs/default/SS10 |
| 数据中心服务 | SS11 | /usr/local/oct/oeos/logs/default/SS11 |
| 代理处理 | C000 | /usr/local/oct/oeos/logs/default/C000 |
| 垃圾回收 | C001 | /usr/local/oct/oeos/logs/default/C001 |
| 系统升级 | C002 | /usr/local/oct/oeos/logs/default/C002 |
| 数据冷冻 | C003 | /usr/local/oct/oeos/logs/default/C003 |
| 数据解冻 | C004 | /usr/local/oct/oeos/logs/default/C004 |
| 过期删除 | C005 | /usr/local/oct/oeos/logs/default/C005 |
| 图片处理 | C006 | /usr/local/oct/oeos/logs/default/C006 |
微服务日志文件说明
| 微服务名称 | 微服务ID | 微服务日志说明 |
|---|---|---|
| S3网关服务 | KS01 | GatewayS3Service.log保存了KS01服务启停和一些服务运行异常的日志;S3Gateway-T01-output.log保存了go那边报出来的日志;SubService-KS01-T01.log保存了租户T01子进程的日志;tenant-T01-s3-access.log保存了租户T01中S3接口调用日志。 |
| 管理控制台服务 | KS02 | SystemManagementService.log保存了访问console时的日志,包括在console上做某些操作时出现的报错信息。 |
| 数据堆叠服务 | KS03 | PackingService.log保存了KS03服务启停和一些服务运行异常的日志;Index.log保存了所有文件元数据的更新记录;SubService-KS03-T01.log保存了租户T01子进程的日志,小文件打包打包过程中的详细日志。 |
| 调度微服务 | KS04 | ScheduleService.log保存了KS04服务启停日志;SubService-KS04-T01.log保存了租户T01子进程的日志,系统定时任务执行调度信息。 |
| 事件微服务 | KS05 | SystemEventService.log保存了KS05服务启停和一些服务运行异常的日志;SystemEventLog.log保存了所有系统事件的详细信息。 |
| 远程文件访问服务 | KS06 | RemoteFileAccessService.log保存了KS06服务启停和一些服务运行异常的日志;rfa-error.log保存了服务运行过程中的error;rfa-output.log远程文件访问的处理记录。 |
| 统计服务 | KS07 | StatisticsService.log保存了KS07服务启停和一些服务运行异常的日志;SubService-KS07-T01.log保存了租户T01子进程的日志,处理transaction的详情;Index.log保存所有数据索引创建的记录。 |
| 系统状态共享服务 | KS08 | SystemExporterService.log保存了KS08服务启停和一些服务运行异常的日志; |
| 认证服务 | KS09 | AuthService.log保存了KS09服务启停和一些服务运行异常的日志。 |
| 对象数据处理服务 | KS10 | ObjectHandleService.log保存了KS10服务启停和一些服务运行异常的日志;SubService-KS10-T01.log保存了租户T01子进程的日志,包括任务运行状态的日志。 |
| 节点管理系统服务 | SS01 | NodeManagementService.log保存了SS01服务启停和一些服务运行异常的日志。 |
| 系统状态服务 | SS02 | StatusKeeperService.log保存了SS02服务启停和一些服务运行异常的日志。 |
| 元数据存储服务 | SS03 | KVDatabaseService.log保存了SS03服务启停和一些服务运行异常的日志。 |
| 消息服务 | SS04 | MessageService.log保存了SS04服务启停和一些服务运行异常的日志。 |
| 元数据代理服务 | SS05 | GatewayKVStoreService.log保存了SS05服务启停和一些服务运行异常的日志。 |
| 系统协调服务 | SS06 | CoordinateService.log保存了SS06服务启停和一些服务运行异常的日志;OceanStorage_LSOceanVolume1_RO0.log保存了蓝光服务接口的调用日志(主要是获取设备容量信息的记录其中LSOceanVolume1代表的是卷池code)、 |
| 存储节点管理服务 | SS07 | DataCenterAdminService.log保存了SS07服务启停和一些服务运行异常的日志。 |
| 索引服务 | SS08 | IndexService.log保存了SS08服务启停和一些服务运行异常的日志。 |
| 系统监控服务 | SS09 | MonitorService.log保存了SS09服务启停和一些服务运行异常的日志(注:SS09不会在所有节点上都安装,需要先找到安装这个服务的节点然后到指定目录下查询日志)。 |
| 系统设备管理服务 | SS10 | DeviceManagementService.log保存了SS10服务启停、系统磁盘状态和一些服务运行异常的日志。 |
| 数据中心服务 | SS11 | DataCenterService.log保存了SS11服务启停和一些服务运行异常的日志;DataCenter-error.log保存了Minio运行过程中的error记录;DataCenter-output.log保存了Minio抛出的一些日志。 |
| 代理处理 | C000 | - |
| 垃圾回收 | C001 | GarbageCollectionCommand.log保存了垃圾回收命令执行的详细日志。 |
| 系统升级 | C002 | - |
| 数据冷冻 | C003 | T02-TID1715144564239-ObjectFreezeCommand.log保存了租户T02中数据冷冻任务TID1715144564239的启动、停止、运行状态的日志;T02-TID1715144564239-{任务名称}-Task.log:保存了租户T02中数据冷冻任务TID1715144564239运行中的参数配置、任务运行的详细信息;记录任务扫描需要冷冻桶中对象数量以及对象总大小信息、判断是否需要开始向ocean推送对象。T02-TID1715144564239-{任务名称}-NFZ-Freezer.log:保存了租户T02中数据冷冻任务TID1715144564239的数据处理的详细过程的日志(数据的打包、分片、传输、提交冷冻任务等),记录向ocean推送对象详细过程;T02-TID1715144564239-{任务名称}-Confirmer.log保存了租户T02中数据冷冻任务TID1715144564239中已经提交完冷冻任务的每一个文件是否冷冻状态的记录;T02-TID1715144564239-{存储层名称}_RO0.log保存了租户T02中数据冷冻任务TID1715144564239的数据冷冻任务中调用蓝光系统接口的详细记录(其中LSOceanVolume1为蓝光卷池code)。 |
| 数据解冻 | C004 | T02-TID1715305501844-ObjectUnfreezeCommand.log保存了租户T02中数据解冻任务TID1715305501844的启动、停止、运行状态的日志;T02-TID1715305501844-unfreeze-Task.log保存了租户T02中数据解冻任务TID1715305501844的详细记录;T02-TID1715305501844-OceanStorage_LSOceanVolume1_RO0.log保存了租户T02中任务TID1715305501844的调用蓝光系统接口的详细记录(其中LSOceanVolume1为蓝光卷池code)。 |
| 过期删除 | C005 | T01-TID5414394208144046849-ObjectDeleteCommand.log保存了T01租户中过期删除任务TID5414394208144046849的启动、停止、运行状态的日志;T01-TID5414394208144046849-#DEL-EXPIRES-md5-Task.log保存了T01租户中过期删除任务TID5414394208144046849的数据处理详细记录。 |
| 图片处理 | C006 | - |