实时数据中心建设思路与企业实践 | 青训营笔记

85 阅读2分钟

实时数据中心建设思路与企业实践 | 青训营笔记

这是我参与「第四届青训营 」笔记创作活动的第14天

  • 企业数据架构

image.png (课件图)

  • 技术中台架构图

中台概念出现之前,在信息化模式上,前端为支撑业务的应用端,后端为各个应用系统,为前端用户,如:客户、供应商、伙伴、社会,提供服务,但随着市场、用户需求、业务的多变性,底层僵硬的应用无法及时提供支撑。

企业需要一个强大的中间层为高频多变的业务提供支撑,为不同的受众用户提供多端访问渠道,基于此类需求“中台”概念出现,接着开始对企业客户、中间件厂商、数据平台厂商、甚至传统应用软件厂商都有较大的概念冲击。

image.png

  • 数据服务架构

image.png

(课件图)

普遍的数据服务存在四类问题:

  • 数据接入方式多样,接入效率低

  • 数据和接口无法复用

  • 不清楚数据被哪些应用访问

  • 底层数据变更,影响数据应用

  • 数据服务的核心功能

  • 认证。为了解决接口安全的问题,数据服务首先会为每个注册的应用分配一对accesskey和secretkey,应用每次调用API接口,都必须携带。

  • 授权。对于每个已发布的 API,API 负责人可以对应用进行授权,只有权限的应用才可以调用该接口。

  • 限流。API 接口的负责人可以对应用进行限流(例如限制每秒QPS不超过 200),如果超过设定的阈值,就会触发熔断,限制接口的访问频率。需要注意的是,对于接口复用来说,限流功能非常必要,否则会造成不同应用之间的相互影响。

  • 监控。例如,接口的 90% 的请求响应时间、接口调用次数、失败次数等相关的监控。同时,对于长时间没有调用的API ,应该予以下线。

(待补充)