MySQL的大规模数据存储和处理

671 阅读3分钟

这是我参与更文挑战的第10天,活动详情查看:更文挑战

一、MySQL特点与优势

MySQL有哪些技术特点和优势呢?

  1. 天生分层架构,MySQL Server + InnoDB Engine。
  2. 插件式引擎思想,InnoDB、MyISAM、ArkDB。
  3. 成熟的日志机制:REDO Log、Binlog。
  4. 统一文件存储接口。
  5. 轻量级线程处理模型。

image.png

MySQL有哪些应用特点和优势呢?

  1. 介入简单,编程灵活。
  2. SQL简单,方便快捷。
  3. 普及度高,装机量大。
  4. 社区活跃,开源力量强大。

二、未来发展方向

MySQL的技术发展

  1. 优化器的全面优化,实现并行处理。
  2. 多引擎共存,改变一个InnoDB支持的局面。
  3. 存储可扩展,真正实现独立弹性扩展和分布式。
  4. InnoDB层面优化存储结构和索引组织,支持大规模数据处理。

MySQL的开源方向

  1. 修改协议,采用更加宽松的开源协议,免除贡献者后顾之忧。
  2. 成立独立基金会,实现管理自主。
  3. 更大力度支持开源社区和周边开源软件。

三、需求痛点

1. 数据孤岛,价值低

企业海量的高价值数据分散在各个业务系统中,前期由于没有数据标准导致数据接口复杂各异,难统一集中和整合。

image.png

2. 数据难交互,成本高

传统信息化孤岛林立,数据提供成本高,应用效率低。数据库与数据系统缺乏统一管理和统一调度。信息系统架构复杂,数据处理软件林立,技术壁垒制约发展。

3. 数据融合,利旧创新

数据源及访问模式繁多(JDBC、ODBC、API、直连、文本文件),数据库类型繁多(Oracle、MS、ArkDB、MySQL、DM、神通、金仓、南大通用、大数据),数据开发不规范。

四、解决方案

1. 利用现有的先进经验

TTS模式,是携程去哪儿网自主研发的数据服务平台,能够保障用户交易资金安全,保证用户信息和隐私安全,提供丰富多样的产品,界面简单易用,操作便捷,并且支持多种支付方式。TTS对于消费者的优势在于用户体验统一和交易安全保障。消费者不用反复输入信息和学习各个网站的展示规则。

2. 方案架构调整

统一数据处理API服务层,依托数据API加工数据,再由API管理驾驶舱,完成统一认证、API鉴权、故障隔离、API限流、访问权限控制、数据编排、数据校验、服务监控告警,利用服务注册中心、服务控制中心、服务发布中心、服务配置中心进行统一管理。同时借鉴分布式数据库,完成计算层、引擎层、存储层、管理层的功能划分,保证数据透明复制,分布式存储、弹性扩容、快照备份、数据冗余、高可用,集群管理、过载保护、安装部署、日常监控、大屏展示、功能定制等需求。

image.png

MySQL厚重的技术与市场历史奠定了其在开源领域绝对领袖地址,另外,MySQL生态圈证明,开源技术的蓬勃发展,更好的支持更多的商业需求,理解并遵守开源协议,技术面前,开源和商业并无障碍。