大数据
2篇文章 · 0订阅
  • 百万级别数据Excel导出优化
    这篇文章不是标题党，下文会通过一个仿真例子分析如何优化百万级别数据Excel导出。 笔者负责维护的一个数据查询和数据导出服务是一个相对远古的单点应用，在上一次云迁移之后扩展为双节点部署，但是发现了服务经常因为大数据量的数据导出频繁Full GC，导致应用假死无法响应外部的请求。…
    后端
    百万级别数据Excel导出优化
  • 大数据开发平台(Data Platform)在有赞的最佳实践
    随着公司规模的增长，对大数据的离线应用开发的需求越来越多，这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/Elastic Search 等之间的离线同步)、离线计算(Hive/MapReduce/Spark 等)、定时调度、运行结果的查询以及失败场景的报警等…
    MySQL 运维 Spark