大数据
3篇文章 · 0订阅
  • 画一手好的架构图是码农进阶的开始
    当我们想用几张图来介绍下业务系统，是不是对着画布不知从何下手？本文从常见的架构视图进行分析，介绍了常见的架构视图分类和画好架构视图的要注意的问题。
    后端 架构
  • Spark Shuffle 过程参数优化深入剖析-Spark商业调优实战
    本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。 参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓…
    Spark JVM
  • Spark项目打包优化实践
    问题描述 在使用Scala/Java进行Spark项目开发过程中，常涉及项目构建和打包上传，因项目依赖Spark基础相关类包一般较大，打包后若涉及远程开发调试，每次打包都消耗多很多时间，因此需对此过程
    Spark