鸿乃江边鸟

软件工程师

spark k8s

赞

12

|

搜索文章

DevOps是什么

DevOps的维基百科定义是：DevOps是一组过程、方法与系统的统称，用于促进开发、技术运营和质量保障（QA）部门之间的沟通、协作与整合。具体每个步骤就是：plancodebuildtestrele

5年前
273
点赞
3

【mlflow系列4】mlflow upgrade(升级)IntegrityError: Cannot add foreign key constraint

背景在mlflowupgrade这篇文章中，我们说到了mlflow升级的步骤，很幸运，一气呵成,并没有发生什么错误，今天要说的就是升级过程中如果遇到mysqlCannotaddforeignkeyco

5年前
252
点赞
评论

【mlflow系列3】mlflow 升级(upgrade)

背景mlflow的更新迭代速度还是很快的，平均一个月一个大版本的更新，截止到11月1号，已经更新到了1.11.0版本我们查看mlflowrelease,就能看到早在1.10.0版本，就提供了对mode

5年前
483
1
评论

【mlflow系列1】mlflow的搭建使用

而且在我们公司已经有十多个服务稳定运行了两年多。

5年前
1.0k
1
评论

【mlflow系列2】mlflow migrate元数据从基于文件存储迁移到基于mysql存储

对于需要进行mlflow进行元数据迁移，可以参考该项目

5年前
367
1
评论

spark 合并github (pull request)pr 的正确姿势

最近在做内部spark版本升级的工作，涉及到github上合并pr的工作，具体的是spark2.x升级到spark3.0.1时兼容hdfscdh-2.6.0-5.13.1，报编译错误具体的解决方法gi

5年前
372
1
评论

akka cluster split-brain-resolver(SBR)

背景最近项目中，用akka(2.6.8)cluster在k8s做分布式的部署，，其中遇到unreachablenode如果一直未手动重启，则会导致其他的node加入不到cluster中来，具体的操作为

5年前
462
1
评论

【k8s系列2】spark on k8s(kubernetes) DynamicResourceAllocation

spark on yarn对于DynamicResourceAllocation分配来说，从spark 1.2版本就已经开始支持了. 而sparkEnv的创建就涉及到BlockManager的创建。沿着代码往下走，最终当然spark社区早就提出了未开启external shu…

5年前
630
1
评论

jenkins trigger by time

对于需要定时触发jenkinspipline的api，此项目可以作为一个参考

5年前
303
1
评论

Uber jvm profiler 使用

背景uberjvmprofiler是用于在分布式监控收集jvm相关指标，如:cpu/memory/io/gc信息等安装确保安装了maven和JDK>=8前提下，直接mvncleanpackagejav

5年前
952
1
评论

个人成就

文章被点赞 13

文章被阅读 8,286

加入于

2020-10-15