鸿乃江边鸟

软件工程师

spark k8s

赞

12

|

搜索文章

【k8s系列1】spark on k8s 与 spark on k8s operator的对比

|实现方式|对于spark提交方式来说，无论是client提交还是cluster提交，都是继承SparkApplication。以client提交，子类则是JavaMainApplication,该方式以反射运行,对于k8s任务来分析,clusterManager为Kubern…

4年前
707
1
评论

【k8s系列3】kubernetes(k8s) scheduler backend调度的实现

注意一点的是：该resourceVersion在 Kubernetes 服务器的保留是有限制的。使用etcd2的旧集群最多可保留1000次更改。 backend通过被调用reviveOffer获取能获取到的backend资源.

4年前
222
1
评论

【mlflow系列前传】MinIO的搭建使用

MinIO的搭建使用是什么MinIO是一个基于ApacheLicensev2.0开源协议的高性能的对象存储，它兼容亚马逊S3云存储服务接口适合大容量的文件存储，如：图片，视频等文件，通常用于作为机器学

4年前
469
2
评论

logrotate 日志滚动的使用

作用正如manlogrotate说的那样，logrotate可以实现自动轮替、压缩、删除日志、并且发邮件的功能使用也就是说，可以手动的执行logrotateconfigfile文件,那配置文件里的内容

4年前
1.5k
1
评论

个人成就

文章被点赞 13

文章被阅读 7,529

加入于

2020-10-15