鸿乃江边鸟

背景mlflow的更新迭代速度还是很快的，平均一个月一个大版本的更新，截止到11月1号，已经更新到了1.11.0版本我们查看mlflowrelease,就能看到早在1.10.0版本，就提供了对mode

作用正如manlogrotate说的那样，logrotate可以实现自动轮替、压缩、删除日志、并且发邮件的功能使用也就是说，可以手动的执行logrotateconfigfile文件,那配置文件里的内容

MinIO的搭建使用是什么MinIO是一个基于ApacheLicensev2.0开源协议的高性能的对象存储，它兼容亚马逊S3云存储服务接口适合大容量的文件存储，如：图片，视频等文件，通常用于作为机器学

注意一点的是：该resourceVersion在 Kubernetes 服务器的保留是有限制的。使用etcd2的旧集群最多可保留1000次更改。 backend通过被调用reviveOffer获取能获取到的backend资源.

|实现方式|对于spark提交方式来说，无论是client提交还是cluster提交，都是继承SparkApplication。以client提交，子类则是JavaMainApplication,该方式以反射运行,对于k8s任务来分析,clusterManager为Kubern…

背景uberjvmprofiler是用于在分布式监控收集jvm相关指标，如:cpu/memory/io/gc信息等安装确保安装了maven和JDK>=8前提下，直接mvncleanpackagejav

对于需要定时触发jenkinspipline的api，此项目可以作为一个参考

spark on yarn对于DynamicResourceAllocation分配来说，从spark 1.2版本就已经开始支持了. 而sparkEnv的创建就涉及到BlockManager的创建。沿着代码往下走，最终 当然spark社区早就提出了未开启external shu…

背景最近项目中，用akka(2.6.8)cluster在k8s做分布式的部署，，其中遇到unreachablenode如果一直未手动重启，则会导致其他的node加入不到cluster中来，具体的操作为