首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
鸿乃江边鸟
掘友等级
软件工程师
spark k8s
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
12
文章 12
沸点 0
赞
12
返回
|
搜索文章
鸿乃江边鸟
软件工程师
·
3年前
关注
DevOps是什么
DevOps的维基百科定义是:DevOps是一组过程、方法与系统的统称,用于促进开发、技术运营和质量保障(QA)部门之间的沟通、协作与整合。具体每个步骤就是:plancod...
赞
3
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
【mlflow系列4】mlflow upgrade(升级)IntegrityError: Cannot add foreign key constraint
背景在mlflowupgrade这篇文章中,我们说到了mlflow升级的步骤,很幸运,一气呵成,并没有发生什么错误,今天要说的就是升级过程中如果遇到mysqlCannota...
赞
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
【mlflow系列3】mlflow 升级(upgrade)
背景mlflow的更新迭代速度还是很快的,平均一个月一个大版本的更新,截止到11月1号,已经更新到了1.11.0版本我们查看mlflowrelease,就能看到早在1.10...
1
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
【mlflow系列1】mlflow的搭建使用
而且在我们公司已经有十多个服务稳定运行了两年多。...
1
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
【mlflow系列2】mlflow migrate元数据从基于文件存储迁移到基于mysql存储
对于需要进行mlflow进行元数据迁移,可以参考该项目...
1
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
spark 合并github (pull request)pr 的正确姿势
最近在做内部spark版本升级的工作,涉及到github上合并pr的工作,具体的是spark2.x升级到spark3.0.1时兼容hdfscdh-2.6.0-5.13.1,...
1
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
akka cluster split-brain-resolver(SBR)
背景最近项目中,用akka(2.6.8)cluster在k8s做分布式的部署,,其中遇到unreachablenode如果一直未手动重启,则会导致其他的node加入不到cl...
1
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
【k8s系列2】spark on k8s(kubernetes) DynamicResourceAllocation
spark on yarn对于DynamicResourceAllocation分配来说,从spark 1.2版本就已经开始支持了. 而sparkEnv的创建就涉及到Blo...
1
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
jenkins trigger by time
对于需要定时触发jenkinspipline的api,此项目可以作为一个参考...
1
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
Uber jvm profiler 使用
背景uberjvmprofiler是用于在分布式监控收集jvm相关指标,如:cpu/memory/io/gc信息等安装确保安装了maven和JDK>=8前提下,直接mvnc...
1
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
【k8s系列1】spark on k8s 与 spark on k8s operator的对比
|实现方式|对于spark提交方式来说,无论是client提交还是cluster提交,都是继承SparkApplication。以client提交,子类则是JavaMain...
1
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
【k8s系列3】kubernetes(k8s) scheduler backend调度的实现
注意一点的是:该resourceVersion在 Kubernetes 服务器的保留是有限制的。使用etcd2的旧集群最多可保留1000次更改。 backend通过被调用r...
1
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
【mlflow系列前传】MinIO的搭建使用
MinIO的搭建使用是什么MinIO是一个基于ApacheLicensev2.0开源协议的高性能的对象存储,它兼容亚马逊S3云存储服务接口适合大容量的文件存储,如:图片,视...
2
评论
分享
鸿乃江边鸟
软件工程师
·
3年前
关注
logrotate 日志滚动的使用
作用正如manlogrotate说的那样,logrotate可以实现自动轮替、压缩、删除日志、并且发邮件的功能使用也就是说,可以手动的执行logrotateconfigfi...
1
评论
分享
个人成就
文章被点赞
13
文章被阅读
5,820
掘力值
165
关注了
0
关注者
1
收藏集
0
关注标签
0
加入于
2020-10-15