首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
AI资讯
掘友等级
AI 报道员
|
掘金
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0
沸点 0
赞
0
返回
|
搜索文章
AI资讯
AI 报道员 @掘金
·
4年前
举报
BytePS 结合了字节跳动人工智能实验室几个月来对分布式训练通信的多个研究与优化成果,包含通信优先级调度、PS 的 RDMA 实现、针对 PCIe switch 与 NUMA 的优化,以及 BytePS 本身构架的创新等。
深度学习的效果取决于模型与数据,目前行业内不断刷新深度学习准确率的最新研究,大多都基于更大的模型以及更大的数据集。然而,大模型与大数据对训练时的计算能力提出了极高要求,单张 GPU 卡,或者单台服务器上的 GPU 卡,已经远远不能够满足内部训练任务的需求。因此,分布式训练的效率,即使用多台服务器协同进行训练,现在成为了深度学习系统的核心竞争力。
一直以来,在分布式训练中有两大流派,分别是 allreduce 和 PS(Parameter Server)。过去三年中,尤其是百度提出 allreduce,以及 Uber 开源基于 allreduce 的 Horovod 之后,行业内的认知中,allreduce 是最好的分布式训练通信方式,而过去的 PS 实现的性能也确实与 allreduce 存在一定差距。
BytePS 则颠覆了 allreduce 长期领先的局面,BytePS 拥有着超出目前其他所有分布式训练框架一倍以上的性能,包括 NVIDIA 开源的 NCCL,Uber 开源的 Horovod,以及 Tensorflow、PyTorch、MXNet 自带的分布式训练方案等。
BytePS 开发团队表示,在公有云或者私有云这类共享集群中,经过精巧设计和高质量实现的 PS,PS 架构不仅不比 allreduce 差,而且在一些环境还能得到比 allreduce 还高一倍的速度。
展开
字节跳动开源高性能分布式训练框架 BytePS:兼容 TensorFlow 等主流框架
www.oschina.net
今日新鲜事
分享
评论
点赞
AI资讯
AI 报道员 @掘金
·
4年前
举报
热门机器学习算法的 Python 示例,含算法的数学解释
github.com
通过这个项目实践这些算法能更好地理解每个算法背后的数
收起
查看大图
向左旋转
向右旋转
优秀开源项目
等人赞过
分享
评论
24
AI资讯
AI 报道员 @掘金
·
4年前
举报
PoseNet 2.0发布,一个在浏览器里就能运行的人体姿态检测算法,这次还包括了一个更精准的基于ResNet的模型。demo在此:
storage.googleapis.com
GitHub在此:
github.com
来源量子位
展开
收起
查看大图
向左旋转
向右旋转
优秀开源项目
等人赞过
分享
评论
32
AI资讯
AI 报道员 @掘金
·
4年前
举报
“我确信这是一张假脸,它具有AI合成假脸的所有特征。”德国艺术家Mario Klingemann说。
审查了Katie Jones在LinkedIn上的个人资料的专家表示,这是专业社交网站上典型的间谍活动,LinkedIn网站作为全球Rolodex角色对间谍具有强大的吸引力。
间谍使用AI生成“假脸”注册虚假LinkedIn账号联系目标人物
www.aminer.cn
今日新鲜事
分享
评论
点赞
AI资讯
AI 报道员 @掘金
·
4年前
举报
【谷歌造了个虚拟足球场,让AI像打FIFA一样做强化学习训练】今天,谷歌开源了足球模拟环境Google Research Football,智能体可以在这个宛若FIFA的世界里自由踢球,学到更多踢球技巧。
tech.sina.com.cn
收起
查看大图
向左旋转
向右旋转
今日新鲜事
赞过
分享
1
1
AI资讯
AI 报道员 @掘金
·
4年前
举报
全球AI专利排行榜,微软第一,IBM第二,三星第三,高通第四,谷歌第五
收起
查看大图
向左旋转
向右旋转
今日新鲜事
等人赞过
分享
1
5
AI资讯
AI 报道员 @掘金
·
4年前
举报
近日,意大利技术研究所(IIT)推出了一款全面升级的四足机器人,名为 HyQReal。这款四足机器人体积很大、拉力十足、结实耐用并且性能强劲。
IIT 想要测试一下 HyQReal 是否可以拉动一架 3 吨重的飞机。结果显示,这款机器人成功地拉动了一架小型客机。
据悉,HyQReal 长 1.33m,高 0.9m,加上内部液压系统和电池,它的重量为 130kg。机器人还有定制的橡胶垫脚,当前行困难时可提供牵引力。同时,机器人载有两台计算机,一台指引视觉方向,一台用于控制。
展开
收起
查看大图
向左旋转
向右旋转
今日新鲜事
分享
评论
点赞
AI资讯
AI 报道员 @掘金
·
4年前
举报
被AI修复的林徽因
收起
查看大图
向左旋转
向右旋转
掘友请回答
等人赞过
分享
10
5
AI资讯
AI 报道员 @掘金
·
4年前
举报
【陆奇最新演讲:没有学习能力,看再多世界也没用】
2019年5月18日,陆奇博士在清华的非公开演讲视频《AI的本质与创业创新》独家上线知乎,这也是陆奇首次在中国系统化地输出自己对AI产业的洞察和实战经验。陆奇在讲座中带领创业者站在历史的高度重新认识AI,并给出AI时代个人发展的方向性建议。
36kr.com
收起
查看大图
向左旋转
向右旋转
今日新鲜事
赞过
分享
2
2
AI资讯
AI 报道员 @掘金
·
4年前
举报
【0.5秒闪译,12倍速转写,科大讯飞一口气发布五款超强AI产品】
t.cn
讯飞翻译机3.0:3.0版本的翻译机,支持普通话与粤语、东北话、河南话、四川话等方言之间的翻译,还新增了维汉、藏汉等民族语言翻译,翻译速度也再度提升,达到“0.5秒闪译”,并提升了图像拍照翻译水平。
此外,离线引擎也有了新的升级,采用了新一代离线语音识别引擎、离线翻译引擎,并内置了高通骁龙八核处理器。
讯飞转写机:科大讯飞将其定位为“面向办公场景的语音转写移动工作站”。
最大的亮点,是内置离线解决方案,转写准确率能够达到95%以上;并支持对讲话人进行智能分区、中英文同步展示、字幕实时叠加功能等等。
讯飞智能录音笔:与大部分录音笔不同,这款录音笔还带有独立的触摸屏,转写结果可以直接看到。并支持翻译功能,而且,翻译结果不仅能够实时可见,也能够实时可听。
对于录音的后期整理上,也有不少针对性的功能,能够对重点快速进行标记,支持语音便捷搜索,通过4G、WiFi方式连接网络,能够实现录音文本快速分享。
讯飞智能办公本:这是一款墨水屏智能硬件设备,屏幕大小为10.3吋。核心的亮点是,能够让你在录音转写的同时,也能够手写记录要点。
手写关键词也可以做到字音同步,只要点击手写的文字,就能播放手写文本时的语音。
讯飞学习机:讯飞介绍称,基于智学网随机调研的400万学生中35亿条数据,他们发现学生60%的练习都是无效的。围绕着这个方面,学习机主要有两大功能:一是数理化精准学习提升效率,二是英语听说读写综合提升。
展开
收起
查看大图
向左旋转
向右旋转
今日新鲜事
等人赞过
分享
评论
4
下一页
关注了
0
关注者
372
收藏集
0
关注标签
0
加入于
2018-10-26