小 P 为你送上本周值得一看的信息~
有意见、建议与吐槽,欢迎直接给小 P 留言哦~
点击标题即可打开对应网页。
学术前沿
HyperCLOVA: 论预训练语料对大规模语言模型的上下文学习的影响
自然语言处理(NLP)界惊讶地发现,尽管下游任务数据和预训练语料库之间没有重复,但在 GPT-3 这样的大规模语言模型中也出现了零/少量的语境学习能力。2021 年,韩国 HyperCLOVA 团队推出了 HyperCLOVA——一个基于 GPT-3 的大规模韩国 AI 平台,并应用于各种服务。
在这篇文章里,该团队介绍了他们进行消融实验 (ablation study) 的结果,即上下文学习 (in-context learning) 的性能如何因使用的语料库而改变。
该团队的研究将在 NAACL22 上作为 regular presentation 发表。如果想要了解更多研究结果,可以阅读他们在 arXiv 上发表的论文。
Mytrle.ai: 在近地轨道卫星系统上部署 Vision Transformers 的效果
近地轨道 (LEO, Low Earth Orbit) 是一个常用的轨道。与始终沿着地球赤道运行的地球静止同步轨道 (GEO) 卫星不同,LEO 卫星的平面可以倾斜,所以并不总是必须以同样的方式遵循围绕地球的特定路径,也就意味着在近地轨道高度有着更多的可用路线。另外,由于靠近地球表面,LEO 卫星可以拍摄高分辨率的地面照片,用于研究或商业目的。
在功耗敏感的系统上部署 AI 等计算密集型算法,需要实现所需的算法性能和最小化计算能力之间的平衡。卫星部署的成本受制于重量,其中电源系统是一个主要因素。鉴于将有效载荷送入太空的高昂成本,分配给每个子系统的功率预算十分有限。
Mytrle.ai 将就以下主题撰写一系列文章:如何将压缩技术应用于基于 transformer 的计算机视觉模型,并且展示这些模型在一系列低功率平台上的表现。本篇文章是该系列的第一篇,重点介绍了注意力机制 (attention) 背后的理论,以及 Vision Transformer 模型在卫星图像数据集中的应用。
该项工作由英国创新署 (Innovate UK) 资助。
基础技术
如何在 Linux 中实时监控日志文件
Linux 系统的日志文件一般位于 /var/log,以 .log 扩展名结尾。本文教你如何在一个窗口里面同时监控所有日志文件。
What the f*ck Python! 🐍
这个项目意在收集 Python 中那些难以理解和反人类直觉的例子以及鲜为人知的功能特性,并尝试讨论这些现象背后真正的原理。
如果你是一位经验比较丰富的 Python 程序员,这也许能唤起你当年踩坑时的甜蜜回忆……
MIT: 计算机教育中缺失的一课
这个网站是麻省理工学院的系列课程 The Missing Semester of Your CS Education 的中文翻译版。
传统的计算机课程通常将掌握基础工具的使用留给学生,但学生通常对工具知之甚少,从而将时间浪费在大量的重复任务上。为了改善这种情况,该系列课程讲授命令行与 shell 工具、文本编辑器、版本控制系统、调试及性能分析等等基础工具的使用方法,并且提供视频与自测习题(及答案)。
设计哲学
工程师解决问题的框架:理解问题、设计问题、写代码
作者认为最好的工程师并不是那些擅长写代码的人,而是能够找到并解决能推动业务发展的人,并且提出了工程师应当遵循的解决问题的框架:理解问题、设计问题、写代码。
在作者所在的公司,遵循这套框架的工程师所领导的项目返工更少、所产生的负担更少,并且更容易成功。
为什么 Python 这么慢?
Python 运行速度慢的原因是个常被问到的问题。因为 Python 有 GIL (Global Interpreter Lock, 全局解释锁)、因为 Python 是解释型语言而不是编译型、因为Python 是动态类型语言……这之中哪个原因对 Python 的速度影响最大呢?作者用简明易懂的语言给出了解释。
工具推荐
Microsoft PowerToys
Microsoft PowerToys 是由微软推出的 Windows 扩展工具集,包含不少有用的小工具,比如修改键位、一键批量调整图片大小、自定义桌面分屏等等。PowerToys Run 功能可以提供类似 macOS 上 Spotlight 的快速启动器。
Coverview: 在线生成文章视频封面
为文章、视频等媒体做封面图是自媒体作者总要面对的一个难题。Coverview 或许能成为你的好帮手:仅需在页面上点一点,就能生成简约而不简单的封面图片。
感谢阅读,欢迎在评论区留言讨论哦~
P.S. 如果喜欢本篇文章,请多多 点赞,让更多的人看见我们 :D
关注 公众号「SenseParrots」,获取人工智能框架前沿业界动态与技术思考。