Hermes 3:Meta 的 Llama 3.1 405B 模型的第一个全参数微调版本;伽罗瓦理论课程笔记

154 阅读12分钟

Nous Research 发布 Hermes 3:在 Lambda 的 1-Click 集群上训练的经过精细调整的 Llama 3.1 405B 模型,可增强推理和创造能力

  • • **介绍 Hermes 3:**这是 Meta 的 Llama 3.1 405B 模型的第一个全参数微调版本,在 Lambda 的 1-Click Cluster 基础设施上进行训练。它旨在成为一种中立且通用的语言模型,可通过 Lambda 的 Chat Completions API 和 Lambda Chat 界面免费使用。
  • 主要特点:
    • • Hermes 3 擅长遵循指令,这使其非常适合复杂的角色扮演、创造性写作和生成沉浸式角色描绘等任务。
    • • 它还拥有先进的推理和决策能力,包括函数调用和步骤标记推理。
  • 训练过程: Nous Research 使用以下方法对 Hermes 3 进行了细致的训练:
    • • 用于初始训练的合成数据。
    • • 对 Meta 的 Llama 3.1 405B 基础模型进行监督微调。
    • • 通过人类反馈 (RLHF) 进行强化学习以改进其反应。
    • • 使用 Neural Magic 的 FP8 方法进行量化,将 VRAM 和磁盘要求减少约 50%,使其能够在单个节点上运行。
  • • **可访问性:**可以通过两种方式访问 Hermes 3:
    • • 通过 Lambda 的 Chat Completions API(与 OpenAI API 兼容)免费访问以生成完成和聊天交互。
    • • 直接在单个节点上运行,或扩展到 Lambda Cloud 上的多节点 1-Click 集群以进行进一步微调。
  • Lambda 的作用: Lambda 提供了训练 Hermes 3 所需的强大基础设施,凸显了其一键式集群对于大型 AI 项目的效率和可访问性。

lambdalabs.com/blog/unveil…

伽罗瓦理论

数学中,特别是抽象代数理论中,得名于法国数学家埃瓦里斯特·伽罗瓦的伽罗瓦理论提供了域论和群论之间的联系,即伽罗瓦理论基本定理。这样可以将域论中的某些问题还原到群论,使其更简单、更易理解。

  • • 数学家汤姆·莱因斯特 (Tom Leinster) 在 arXiv 上公开了他的伽罗瓦理论课程笔记。
  • • 这些注释非常全面,包括:
    • • 对课程中涉及的伽罗瓦理论部分的完整独立的说明。
    • • 大约40个简短的解释视频。
    • • 大量问题。
    • • 近500道多项选择题。
  • • 莱恩斯特推测他的伽罗瓦理论笔记之所以受欢迎,是因为它使用了颜色和图标,因此可能比他的其他课程笔记更具视觉吸引力。
  • • 他也承认伽罗瓦理论本身是一门美丽而迷人的学科。
  • • 名为 FSK 的评论者将伽罗瓦理论与梅森旋转算法联系起来,指出该算法涉及 2^p 个元素的有限域中的乘法,并询问算法中使用的魔法常数的计算。

golem.ph.utexas.edu/category/20…

这个 SQLite 扩展添加了受 Go 的时间包启发的时间解析和操作功能

  • • 这篇文章介绍了一个名为“时间”的 SQLite 扩展,它增强了 SQLite 处理时间和日期数据的能力。
  • 主要特点:
    • • **时间解析:**该time_parse()函数允许您将日期和时间的各种字符串表示转换为 SQLite 的内部表示。它支持 ISO 8601(包含纳秒和时区信息)、标准日期和时间格式,甚至仅支持时间字符串。
    • 时间转换: 该扩展提供了time_unix()将 Unix 时间戳(表示自 Unix 纪元以来的秒数)和纳秒偏移量转换为 SQLite 内部日期时间表示的功能。
    • • **持续时间常量:**扩展包括dur_ns()、、dur_us()等函数dur_ms(),它们以纳秒为单位返回常见的持续时间值,使您更容易处理 SQL 查询中的时间间隔。
  • 实施细节:
    • • “时间”扩展是用 C 编写的,并从 Go 的标准库时间包中汲取了灵感。
  • 安装和使用:
    1. 1. 下载扩展的最新版本。
    2. 2. 使用.loadSQLite命令行界面中的命令来加载扩展(例如sqlite> .load ./time)。
    3. 3. 开始在 SQL 查询中使用time_now()、、time_parse()和等函数。time_unix()
  • • **好处:**此扩展显著提高了 SQLite 处理时间相关数据的能力,使其更适合需要精确日期和时间操作的应用程序。

antonz.org/sqlean-time…

现代社会的浮士德式交易涉及用隐私和身份来换取技术便利

  • • **浮士德式交易的持久吸引力:**作者强调了有关个人与魔鬼做交易的故事经久不衰的流行性,经典故事“侏儒怪”就是一个典型例子。这些故事探讨了野心、诱惑以及寻求成功捷径的后果等主题。
  • • **浮士德神话的现代解读:**本文讨论了托马斯·曼的小说《浮士德博士》,将其作为浮士德交易在现代文学中被重新解读的典型例子。在曼的作品中,主人公阿德里安·莱韦屈恩用自己的灵魂换取了音乐天才,反映了艺术家和知识分子面临的复杂道德困境。
  • • **《内心的魔鬼》:**作者认为,在当代社会,魔鬼的概念已经从一种外在的实体转变为一种内在的斗争。我们都受到捷径和即时满足的诱惑,常常牺牲自己的隐私和自主权来换取便利和物质利益。
  • 硅作为新契约: 本文将传统的浮士德式交易与我们与技术的互动进行了比较。通过同意我们很少阅读的冗长的条款和条件,我们不知不觉地放弃了对个人数据的控制,这反映了浮士德式的交换,即用珍贵的东西换取所谓的利益。
  • • **技术交易的后果:**作者认为这些“硅片协议”具有深远的影响。我们越来越依赖技术,可能会在这一过程中忽视自己的价值观和行动。

本质上,本文利用浮士德式交易的框架来探讨我们与 21 世纪技术的关系所带来的道德困境。它鼓励读者反思他们所做的选择,以及以牺牲隐私和自主权为代价追求便利和即时满足的潜在代价。

www.newyorker.com/magazine/20…

Denormalized 是一个基于 Apache DataFusion 构建的可嵌入流处理引擎,用于使用 Kafka 进行实时数据分析

  • 非规范化:快速可嵌入流处理引擎

Denormalized 是一个开源项目,使用 Apache DataFusion 构建快速、可嵌入的流处理引擎。它专为实时数据分析和转换而设计。

  • 主要特点:
    • 实时数据提取: Denormalized 目前支持 Kafka 作为提取流数据的来源。
    • 数据处理: 它支持窗口聚合(计算时间窗口内的统计数据)和流连接(基于公共键组合数据流)。
    • 数据输出: Denormalized 可以将处理后的数据发送回 Kafka 进行进一步分析或使用。
  • • **当前状态:**Denormalized 正在积极开发中。团队正在寻找合作伙伴来帮助确定其未来方向。如果您有特定的用例,请通过 GitHub 问题或电子邮件与我们联系。
  • • **入门:**您需要在系统上安装 Docker 和 Rust/Cargo。存储库包含示例,可帮助您快速入门:* emit_measurements:此示例演示了如何将示例数据发送到 Kafka。* 还有一个更复杂的示例,展示了 Kafka 拼车场景。
  • • **路线图:**Denormalized 团队对未来有着雄心勃勃的计划,包括:* 更高级的流处理功能(例如会话窗口)。* 有状态的 UDF API,允许用户在其流中定义自定义逻辑。* 支持其他数据源和接收器,如 DuckDB 和 PostgreSQL。* Python 和 TypeScript 绑定,可更轻松地与现有应用程序集成。* 用于监控和管理流的用户友好界面 (UI)。
  • • **团队和许可:**Denormalized 由位于旧金山的 Denormalized 公司开发。该项目是开源的,并根据 Apache 2.0 许可证获得许可。

github.com/probably-no…

Nomad Network 是一个开源的、注重隐私的网状网络平台,建立在 Reticulum 上,用于去中心化通信

  • 它是什么? Nomad Network 是一个开源的、去中心化的通信平台,专为隐私和弹性而设计。它利用网状网络原理,允许设备直接相互通信,而无需依赖集中式服务器或互联网基础设施。
  • 主要特点:
    • • **分散性:**没有单点故障;通信是点对点的。
    • • **注重隐私:**使用强加密来保护消息和用户数据。
    • 离线功能: 即使没有互联网连接也能运行,适用于偏远地区或受灾地区。
  • 技术细节:
    • Reticulum: Nomad Network 使用 Reticulum 作为其底层通信协议。Reticulum 是一个点对点网络框架,可实现节点之间安全高效的数据交换。
    • • **Docker 部署:**该项目提供 Docker 镜像,以便于在各种系统上轻松部署。
  • 社区与支持:
    • 活跃的社区: Nomad Network 拥有不断壮大的开发者和用户社区,他们为其发展做出贡献并提供支持。
    • • **讨论论坛:**在线论坛可用于提问、分享想法以及讨论与 Nomad Network 相关的话题。
    • • **捐赠:**该项目接受门罗币、以太坊、比特币和 Ko-Fi 的捐赠,以支持持续开发和维护。
  • 发展路线图:
    • • **未来的增强功能:**计划的功能包括网络范围公告、协作地图、改进的链接状态指示器和更加用户友好的界面。
  • 注意事项:
    • Beta 软件: Nomad Network 仍在积极开发中,应视为 Beta 软件。虽然安全性是首要任务,但它尚未接受外部安全审计。

github.com/markqvist/N…

编写 C 编译器:从头开始构建真正的编程语言

  • • 本书《编写 C 编译器》旨在通过指导读者从头开始构建自己的 C 编译器来揭开编译器的神秘面纱。
  • • **无需具备编译器构造或汇编代码经验。**算法以伪代码形式呈现,允许使用任何首选语言实现。
  • 本书采用循序渐进的方法:
    • • 您将首先为最简单的 C 程序构建一个可运行的编译器。
    • • 新功能将逐章添加,逐步扩展编译器的功能。
  • 涵盖的关键概念包括:
    • • **词法分析和解析:**了解如何使用词法分析器和递归下降解析器将 C 代码转换为抽象语法树。
    • • **程序分析:**通过分析技术了解程序行为并检测错误。
    • • **代码生成:**将 C 语言结构(算术运算、函数调用、控制流)转换为 x64 汇编代码。
    • • **优化技术:**使用常量折叠、死存储消除和寄存器分配等方法提高性能。
  • 本书分为三部分:
    • 第一部分:基础知识涵盖了基本的编译器组件并构建了一个能够处理基本 C 结构的最小编译器。
    • 第二部分:Int 以外的类型扩展了编译器处理更复杂数据类型的能力,例如长整数、无符号整数、浮点数、指针、数组、字符、字符串和结构。它还引入了动态内存分配支持。
    • 第三部分:优化深入研究提高生成代码效率的技术,包括寄存器分配和其他优化策略。
  • • **其他资源:**本书包含有关调试汇编代码和汇编生成表的附录。资源页面提供配套代码、勘误表、更新和其他有用资料。

nostarch.com/writing-c-c…

WriteFreely:一个在网络上构建写作空间的开源平台

  • • **WriteFreely 是一个开源平台,旨在在网络上创建不受干扰的写作空间。**它强调极简主义,只专注于写作和发布行为。
  • 主要特点:
    • • **快速、自动保存的编辑器:**确保您的想法无缝地被捕捉而不被打断。
    • 轻量且易于安装: WriteFreely 用 Go (golang) 编写,效率极高,甚至可以在 Raspberry Pi 等资源匮乏的设备上运行。安装涉及下载二进制文件和一些支持文件。
  • 社区建设:
    • • **通过 ActivityPub 实现去中心化的社交网络集成:**允许您的博客与 Mastodon 和 Pleroma 等其他平台连接,从而使这些网络的关注者能够与您的内容进行互动。
  • 好处:
    • • **无干扰的写作环境:**删除新闻提要、通知和点赞等不必要的元素,让作家专注于自己的作品。
    • 为访客提供简洁的阅读体验: 简约的设计确保读者可以轻松地参与内容而不会受到干扰。
    • • **Fediverse 覆盖范围:**在您自己的网站之外发布您的博客文章,并通过 ActivityPub 联合与更广泛的受众建立联系。
  • 资源和支持:
    • • WriteFreely 得到了用户和开发者社区的支持。
    • • 该平台提供文档、支持论坛和使用 WriteFreely 创建的博客示例。
    • • 对于那些不愿意自行托管的用户,可以使用托管托管选项。- **WriteFreely 是一个开源平台,旨在在网络上创建不受干扰的写作空间。**它强调极简主义,只专注于写作和发布行为。
  • 主要特点:
    • • **快速、自动保存的编辑器:**确保您的想法无缝地被捕捉而不被打断。
    • 轻量且易于安装: WriteFreely 用 Go (golang) 编写,效率极高,甚至可以在 Raspberry Pi 等资源匮乏的设备上运行。安装涉及下载二进制文件和一些支持文件。
  • 社区建设:
    • • **通过 ActivityPub 实现去中心化的社交网络集成:**允许您的博客与 Mastodon 和 Pleroma 等其他平台连接,从而使这些网络的关注者能够与您的内容进行互动。
  • 好处:
    • • **无干扰的写作环境:**删除新闻提要、通知和点赞等不必要的元素,让作家专注于自己的作品。
    • 为访客提供简洁的阅读体验: 简约的设计确保读者可以轻松地参与内容而不会受到干扰。
    • • **Fediverse 覆盖范围:**在您自己的网站之外发布您的博客文章,并通过 ActivityPub 联合与更广泛的受众建立联系。
  • 资源和支持:
    • • WriteFreely 得到了用户和开发者社区的支持。
    • • 该平台提供文档、支持论坛和使用 WriteFreely 创建的博客示例。
    • • 对于那些不愿意自行托管的用户,可以使用托管托管选项。

writefreely.org/