构建一个 8x RTX 3090 LLM 服务器，用于运行具有张量并行性的 Meta 的 Llama-3.1 405B 模型
- • 奥斯曼正在他的地下室构建一个强大的人工智能服务器来运行大型语言模型 (LLM)。
- • 他选择这个项目是因为他需要比他当前设置提供的用于 LLM 实验的更多的 VRAM。
- • 该服务器基于 Asrock Rack ROMED8-2T 主板构建，该主板具有 7 个 PCIe 4.0x16 插槽和 128 个 PCIe 通道、AMD Epyc Milan 7713 CPU（64 核/128 线程）、512GB DDR4-3200 3DS RDIMM 内存和 8 个 RTX 3090 GPU，并配备 NVLink 以实现高速数据传输。
- • Osman 的博客系列将涵盖构建和使用该服务器的整个过程：
- • 物理组装系统（钻孔、电气工作）的挑战。
- • 为什么 PCIe 转接卡会出现问题以及如何使用 SAS 设备适配器、重驱动器和重定时器实现可靠的 PCIe 连接。
- • 有关 NVLink 速度、PCIe 通道带宽以及 Nvidia 对 P2P 原生 PCIe 带宽的软件限制的技术细节。
- • 对支持张量并行的不同推理引擎（TensorRT-LLM、vLLM、Aphrodite Engine）进行基准测试。
- • 培训并微调您自己的法学硕士学位。
- • 奥斯曼回顾了技术的快速进步，将 2004 年 60GB 硬盘的兴奋与如今 VRAM 容量超过 3 倍的兴奋进行了比较。他认为这个项目是对未来技术进步做出贡献的一种方式。
ahmadosman.com/blog/servin…
开源 Kubernetes 平台可为 SaaS 应用降低 90% 的成本并提升 30% 的性能
- • SaaS 产品公司 Mynewsdesk.com 成功将其平台从 Heroku 迁移到基于 Kubernetes 的解决方案。
- • 这次迁移带来了显著的改进：
- • 运营成本减少 90%。
- • 性能提升30％。
- • 通过缩短部署时间和提供更易访问的工具来增强开发人员体验。
- • Mynewsdesk 认识到这一成就的价值，开源了他们的整个 Kubernetes 堆栈。
- • 这意味着其他组织可以利用他们的工作来获得类似的利益，并可能在几天而不是几个月内完成迁移过程。
- • 该计划名为“Reclaim the Stack”，鼓励开发人员控制他们的基础设施并享受现代云原生平台的回报。
- • 有兴趣采用 Mynewsdesk 解决方案的用户可以获得以下资源：
- • 全面的文档提供了有关实施和最佳实践的指导。
- • Discord 服务器提供了一个用于支持、讨论和协作的社区论坛。
reclaim-the-stack.com/
“Damn”是一个基于 Clojure 的实验性游戏引擎，它利用组件系统来表示实体和以 Clojure 向量表示的副作用
- • 核心理念： “damn”引擎旨在通过使用基于组件的系统来简化视频游戏开发。可以将其想象成用乐高积木搭建 - 每个块（组件）都有特定的属性，你可以将它们组合起来创建复杂的实体（如角色或对象）。
- • 数据结构：
- • 整个游戏状态存储在一个名为的 Clojure 原子中
app/state。
- • 游戏中的实体也被表示为嵌套在这个主原子内的原子。这种方法反映了我们的宇宙的结构——一切都相互关联，并包含在一个更大的整体中。
- • 组件： 组件是简单的 Clojure 向量，遵循模式
[keyword value]。例如，[:tx/foo param]表示具有类似交易效果的组件（类似于 Datomic 的结构）。
- • 副作用： 引擎通过组件处理副作用（改变游戏状态的操作）。这使逻辑井然有序且易于理解。
- • 配置： 所有游戏内容（包括设置和数据）都存储在一个名为的文件中
resources/properties.edn。此文件使用 Malli 模式进行验证，确保数据完整性。
- • 开发工作流程：
- • 该引擎利用开发服务器（
lein dev），当检测到代码更改时自动刷新应用程序。
- • 错误处理设计为对开发人员友好 - 您可以修复错误并重新启动游戏，而无需重新启动整个 JVM。
- • 资产： 该项目使用来自各种来源的商业许可资产：
- • 许可： 核心引擎代码根据 MIT 许可进行授权，允许自由使用、修改和分发。
github.com/damn/core
乳腺癌新辅助溶瘤病毒治疗的非常规案例研究
- • 复发性乳腺癌的溶瘤病毒疗法 (OVT)： 这项研究探索使用转基因麻疹病毒 (MV) 作为初始治疗后复发的三阴性乳腺癌的实验性治疗方法。
- • 新辅助疗法：在手术_前_将 MV 直接注射到肿瘤中，旨在缩小肿瘤并刺激患者的免疫系统对抗任何残留的癌细胞。
- • 使用麻疹病毒的理由： 之所以选择 MV，是因为它通常是安全的，并且已被证明能够引发强大的抗肿瘤免疫反应。
- • 三级淋巴结构 (TLS)： 肿瘤内 TLS 的存在被认为对于有效的抗肿瘤免疫至关重要，因为它们充当免疫细胞激活和协调的枢纽。
- • 伦理考虑： 作者承认医学中自我实验的伦理复杂性，强调当医生对自己进行实验性治疗时需要仔细考虑和审查。
- • 支持证据： 文中引用了研究成果，证明了 OVT 治疗各种癌症（包括乳腺癌）的潜力。文中还提到了使用麻疹病毒治疗癌症及其诱导针对肿瘤抗原的强烈 T 细胞反应的能力的研究。
www.mdpi.com/2076-393X/1…
AlphaXiv 让研究人员和爱好者可以逐行讨论 arXiv 论文
- • 它是什么： alphaXiv 是一个旨在促进直接在 arXiv 论文基础上进行公开讨论的平台。您可以将其视为一个协作空间，研究人员、爱好者和任何感兴趣的人都可以参与有关前沿研究的高质量对话。
- • 工作原理： 只需将任何 arXiv 论文的 URL 中的“arxiv.org”替换为“alphaxiv.org”。这将带您进入该论文的 alphaXiv 版本，您可以在其中逐行发表评论、提出问题并分享您的见解。
- • 可访问性： alphaXiv 向所有人开放，无论其背景或专业水平如何。无论您是经验丰富的研究人员还是刚刚开始探索某个特定领域，都欢迎您加入讨论。
- • 特征：
- • 逐行评论： 关注论文的特定部分并提供详细的反馈。
- • 私人笔记： 注释论文以供自己参考，但不公开分享。
- • 作者互动： 一些作者在 alphaXiv 上活跃，允许直接对话和澄清。
- • 社区焦点： alphaXiv 强调尊重和建设性的学术讨论。他们的社区准则确保了高标准的讨论。
- • 团队和顾问： alphaXiv 是由一群热衷于让研究成果更容易获得的学生开发的。他们得到了一支顾问团队的支持，这些顾问都是人工智能、计算机科学和教育领域的领军人物。
www.alphaxiv.org/
LibrePythonista 允许在 LibreOffice 电子表格中运行 IPython 代码
- • 它是什么： LibrePythonista 可让您直接在 LibreOffice Calc 电子表格中运行交互式 Python 代码。您可以将其视为将迷你 Python 环境嵌入到您的电子表格软件中。
- • 主要优点：
- • 数据分析强大引擎： 利用流行的 Python 库（如 Pandas（用于数据处理）和 Matplotlib（用于创建可视化））的功能，而无需离开熟悉的电子表格环境。
- • **本地执行：**所有 Python 代码都在您自己的计算机上运行，由于您的数据永远不会离开您的系统，因此解决了隐私问题。
- • 工作原理：
- • Python 公式： 您可以使用函数将 Python 代码直接写入 Calc 单元格，
lp()以便与电子表格数据进行交互。
- • 例如：
lp("A1")引用单元格A1，并lp("B1:C5")引用从B1到C5的范围。
- • 命名范围： 您还可以在电子表格中使用命名范围。例如，
lp("MyRange", headers=True)访问名为“MyRange”的命名范围，同时将第一行视为列标题。
- • **处理空行：**此
collapse=True参数可帮助管理数据范围末尾有空行的情况。这可确保在添加新数据时，Python 计算会自动调整以包含该数据。
- • 代码编辑： LibrePythonista 提供了专用的代码编辑器，用于在 Calc 中优化和调试您的 Python 公式。
- • 入门： 要使用 LibrePythonista：
- 1. 选择电子表格中的一个单元格。
- 2. 转到“LibrePy”菜单并选择“插入 Python”。 （您也可以使用快捷键 Shift+Ctrl+Alt+L 或单击工具栏按钮。）
github.com/Amourspirit…
