Marten

利用AI集群，使机器学习算法更好地从大数据中训练出性能优良的大模型是分布式机器学习的目标。为了实现该目标，一般需要根据硬件资源与数据/模型规模的匹配情况，考虑对计算任务、训练数据和模型进行划分，进行分

从三方面看嵌入在 AI 框架中的深度学习编译器：从 AI 框架演进看深度学习编译器、深度学习编译技术面临的挑战、商汤 SenseParrots 的深度学习编译方案

大家好，我是极智视界，本文来谈谈 MLC-LLM 让语言大模型运行在任何设备上。希望我的分享能对你的学习有一点帮助。

过参数化主要是指在训练阶段，在数学上需要进行大量的微分求解，去捕抓数据中的微小变化信息，一旦完成迭代式的训练之后，网络模型推理的时候就不需要这么多参数。而剪枝算法正是基于过参数化的理论基础而提出的。

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造，自2019年1月出版以来已重印3次。 目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派…

模型压缩算法旨在将一个大模型转化为一个精简的小模型。工业界的模型压缩方法有：知识蒸馏、轻量化模型架构、剪枝、量化。

前言 工作中越来越重度使用k8s，想进一步了解k8s的工作原理。一方面学习业界优秀系统设计思路，另一方面多了解也可以提高日常工作效率，比如和k8s开发的沟通效率等。今天第一步：自己着手搭建一个k8s服

刘书浩，中国移动DBA，负责“移动云”业务系统的数据库运维、标准化等工作；擅长MySQL技术领域，熟悉MySQL复制结构、Cluster架构及运维优化；具有自动化运维经验，负责“移动云”数据库管理平台的开发和部署。 过去两年，我主要从事“移动云”数据库的运维工作，有幸见证了“移…

Percona XtraDB Cluster (简称 PXC) 是 Percona 公司开源的实现 MySQL 高可用的解决方案。它将 Percona Server 和 Percona XtraBackup 与 Galera 库集成，以实现多主同步复制。和 MySQL 传统的异…