llm
14篇文章 · 0订阅
  • 用于 MLOps 的最佳训练编排工具（Aporia）
    什么是训练编排？ 训练编排使数据科学和机器学习团队能够运行高度并发、可扩展和可维护的训练工作流。 使用训
    人工智能
    用于 MLOps 的最佳训练编排工具（Aporia）
  • 大模型微调实战（七）-基于LoRA微调多模态大模型
    随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。
    LLM
  • 大模型参数高效微调技术原理综述（七）-最佳实践、总结
    随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。
    后端
  • 大模型量化技术原理-AWQ、AutoAWQ
    近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模
    LLM
  • 大模型量化技术原理-LLM.int8()、GPTQ
    近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模
    LLM
  • 大模型量化技术原理-SmoothQuant
    近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模
    LLM
  • 大模型量化技术原理：FP6
    近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变
    LLM
  • 大模型量化技术原理：FP8
    近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模
    LLM
  • 大模型量化技术原理：KIVI、IntactKV、KVQuant
    近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变
    LLM
  • 大模型推理优化技术-KV Cache量化
    近两年大模型火出天际；同时，也诞生了大量针对大模型的优化技术。本系列将针对一些常见大模型优化技术进行讲解。
    后端