人工智能框架前沿技术分享

本文介绍了集成学习的 MoE 方法。具体来说：集成学习的一种直观方法包括将任务划分为子任务并在每个子任务上训练专家；MoE 是一种集成学习方法，旨在使用专家模型在子任务方面明确解决预测建模。

本文出自商汤 SenseParrots 内部技术分享中“实用算法及工程经验”专题下的一次分享。 从  （伪）随机性 谈起，例举生活中对随机性的应用，以此引入随机数生成器，并逐渐展开～

在过去的几年里，深度神经网络在许多具有挑战性的应用中取得了巨大的成功，网络模型变得越来越强大。本文神经网络的结构搜索和模型优化进行探讨～

本篇文章介绍如何支持海量数据点的训练曲线可视化，主要从以下两个方面展开： 海量数据点的训练曲线可视化对于观察和开发调试机器学习训练的意义以及实现支持海量数据可视化的技术实现思路。

AI 框架基础技术之数据读取：本文对在实际业务落地中造成模型速度差和训练精度低的元凶之一——数据读取做了一个总述型的介绍，讲讲数据读取中不容小觑的技术点。

深度学习的快速发展，凸显了其在人工智能领域的重要地位。特别是在计算机视觉领域，深度神经网络广泛应用于图像分类、目标检测、语义分割、姿态检测、3D视频等任务，模型精度大大超越了传统....

本文介绍了AutoML之超参数优化及提前停止算法，希望能通过本次技术分享让大家了解到更多的AI框架前沿技术～

本文将针对模型部署流程中导致精度下降的头号疑犯——模型量化进行分析，带大家一探量化芯片精度损失的幕后真相～

商汤 SenseParrots 与你分享模型并行，包括：模型并行的动机和现状、模型并行的原理、数据并行和模型并行的结合。

商汤 SenseParrots 与你分享自动求导所支持的其它使用方式，包括：自动求导 Mode、backward_hook、计算图保留、求取高阶导等。

商汤 SenseParrots 与你分享深度学习框架自动求导的实现方式，具体包含自动求导机制介绍与 SenseParrots 中自动求导的实现。

商汤 SenseParrots 与你分享对长尾算子编译支持中的核心 IR 转换，包括主流 IR stack 探讨、计算型算子 IR 转换和访存型算子 IR 转换。

本文介绍超参数优化算法和提前停止算法，揭示如何利用超参数优化算法替代人工，自动地在大规模搜索空间中高效地寻找到最佳配置，以及如何结合提前停止算法在搜索成本和搜索结果之间做到最佳的平衡。

模型转换是模型部署的重要环节之一。商汤 SenseParrots 与你分享深度学习框架下的模型转换：意义、技术细节、端到端的模型转换。

商汤 SenseParrots 介绍一种以函数为单位的即时翻译技术，该技术可以在保持算法灵活表达的基础上，对特定函数进行一定的静态化，以提升其执行效率。

商汤 SenseParrots 与你分享模型部署概览。模型部署需要考虑部署场景、部署方式、模型的优化指标，以及如何提高吞吐率和减少延迟等。

在深度学习编译器优化工作中，对多层 for 循环算子的优化十分重要。本篇文章介绍了一种优化算法——多面体模型算法，并且以优化简单的两层循环代码为例，详述了该算法的思想及工作流程。

相比普通的分布式训练，大规模训练技术要考虑显存、通信和计算问题。商汤 SenseParrots 通过本次分享带大家一览这些问题，并且将会在之后的文章系列中对各个问题做出详细介绍。

商汤 SenseParrots 与你分享深度学习编译器中的 ANSOR 技术。ANSOR 可以对 AI 模型做自动优化，解决代码生成中的自动调度问题。