深度学习实战

一、前言 在之前的文章中，我们讨论过图像修复的方法。具体见：如何去除图片马赛克？ 这里回顾一些关键的内容。这里我们要考虑几个问题： 能否去除马赛克？ 去除马赛克实际在做什么？ 如何实现去除马赛克？ 首

一、前言 在前面两篇，我们讨论了数字人的基本原理。并实现了Dataset类、基于Wav2Lip的唇形同步模型，以及训练代码。如果还未阅读，可以跳转阅读： 数字人原理详解--从头开始实现数字人（一） 数

一、前言 在上一篇，我们实现了数字人人脸识别、音频特征提取、数据预处理、数据集类等代码。如果还没有阅读可以先阅读《数字人原理详解--从头开始实现数字人（一）》 这里我们简单回顾一下数据集类的返回内容。

一、前言 数字人是目前比较火的一个概念，在直播带货、新闻播报、授课等方面都有应用。目前实现数字人主要有建模和生成两种方式。前者控制数字人嘴型、肢体动作等，但是人物不够真实。后者更专注嘴型的控制，效果会

一、前言 目前大模型的微调方法有很多，而且大多可以在消费级显卡上进行，每个人都可以在自己的电脑上微调自己的大模型。 但是在微调时我们时常面对一个问题，就是数据集问题。网络上有许多开源数据集，但是很多时

一、前言 针对自然语言处理方向，以前要开发一个情感分析、命名实体识别之列的应用是非常麻烦的，我们需要完成收集数据、清理数据、构建模型、训练模型、调优模型等一系列操作，每一步都非常耗时。如今大语言模型（

一、前言 知识库问答是一种应用广泛的系统，可以在许多领域发挥重要作用。不过以往的系统通常是基于固定规则、相似度检索或者seq2seq模型，这类系统开发成本较高、修改也较为麻烦，尤其在数据准备过程需要耗

自ChatGPT出现后，Yann LeCun就一直抨击GPT无法成为AGI的最终形态，其原因在于文本只是人类智能的一种载体，有许多东西是文本不能表示的，也无法从GPT的训练中理解

在许多视频对话软件中，都可以选择视频的背景。其原理就是将人像抠出来，把非人像部分替换。而大多数软件是切换图片背景，或者是动图背景。利用图像分割技术，可以实现更复杂的背景替换，最终结果就像电影

在AIGC领域频繁出现着一个特殊名词“LoRA”，听上去有点像人名，但是这是一种模型训练的方法。LoRA全称Low-Rank Adaptation of Large Language Model

长久以来，CNN一直是CV领域最受欢迎的网络，在NLP也有CNN的一席之地。限于CNN上下文的能力，RNN系列网络在长文本任务中要比CNN更受欢迎，但是RNN系列网络也一直存在性能问题。

图像分割是计算机视觉中非常重要且基本的任务，在需要应用中都需要使用到图像分割算法。包括自动驾驶、修图、电影特效等。现在有许多成熟的图像分割算法，对于一些简单图像可以使用传统图像处理方法完成分

在以前，AI被认为是与艺术无关，AI也无法创作艺术作品。而GAN家族、风格迁移、Diffusion模型的出现，让AI也能创作有艺术风格的图像。其中最简单的就是风格迁移。风格迁移是一种把图像A

自2012年起，人工智能快速发展，频繁出现在大众视野。从Alpha GO到ChatGPT，人工智能已成为不可阻挡的发展趋势。但是由于神经学习的黑盒性质，导致神经网络难以解释，且难以控制。即使

对图像不了解的人时常妄想去除马赛克是可以实现的，严格意义来说这确实是无法实现的。而深度学习是出现，让去除马赛克成为可能。 为了理解去除马赛克有多难，我们需要知道马赛克是什么。

图像识别方法有很多，包括传统的逻辑回归、Adaboost、卷积神经网络、Transformer等。现代图像识别算法的准确率已经超过人类的水平了，但是关于这些算法如何完成图像识别却仍是一个问题。

首先需要知道根据文本搜索图片具体是什么问题，这里可以有两个层面。第一个则是图片中包含的文本内容，这个可以用OCR识别提取出来。第二个则是深层次的对图片描述的文本，比如红色的狗、跑步的猪、骑猪的人。

在许多搜索引擎中，都内置了以图搜图的功能。以图搜图功能，可以极大简化搜索工作。今天要做的就是实现一个以图搜图引擎。

最近受邀参与了亚马逊云科技【云上探索实验室】活动，体验了一下Amazon SageMaker平台，训练了一个人脸的自编码器。对比本地的训练时间，速度提升比较明显。

AutoEncoder的目的是对输入进行编码，希望这个编码能够很好的还原原有数据。当AutoEncoder训练完成后，我们可以对任意的图像进行编码，这样就可以用一个低维的向量表示图片。