深度学习

学习矢量量化（Learning Vector Quantization，LVQ），是一种用于模式分类的有监督的学习算法，也是一种结构简单、功能强大的有监督的神经网络分类算法。主要的类型有LVQ1、LVQ2、LVQ3，其中LVQ2的应用最广。它通过在自动学习的过程中进行及时的微调，...

维度诅咒是指当数据集的维度增加时，数据将变得极其稀疏，使得对于聚类、离群点分析等关心的关于两点的距离、密度等信息变得失去意义，而且子空间的组合也会呈指数增长。如果我们在一个单位平面（1*1的正方形）中随机选择一个点，它距离边界的距离小于0.001的概率只有大约0.4%；但是在一个...

n∗n的矩阵，λ是A的一个特征值，x为A对应λ的特征向量。根据求出的特征值和特征向量，我们就可以将矩阵A分解，将其表达为另一种形式。w1,w2,……,wn。n∗n的矩阵。WT=W−1将其称为酉矩阵。比如在之前的线性回归算法中，如果X是这样的方阵，我们就可以求出它的闭式解。但是如果...

最近在学习数据挖掘的数据预处理一章中碰到了小波变换，之前并没有学习过有关信号处理的东西，所以参考网上的资料，对其做一个简单的了解，后面如果用得到，再做深入的学习。 基（basis）：在线性代数中我们都曾学过，它表示空间中的一系列线性独立的向量，空间中的其他向量都可以通过它的线性组...

1. 下面我们通过一个例子具体看一下：假设靶的中心是样本的真实值，左图镖的位置距离中心远，表示偏差大，但是位置相对集中，则方差较小；右图镖的位置相对左图距离中心更近，表示偏差较小，但是位置分散，表示方差较大。相对于前面的公式表示，我们用图像化表示后就可以很直观的看到偏差、方差和噪...

字典学习机器学习——字典学习/稀疏编码学习笔记Dictionary Learning(字典学习、稀疏表示以及其他)Sparse dictionary learning

Fashion Mnist数据集是和前面的MNIST数据集一样一个入门的数据集 ，它包含70000张图像，有10个类别。具体可见：https://github.import matplotlib.print (tf.fashion_mnist = keras.datasets.(...

四个文件中，前两个是训练图像，一共60000张，后两个是测试图像，一共10000张。# form tensorflow.examples.tutorials.from tensorflow.examples.tutorials.mnist = input_data.在mnist....

1. 人工智能的长期目标是后天自主学习，并且在一些具有挑战性的领域中实现超人的算法。最近，AlphaGo成为第一个在围棋中击败人类世界冠军的程序。AlphaGo的树搜索使用深度神经网络来评估棋局和选定下棋位置。神经网络是利用对人类专业棋手的移动进行监督学习，同时通过自我博弈进行强...

1. 2. 使用值网络来评估棋盘的布局，以及使用策略网络来选择每一次落子。这些深度神经网络在基于人类棋手的比赛的数据，通过对有监督学习的一种新的组合和自我对弈的强化学习来实现的。不使用前向搜索，而是使用蒙特卡洛搜索树进行成千上万次随机自我对弈的模拟游戏，同样引入了一种结合了蒙特卡...

作为一个多学科交叉的融合学科，机器学习涉及到包括计算机、矩阵分析、概率统计、优化理论等在内的多门学科知识，它让计算机能够在没有被显示编程的情况下拥有学习的能力。机器学习算法能够自动地从数据中发现内在的知识和规律，并根据这些规律对未知数据可能产生的结论进行推测。几乎所有由计算机完成...

  对于机器学习中的问题，有一部分可以通过数学推导的方式直接得到用公式表达的解析解，但对绝大多数的问题来说，解析解是不存在的，需要使用迭代更新的方法求数值解。然而实数的精度是无限的，计算机能够表达的精度是有限的，这就涉及到许多数值计算方法的问题。1. 上溢和下溢：由于计算机表达实...

  概率论是用来描述不确定性的数学工具，很多机器学习算都是通过描述样本的概率相关信息来推断或构建模型；信息论最初是研究如何量化一个信号中包含信息的多少，在机器学习中通常利用信息论的一些概念和结论描述不同概率分布之间的关系。1. 随机变量: 可以随机取不同值的变量，在机器学习算法中...

  线性代数是一门被广泛运用于各个工程技术学科的数学分支，利用线性代数的相关概念和结论，可以极大的简化机器学习里相关公式的推导和表述。1. x=1。 xi​。 1×n的矩阵。 A，向量和矩阵可以分别看作是一维和二维的张量。>>> np.array([[ 0., 0., 0., 0...

在根据具体的问题实现一个模型后，我们需要对它的性能进行度量，但是在对比不同模型的能力时，使用不同的性能度量方式往往会导致不同的评判结果，这意味着模型的好坏是相对的。所以我们需要根据具体的需求，选择合适的度量方式。下面给出几种模型评估中常用的度量方式，希望大家可以有一个基本的了解。...

“退火（Annealing）”是金属铸造的一个过程，它是指金属首先在高温下熔化，然后让它冷却下来直到它成为固态。因此，在退火的物理过程中，温度很高的材料的能量逐渐丢失，最终达到最小能量的状态。一般情况下，大多数物理过程是从高温状态转换到低温状态，但是仍然有比较小的概率，它可以跨越...