AI小精灵

定期写点数学。类域论的中心定理Kronecker-Weber，是说abelian extension可嵌入cyclotomic extension，但没给出具体嵌入。其实，可具体研究。Kronecker-Weber可从Stickelberger证，Stickelberger可从…

之前在知乎写过一个宇宙层面的推理链条，类似"黑暗森林"的那种"纯靠推理猜测宇宙真相"，也许能对人类和宇宙的目的给出一种解释。在这里略作整理，欢迎大家讨论。 【公设1】宇宙遵循量子力学。 例如，宇宙有 Lagrangian，遵循路径积分。或者简化些，宇宙有波函数（忽略 t 在宇宙…

初看很厉害，打个比喻，似乎进展已经到了 twin prime conjecture 的程度了（自张益唐以后的程度）。当然，现在一群数论猜想都卡在最后的程度，所以也说不定最后需要多久。 细看感觉希望不大，用的都是传统的解析数论估计，还没用上 deep results。群友说 On…

模型的性能够用就行。 在数据集训练到天上，也不代表在实际中够用。因此我不大关心模型在训练时的性能。看真实测试的结果才有用。 了解实际客户需求，例如某些角度是客户接受度最高的。单纯的"高性能算法"不一定有用，需要有好的展现方式和场景。我们都知道现在的 AI 常常是"先有算法后找需…

写嵌入式用 C，训练神经网络用 Python，电脑运行神经网络用 C++，后端代码用 node，微信小程序用 JS，需要速度的脚本任务用 C#，可视化用 Mathematica，从前写 app 还需要 objC 和 Java ...... 所以，在此构想一种新编程语言 Basi…

检验：VGG16 = 30 GOPS，1080Ti FP32 在 batch 16 做 inference 是 388 image/s，相当于 11.6T FP32（因为有 Winograd 所以比理论值高）。 Naive 做法是 im2col + gemm。更好做法是看情况用…

变分自编码器 VAE 的常见错误理解，是认为 VAE 模糊。 实际 VAE 不模糊，真正的 VAE 输出 有很多噪音（由于常用的 Gaussian 模型是每点独立，因此噪音也是每点独立的噪音）。 许多论文显示的模糊图像，是 Gaussian 情况下的"平均图像" ，并非真正的输…

本专栏之前介绍了如何最快推导出 VAE，在此介绍 VAE 在 2017/18 年的新进展。 1. VAE 的“编码坍塌” 如果思考过 VAE 的原理，会发现它有一个矛盾之处：如果每个 的 的每维都是 ，那么这个 实际就没有编码能力，因为不同 的编码都一样。网络最终会试图忽略 ，…

很多地方的推导太长了。 写成 MLE，比 KL 散度少一个常数，形式更简单。没必要时刻写出 KL 散度。 可以 1 步推导出 VAE。 恭喜，推导出了 VAE。 加 10 秒钟，把它变成更常见的样子。 还有假设 是固定 stdev 的 Gaussian 以造出 MSE。 就和实…