首页 > TAG信息列表 > Lipschitz
Spectral Normalization 谱归一化-原理及实现
// 一、谱范数及其计算方法 见我的这篇blog 谱范数求解方法-奇异值分解&幂迭代法 // 二、谱归一化提出背景 谱归一化由论文《Spectral Normalization For Generative Adversarial Networks》论文链接 提出。 原生 GAN 的目标函数等价于优化生成数据的分布和真实数据的分布之间的Limitations of the Lipschitz constant as a defense against adversarial examples
目录概主要内容 Huster T., Chiang C. J. and Chadha R. Limitations of the lipschitz constant as a defense against adversarial examples. In European Conference on Machine Learning and Data Mining (ECML PKDD), 2018. 概 本文是想说明现有的依赖Lipschitz常数的以获Lipschitz连续
Lipschitz（利普希茨）连续定义如下：有函数f(x)，如果存在一个常量K，使得对f(x)定义域上（可为实数也可以为复数）的任意两个值满足如下条件：|f(x1)−f(x2)|≤|x1−x2|∗K那么称函数 f(x)满足Lipschitz连续条件，并称 K为f(x)的Lipschitz常数。 用大白话说就是：存在一个实数K，使得对于函数f（x）上的每《周志明 - WGAN & Lipschitz》
该视频包括WGAN以及Lipschitz的各种实现方式的介绍。先导知识列表：神经网络、深度学习、GANs、Lipschitz 在训练的初始阶段，两个分布之间基本上是完全不重叠的进一步提升 GAN 的技术 Tips for Improving GAN
Wasserstein GAN (WGAN) 在一些情况下，用 JS散度来衡量两个分布的远近并不适合： 1. 数据是高维空间中的低维流形（manifold），两个分布在高维空间中的 overlap 少到可以忽略。 2. 由于 sampling 的局限性，即使两个分布之间真的存在一定的 overlap，但如果采样的数据不够多的话，