boldsymbol

首页 > TAG信息列表 > boldsymbol

多元统计分析-矩阵复习

矩阵代数特别性质： 1. 若 $A_{p\times q}~,~B_{q\times p}$ , 则 \[\left|\boldsymbol{I}_{p}+\boldsymbol{A B}\right|=\left|\boldsymbol{I}_{q}+\boldsymbol{B} \boldsymbol{A}\right| \]证明: \[\begin{array}{c} \because\left[\begin{array}{cc} \boldsymbo

反向传播算法

在介绍反向传播算法前，先看看矩阵微分的概念。矩阵微积分为了书写简便，我们通常把单个函数对多个变量或者多元函数对单个变量的偏导数写成向量和矩阵的形式，使其可以被当成一个整体处理．标量关于向量的偏导数对于 $M$ 维向量 $\boldsymbol{x} \in \mathbb{R}^{M}$ 和函数

深度学习：循环神经网络（上）

1、语言模型语言模型（language model）是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看作一段离散的时间序列。假设一段长度为$T$的文本中的词依次为$w_1, w_2, \ldots, w_T$，那么在离散的时间序列中，$w_t$（\(1 \leq t \leq T

惩罚函数法

基本思想：通过构造惩罚函数将约束问题转化为无约束问题，进而用无约束最优化方法求解。主要分为内点法和外点法。注意：罚函数法对目标函数的凹凸性没有要求，且结合启发式算法（如遗传算法、蚁群算法、禁忌搜索等）几乎可以求解任何问题。因为启发式算法无需目标函数的梯度等信息。一、

雑用 2

平面旋转。应该是比较好理解的版本。我们对一个平面（逆时针）旋转 $\beta$ 度，无非就是对每一个有意义的向量 $\boldsymbol a = (x, y)$ 进行旋转。不妨考察单位向量 $\boldsymbol e = (\cos \alpha, \sin \alpha)$，令 $\boldsymbol a = k \cdot \boldsymbol e$，则由三角恒等变

论文解读（PPNP）《Predict then Propagate: Graph Neural Networks meet Personalized PageRank》

论文信息论文标题：Predict then Propagate: Graph Neural Networks meet Personalized PageRank论文作者：Johannes Gasteiger, Aleksandar Bojchevski, Stephan Günnemann论文来源：2019,ICLR论文地址：download 论文代码：download 1-Abstract 　　本文主要将 PageRank 算法引入到

隐私保护集合求交

隐私保护集合求交隐私保护集合求交（Private Set Intersection,PSI）是这样的一类问题：有两个参与方P1、P2分别拥有两个集合X、Y，现在这两个参与方想要在不透露彼此的各自拥有的集合信息的前提下即P1不知晓Y的任何额外信息，P2也不知晓X的任何额外信息，求得X与Y的交集。尽管可以利用通用MP

GAN 学习笔记

GAN 摘要我们提出了一个通过对抗过程估计生成模型的新框架，其中我们同时训练两个模型：一个捕获数据分布的生成模型 G，以及一个估计样本来自训练数据而不是而不是G生成的的概率的判别模型 D。G 的训练过程是最大化 D 出错的概率。这个框架对应于一个极小极大的两人游戏。在任意函数 G

论文解读（AGC）《Attributed Graph Clustering via Adaptive Graph Convolution》

论文信息论文标题：Attributed Graph Clustering via Adaptive Graph Convolution论文作者：Xiaotong Zhang, Han Liu, Qimai Li, Xiao-Ming Wu论文来源：2019, IJCAI论文地址：download 论文代码：download 1 Introduction 　　关于GNN 是低通滤波器的好文。 2 Method 2.1 Graph Co

二范数的平方

　　假设有两个向量 $\boldsymbol{a}$ 和 $\boldsymbol{b}$ ，则有: 　　　　$\begin{aligned}\|\boldsymbol{a}-\boldsymbol{b}\|^{2} &=(\boldsymbol{a}-\boldsymbol{b})^{T}(\boldsymbol{a}-\boldsymbol{b}) \\&=\left(\boldsymbol{a}^{T}-\boldsymbol{b}^{T}\righ

聚类

聚类 clustering 形式化地说，假定样本集 $D=\left\{\boldsymbol{x}_{1},\boldsymbol{x}_{2},\ldots,\boldsymbol{x}_{m}\right\}$ 包含 $m$ 个无标记样本，每个样本 $\boldsymbol{x}_{i}=\left(x_{i 1} ; x_{i 2} ; \ldots ; x_{i n}\right)$ 是一个 $n$ 维特征向量，则聚类算

维特比(Viterbi)算法，近似算法序列过长导致出现0概率而使程序运行失败的处理方法

原始Viterbi算法 (1) 初始化 (初始状态向量乘以第一个观测 $ o_{1} $ ) : \[\begin{array} \delta_{1}(i)=\pi_{i} b_{i}\left(o_{1}\right), \quad i=1,2, \cdots, N \\ \psi_{1}(i)=0, \quad t=1,2, \ldots, N \end{array} \](2) 递推，对于 $ t=2,3, \ldots, T $ \[\delta_{t}(i)

矩阵带来了什么

矩阵带来了一种代数思维研究几何的方法。相比数学，矩阵更贴近物理。让我们从定义出发吧。向量定义为 \[\left[ \begin{matrix} a_1\\ a_2\\ \vdots\\ a_n \end{matrix} \right] \]$\R^3$ 中我们常常规定基向量 \[\boldsymbol e_1= \left[ \begin{matrix} 1\\ 0\\ 0 \end{matrix

多元统计分析笔记 Part01 To be Continued

Written with StackEdit. 教材与参考书多元统计分析线性代数, 概率论, 数理统计线性代数知识复习 MIT Gilbert Strang 教授的"经典"! and "网红"!线性代数课程: MIT 18.06: Linear Algebra. 课程主页: The course webpage is here. 样本数据矩阵/样本资料矩阵在研究

斯坦福NLP课程 | 第6讲 - 循环神经网络与语言模型

论文阅读 Dynamic Graph Representation Learning Via Self-Attention Networks

4 Dynamic Graph Representation Learning Via Self-Attention Networks link：https://arxiv.org/abs/1812.09430 Abstract 提出了在动态图上使用自注意力 Conclusion 本文提出了使用自注意力的网络结构用于在动态图学习节点表示。具体地说，DySAT使用（1）结构邻居和（2）历史节点表示上的自

2.8 Eigenvalues and Eigenvectors 阅读笔记

特征值和特征向量 reference的内容为唯一教程，接下来的内容仅为本人的课后感悟，对他人或无法起到任何指导作用。 Reference Course website: Eigenvalues and Eigenvectors | Unit II: Least Squares, Determinants and Eigenvalues | Linear Algebra | Mathematics | MIT OpenCo

2.9 Diagonalization and Powers of A 阅读笔记

矩阵对角化, 乘幂和一阶系统 reference的内容为唯一教程，接下来的内容仅为本人的课后感悟，对他人或无法起到任何指导作用。 Reference Course website: Diagonalization and Powers of A | Linear Algebra | Mathematics | MIT OpenCourseWare and Markov Matrices; Fourier Seri

观测概率为多维高斯分布时对两(多)类MAP决策边界的分析

设观测概率为 $k$ 维高斯分布 $\displaystyle p(\boldsymbol x\mid C_i)={1\over (2\pi)^{k\over 2}|\Sigma_i|^{1\over 2}}\exp[-{1\over 2}(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu_i)]$ 则代入 MAP 分类器得到，决策边界为：\(\d

第2章图论基础

简介本章将主要介绍以下内容：图的表示图的性质复杂图图上的计算任务图的表示图的定义：一个图可以被表示为$G = \{V, E\}$，其中$V = \{v_1, \dots, v_N\}$是大小为$N = |V|$的节点集合，$E = \{e_1, \dots, e_M\}$是大小为$M$的边的集合。注意：在没有特殊说明的情

矩阵代数中的一些结果

文章目录方阵的迹矩阵的分块求逆矩阵的正定与负定向量和矩阵的范数矩阵的微分运算矩阵函数对标量的导数标量函数对矩阵的导数矩阵函数对向量的导数几个常用的矩阵微分公式其它例子矩阵的伪逆其它大写字母表示矩阵（如 A

厄米特矩阵（Hermittan Matrix）

1.厄米特矩阵（Hermittan Matrix） 1.1 共轭转置向量的共轭转置矩阵的共轭转置 1.2 复向量的长度实向量的长度 x T x

论文解读（GAN）《Generative Adversarial Networks》

Paper Information Title：《Generative Adversarial Networks》Authors：Ian J. Goodfellow, Jean Pouget-Abadie, M. Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron C. Courville, Yoshua BengioSources：2014, NIPSOther：26700 Citations, 41 ReferencesCode：Dow

PyTorch学习笔记（六）：正向传播、反向传播、数值稳定性和模型参数

PyTorch学习笔记（六）：正向传播、反向传播、数值稳定性和模型参数正向传播、反向传播和计算图正向传播正向传播的计算图反向传播训练深度学习模型小结数值稳定性和模型初始化衰减和爆炸随机初始化模型参数PyTorch的默认随机初始化Xavier随机初始化小结参考正向传播、反

PyTorch学习笔记（四）：多层感知机

PyTorch学习笔记（四）：多层感知机多层感知机隐藏层激活函数sigmoid函数tanh函数多层感知机小结 PyTorch从零开始实现多层感知机获取和读取数据定义模型参数定义激活函数定义模型定义损失函数训练模型小结 PyTorch模块实现多层感知机定义模型读取数据并训练模型小结参考多