首页 > TAG信息列表 > mathbf
深度学习：优化算法
1 梯度下降 为什么梯度下降算法可以优化目标函数？ 考虑一类连续可微实值函数\(f: \mathbb{R} \rightarrow \mathbb{R}\)， 利用泰勒展开，我们可以得到 \[f(x + \epsilon) = f(x) + \epsilon f'(x) + \mathcal{O}(\epsilon^2). \]\[f(x - \eta f'(x)) = f(x) - \eta f'^2(x) + \mathcal深度学习：循环神经网络（下）
一些经典的RNN模型... 1、门控循环神经网络 ⭐ 门控循环神经网络可以更好地捕获时间步距离很长的序列上的依赖关系。 重置门有助于捕获序列中的短期依赖关系。 更新门有助于捕获序列中的长期依赖关系。 重置门打开时，门控循环单元包含基本循环神经网络；更新门打开时，门控循环单元可The Art of Prompting: Event Detection based on Type Specific Prompts
Motivation 之前的研究表明prompt可以提高模型在事件检测方面的性能，包括 使用特定structure 使用每种事件类型特定的query 原型 trigger 这些尝试启发对不同prompt效果的探究 Settings 作者在3种setting下做了实验： Supervised event detection Few-shot Event detection 两2 计算模型与复杂性类 | 密码协议课程笔记
1 计算模型1：图灵机 1.1 图灵机的定义 图灵机是一个简洁的计算模型。 我们可以将图灵机视为拥有一个无限长、可以双向移动的工作带的有限自动机。在初始阶段，工作带开始的几个格里包含输入，其余的为空白。在计算过程中的每个时刻，机器观察到它当前的控制状态以及它读写头所指位置的符Localized Graph Collaborative Filtering
目录概符号说明本文方法 Wang Y., Li C., Li M., Jin W., Liu Y., Sun H., Xie X. and Tang J. Localized graph collaborative filtering. 概 现在的推荐系统, 倾向于为每个 user, item 构建 embeddings. 但是和 NLP 中的问题不同, 推荐的数据往往是非常稀疏的, 所以这么做势必ItemRank: A Random-Walk Based Scoring Algorithm for Recommender Engines
目录概符号说明本文方法 Gori M. and Pucci A. ItemRank: a random-walk based scoring algorithm for recommender engines. In International Joint Conferences on Artificial Intelligence (IJCAI), 2007. 概 采用类似 PageRank 的方式进行推荐排序. 符号说明 \(\mathcal{ULearn Dijkstra For The Last Time
博客链接：https://www.codein.icu/learn-dijkstra/ Introduction Dijkstra 算法是用于求解非负权图单源最短路的经典算法。 市面上的大部分教程都仅仅停留在「如何实现 Dijkstra 算法」的层面。从应用角度，这当然无可厚非。但理解算法本身，也不失为一件乐事。 问自己这样几个问题： Di坐标下降法&块坐标下降法（CD&BCD）
前言 本文简要介绍两种非梯度优化方法：坐标下降法和块坐标下降法。二者用于求解无约束优化问题，属于直接法。 我一直没太搞清楚坐标下降和坐标轮换的区别，但感觉应该是一个东西？都是循环沿单一维度进行线性搜索直至函数收敛，只是看很多坐标轮换法的介绍文章，提到该方法无需知道目标函数通信中的数学优化| 分式规划求解和速率最大化问题（非凸）
前言 记录遇到的通信中的数学优化方法。本文所介绍的是分式规划（Fractional Programming，FP）在以和速率最大化为目标的波束赋形问题求解中的应用。其关键思想有二： 利用 Lagrange 对偶将 SINR 项提取至 log 函数外面； FP 中的 二次变换（Quadratic Transform）。 FP 在通信中的应用有很利用拉格朗日乘子法从最优化问题中推导出KKT条件
优化问题的一般形式 在优化问题中，我们将其一般形式定义为有约束（不等式约束、等式约束）的最小化优化问题，其具体定义如下： \[\begin{array}{ll} \min _{x} & f_{0}(x) \\ \text { s.t. } & f_{i}(x) \leq 0, \quad i=1, \ldots, m \\ & h_{i}(x)=0, \quad i=1, \ldots, p \end{arr一文看懂线性回归和非线性回归
一文看懂线性回归和非线性回归 1. 非线性回归 2. 线性回归 3. 总结1. 非线性回归我们首先来看维基百科中对于非线性回归的定义：In statistics, nonlinear regression is a form of regression analysis in whic论文解读（g-U-Nets）《Graph U-Nets》
论文信息 论文标题：Graph U-Nets论文作者：Hongyang Gao, Shuiwang Ji论文来源：2019,ICML论文地址：download 论文代码：download 1 Introduction 受到类似 encoder-decoder architecture 的 U-Nets 影响，作者希望能在图数据上使用这种 pooling 和 up-sampling 的操作。 N有向图计数与 GGF / 2022.8.10 闲话 II
预告： DAG 计数 . 强连通图计数 . 定义序列 \(\{a_n\}\) 的图论生成函数（GGF）为 \[\mathbf A(z)=\sum_{n}\dfrac{a_n}{2^{\binom j2}}\dfrac{z^n}{n!} \]（按理来说应该是二元的 \(\mathbf A(z,w)\)，但是应用全是 \(w=1\) 就省了） 下面所有 EGF 是大写 Roman 体（\(\TeX\) 中 \mathrm），所【笔记】VolTeMorph
VolTeMorph Introduction 和NeRF-Editing类似，采用弯曲光线的方式，完成对模型的编辑，不同点有四个 扩展到更多区域，例如嘴内部 利用显卡的光追单元，做到了实时（单张3090） 对view direction做了校正 不使用编辑mesh再传播的方法，而是直接对四面体几何进行操作，可以结合物理模拟 另外，加入了线性代数学习笔记
目录 行列式 1.1 二阶和三阶行列式 1.2 \(n\) 阶行列式 1.3 行列式的性质 1.4 行列式按行 (列) 展开 矩阵 2.1 线性方程组和矩阵 2.2 矩阵的运算 2.3 逆矩阵 2.4 克莱姆法则 2.5 矩阵的初等变换 2.6 高斯消元 （学一点更一点qwq） 1.行列式 1.1 二阶和三阶行列式 对于一个二元一次自适应步长算法
Variable Step-Size NLMS Algorithm for Under-Modeling Acoustic Echo Cancellation 介绍 声学回声消除（AEC）是自适应滤波最流行的应用之一。自适应滤波器的作用是识别终端扬声器和麦克风之间的声学回声路径，即房间声学脉冲响应。尽管许多自适应算法在理论上适用于 AEC，但在精度论文解读（PPNP）《Predict then Propagate: Graph Neural Networks meet Personalized PageRank》
论文信息 论文标题：Predict then Propagate: Graph Neural Networks meet Personalized PageRank论文作者：Johannes Gasteiger, Aleksandar Bojchevski, Stephan Günnemann论文来源：2019,ICLR论文地址：download 论文代码：download 1-Abstract 本文主要将 PageRank 算法引入到[LeetCode 338] 比特位计数
比特位计数 LeetCode 338 给你一个整数 n ，对于 0 <= i <= n 中的每个 i ，计算其二进制表示中 1 的个数 ，返回一个长度为 n + 1 的数组 ans 作为答案 O(nlogn) 解法 顺序计算 n 个数二进制表示中的 1 的个数, 对于数字 i, 依次与 \(2^k (2^k \le i)\) 作与操作, 若结果为 1 则计数(GAMES101) 1 - Review && Transformation (2D)
「転科・転専攻」は失敗したが、 千束ちゃんは「やりたいこと最優先！」と言ってくれました！ #1. Review of Linear Algebra Vectors Normalization & Cartesian Coordinates magnitude (length) : \(\Vert\vec a\Vert\) unit vector : \(\hat a = \cfrac{\vec a}{\Vert {\vec aAutomatic detection of hardhats worn by construction personnel: A deep learning approach and benchma
论文原链接：Automation in Construction 自动检测施工人员佩戴的安全帽：深度学习方法和基准数据集. 文章信息：施工现场安全，安全帽佩戴检测，计算机视觉，卷积神经网络，反向渐进式注意力 摘要： 安全帽在保护建筑人员免受事故影响方面发挥着至关重要的作用。但是，由于各种原因，工人没有严格【笔记】Ref-Nerf
Ref-NeRF 介绍 NeRF在镜面反射上，有着许多artifacts，有两个原因。一个是，用外向辐射作为视角，不好插值；另一个是，NeRF会用各向同相的内部光源来假装镜面反射，结果是半透明或雾状的artifacts。 Ref-NeRF用反射光作为输入，因为表面的取向不影响它，因此MLP能在上面更好地插值。 一个问题是，反射论文阅读 Inductive Representation Learning on Temporal Graphs
12 Inductive Representation Learning on Temporal Graphs link:https://arxiv.org/abs/2002.07962 本文提出了时间图注意(TGAT)层，以有效地聚合时间-拓扑邻域特征，并学习时间-特征之间的相互作用。对于TGAT，本文采用自注意机制作为构建模块，并基于调和分析中的经典Bochner定理（又是没【论文笔记】（JSMA）The Limitations of Deep Learning in Adversarial Settings
摘要 本文是早期的对抗文章，本文最最主要的工作是：提出了一个生成对抗样本的算法--JSMA（Jacobian Saliency Map）。然后在实验阶段，作者首先证明了这个方法使用的扰动很小，但对抗性很强，然后给出了一系列的方法用于计算不同的自然样本和不同的类别被攻击的难易程度，最后证明了JSMA 对抗样本Learn Ray Tracing One Weekend
Learn Ray Tracing One Weekend Ray Tracing in One Weekend 是学习光追的优秀教程，接下来跟着一步一步实现一个小型的光追渲染器。数学公式显示存在问题，更好阅读体验见Learn Ray Tracing One Weekend 01 Create Image 使用ppm格式 没啥特别好说的，是将渲染的图像保存成ppm格式，wAndrew Ng ML课程SVM部分学习记录——SVM核函数
核函数 对于线性不可分的情况，可以借助核函数构造非线性分类器. 先选定部分标记点(landmarks) 对于一个样本\(x\)，设\(f\)度量样本与标记点的相似度： \[f_1={\mathbf {similarity}}(x,l^{(1)})=\exp(-\frac{\parallel x-l^{(1)}\parallel^2}{2\sigma^2})\\ f_2={\mathbf {similarit