首页 > TAG信息列表 > Captioning
INVESTIGATING LOCAL AND GLOBAL INFORMATION FOR AUTOMATED AUDIO CAPTIONING WITH TRANSFER LEARNING
Abstract & Introduction & Related Work 研究任务 自动音频字幕已有方法和相关工作面临挑战创新思路 本文首先提出了一个音频描述的主题模型 实验结论 发现局部信息和抽象表征的学习对AAC来说比全局信息和时间关系的学习更为关键 提出下面两种语音主题模型： 局部音频主题论文阅读--Semantic Grouping Network for Video Captioning
Semantic Grouping Network for Video Captioning abstract 提出了Semantic Grouping Network(SGN)网络： 用部分已经解码的字幕中，选择可可以区分的单词短语对视频帧进行分组，也就是将表达不同意思的帧分组（与聚类相似）；对语义对齐的组进行解码，以预测下一个单词；（根据前面的已经生成Awesome-Visual-Captioning
目录Table of ContentsPaper RoadmapACL-2021CVPR-2021AAAI-2021ACMMM-2020NeurIPS-2020ECCV-2020Video CaptioningCVPR-2020ACL-2020AAAI-2020 Awesome-Visual-Captioning Table of Contents ACL-2021 CVPR-2021 AAAI-2021 ACMMM-2020 NeurIPS-2020 ECCV-2020 CVPR-2020 ACL-2[paper reading][CVPR 2020] Spatio-Temporal Graph for Video Captioning with Knowledge Distillation
目录2 Related WorkGeneral Video Classification33.2 Spatio-Temporal Graph CVPR 2020 https://openaccess.thecvf.com/content_CVPR_2020/papers/Pan_Spatio-Temporal_Graph_for_Video_Captioning_With_Knowledge_Distillation_CVPR_2020_paper.pdf spatio-temporal graph mImage captioning评价方法之ROUGE-L
文章地址：ROUGE: A Package for Automatic Evaluation of Summaries 代码地址(非官方)：https://github.com/tylin/coco-caption 文章由University of Southern California发表在2004ACL上。 ROUGE为 Recall-Oriented Understudy for Gisting Evaluation的缩写。文章ROUGE提出了文献阅读_image caption_Knowledge-Based Systems2021_Reasoning like Humans: On Dynamic Attention Prior in
Reasoning like Humans: On Dynamic Attention Prior in Image Captioning 一言以蔽之：引入前一时序的注意力（ADP），引入 整个句子作为输入（LLC），以基本相同的参数和算量，实现CIDER-D提升2.32% Abstract & Conclusion 1. most conventional deep attention models perform attention【AAAI2021】Dual-Level Collaborative Transformer for Image Captioning
【AAAI2021】Dual-Level Collaborative Transformer for Image Captioning 附： 论文下载地址 论文主要贡献 提出了一种新的双层协同Transformer网络(DLCT)，实现了区域特征和网格特征的互补性。在MS-COCO数据集上的大量实验证明了该方法的优越性。提出了位置约束交叉注意(LCCA)MemCap：Memorizing Style Knowledge for Image Captioning
MemCap：Memorizing Style Knowledge for Image Captioning 论文主要贡献 提出了一种基于MemCap的风格化的图像描述方法，使用style memory module（风格记忆模块）来记忆关于语言风格的知识，并根据图片中的内容来检索这些知识。提出了一种sentence decomposing algorithm（句子分解算法Auto-Encoding Scene Graphs for Image Captioning
原文地址时间：2018年Introductionend-to-end encoder-decoder模型存在一个问题：当将一张包括未见过的场景输入到网络中时，返回的结果仅仅就是一些显著的object，比如“there is a dog on the floor”，这样的结果与object detection几乎没有区别认知上的证据表明，基于视觉的语言并非是end-用于图像描述的注意上的注意模型《Attention on Attention for Image Captioning》
《Attention on Attention for Image Captioning》 Tiám青年 2019-11-17 23:21:10 2108 收藏 5 分类专栏： 计算机视觉 VQA 最后发布:2019-11-17 23:21:10 首次发布:2019-11-17 19:32:31 版权 目录 一、文献摘要介绍 二、网Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering
先来了解soft attention 与 hard attention的含义：https://blog.csdn.net/ccbrid/article/details/79730645 这个总结很清楚：https://zhuanlan.zhihu.com/p/36151033图像理解（Image Captioning）（1）CNN部分
目录一、 应用领域二、 原理三、使用的环境与数据集3.1. 环境3.2. 数据集四、网络模型4.1 理想⽹络模型4.1.1 CNN网络模型五、实现步骤总体步骤:5.1 使⽤keras创建VGG16定义的CNN⽹络结构5.2 提取图像特征 一、 应用领域 图像搜索 安全监控 鉴黄 二、 原理 CNN(卷积神经⽹络SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning
题目：SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning 作者： Long Chen等（浙大、新国立、山大） 期刊：CVPR 2017 1 背景 注意力机制已经在自然语言处理和计算机视觉领域取得了很大成功，但是大多数现有的基于注意力的模型只考(CV学习笔记)看图说话(Image Captioning)-2
实现load_img_as_np_array def load_img_as_np_array(path, target_size): """从给定文件[加载]图像,[缩放]图像大小为给定target_size,返回[Keras支持]的浮点数numpy数组. # Arguments path: 图像文件路径 target_size: 元组(图像高度, 图像宽度).Video Captioning 综述
1.Unsupervised learning of video representations using LSTMs 方法：从先前的帧编码预测未来帧序列 相似于Sequence to sequence learning with neural networks论文 方法：使用一个LSTM编码输入文本成固定表示，另一个LSTM解码成不同语言 2.Describing Videos by Exploiting Temp