做网站的登陆功能,wordpress如何修改后台网址,六安网站建设,哪家公司建站比较好原文链接#xff1a;http://arxiv.org/abs/1801.08163
启发#xff1a;没太读懂这篇论文#xff0c;暂时能理解的就是本文提出了一个专门针对条形图问答的数据集DVQA以及一个端到端模型SANDY#xff0c;模型有两个版本#xff0c;Oracle和OCR。主要解决的问题是固定词表无…原文链接http://arxiv.org/abs/1801.08163
启发没太读懂这篇论文暂时能理解的就是本文提出了一个专门针对条形图问答的数据集DVQA以及一个端到端模型SANDY模型有两个版本Oracle和OCR。主要解决的问题是固定词表无法回答包含图表特有词汇问题。所以在SANDYOracle中使用DVQA数据集的所有注释来构建词表在SANDYOCR中使用开源的Tesseract OCR的输出这样都保证了词表中能包含所有出现在图表以及问题中的词汇。至于文本提到的其他贡献暂时无法理解。
Abstract
研究对象条形图
研究问题条形图的开放式问题问答
研究方法介绍了 DVQA这是一个数据集用于测试问答框架中条形图理解的许多方面。与视觉问答 VQA 不同DVQA 需要处理特定条形图独有的单词和答案。最先进的 VQA 算法在DVQA 上表现不佳我们提出了两个性能要好得多的强基线。我们的工作将使算法能够从科学出版物、互联网文章、商业报告和许多其他领域的大量条形图中自动提取数字和语义信息。
1 Introduction 本文我们研究了能够回答有关条形图的开放式问题的系统我们将其称为数据可视化问答 DVQA。DVQA 将允许自动查询科学文档、网页和业务报告中的大量图表存储库。如图1所示DVQA的问题可分为图表结构理解、数据检索、推理。 DVQA 还可以作为广义模式匹配、注意力和多步推理系统的具有挑战性的代理任务。回答有关图表的问题需要多步骤的关注、记忆、测量和推理。VQA 通常被视为分类问题其中答案是使用图像-问题对中的特征推断的类别DVQA 与视觉问答 VQA相关但是DVQA尝试解决三个问题
1可变词典。VQA系统采用两个固定的词典一个用于对问题中的单词进行编码另一个用于生成答案。到那时DVQA的词典不能是固定的因为许多答案中包含条形图特有的单词如果是固定词典就无法解答这些问题。所以我们的模型演示了两种解决out-of-vocabulary(OOV) words问题的方法。
2语言的固定性与变动性。在VQA中语言与图像中的语义概念有固定关联。例如“大而闪亮的红色立方体”一旦定义便在所有相关图像中一致。而在DVQA中词语常常用来描述图表中的元素如条形图的颜色、大小和位置这些可以在不同图表中变化。读不懂。。。
3图表图像的不规则性VQA使用的自然图像通常具有某种规律使得系统可以从图像的特征中推断信息比如天气图通过颜色与亮度来判断晴天。相较之下DVQA中的视觉元素如图例和颜色的稍微变动如调换顺序就能导致整张图表的信息发生完全变化这种不规则性带来了额外的解析难度。
本文做出了三个主要贡献
1. 我们介绍了 DVQA 数据集其中包含超过 300 万个关于条形图的图像问题对。它测试三种形式的图表理解a 结构理解;b 数据检索;c 推理。DVQA 数据集将公开发布。
2. 我们发现最先进的 VQA 算法无法回答 DVQA 中的许多问题。此外基于静态和预定义词汇表的现有基于分类的系统无法回答具有训练期间未遇到的独特答案的问题。
3. 我们描述了两个 DVQA 系统它们能够处理特定图像独有的单词。一个是端到端神经网络可以从条形图中读取答案。第二个模型是使用动态本地词典对条形图文本进行编码的模型。
2. Related Work
3. DVQA: The Dataset DVQA 数据集包含大量典型可用的条形图样式。数据集中的问题需要能够对条形图中的信息进行推理见图 1。DVQA 包含 300,000 张图像的 3,487,194 个问答对分为三种主要问题类型。 3.1. Appearance, Data, and Question Types
视觉样式我们使用 python 流行的绘图工具 Matplotlib 来生成我们的图表。如图 3 所示DVQA 的条形图在外观和样式方面都包含很大的可变性可以捕捉到科学文献和 Internet 中的常见样式。其中一些变化包括柱线和组数的差异;是否存在网格线;条形的颜色、宽度、间距、方向和纹理的差异;以及标签和图例的方向和位置的差异。为了标记单个条形和图例条目我们使用 NLTK 的词性标记为我们的训练集和“简单”测试集 Test-Familiar 选择了 Brown 语料库中最常见的 1000 个名词。为了衡量系统扩展到未知答案的能力我们还创建了一个难度更高的测试集 Test-Novel其中我们使用了 500 个在训练过程中看不到的新单词。
基础数据DVQA 有三种条形图数据类型线性、百分比和指数。对于这些数据值类型中的每一种条形可以采用 1 – 10 范围内的线性数据、10 – 100 百分比和 1 - 1010 指数数据类型中随机选择的 10 个值中的任何一个。允许一小部分条形的值为零该值在图表中显示为缺失的条形。
问题类型DVQA 包含三种类型的问题1 结构理解2 数据检索以及 3 推理。为了生成这些问题我们使用固定模板。
3.2. Post-processing to Minimize Bias VQA 中的几项研究表明数据集中的偏差会损害性能评估并为仅利用统计模式的系统提供夸大的分数。在 DVQA 中我们采取了多项措施来打击此类偏见。为了确保样式、颜色和标签之间没有关联我们随机化了图表的生成。有些问题可能具有很强的先验性例如问题 Does the chart contain stacked bar 正确答案为“否”的可能性很高因为这些堆积图并不常见。为了补偿这一点我们会随机删除这些问题直到每种问题类型其中是/否的答案都是平衡的。类似的方案用于平衡其他结构理解问题以及前两个数据检索问题。
4. DVQA Algorithms Models
4.1. 基线模型
我们评估了 DVQA 的五个基线模型
1. YES该模型对所有问题的回答都是“是”这是 DVQA 中最常见的答案比“否”略高。
2. IMG无视问题模型。图像会使用 Resnet 对池化后的最终卷积层的输出进行编码然后由具有一个具有 1,024 个单元的隐藏层和一个 softmax 输出层的 MLP 从中预测答案。
3. QUES无视图像模型。它使用 LSTM 编码器嵌入问题然后由具有一个隐藏层具有 1,024 个单元和一个 softmax 输出层的 MLP 预测答案。
4. IMGQUES这是 QUES 和 IMG 模型的组合。它连接 LSTM 和 CNN 嵌入然后将它们馈送到具有一个 1024 个单元的隐藏层和一个 softmax 输出层的 MLP。
5. SAN-VQAVQA 的堆叠注意力网络SAN。我们按照论文重新实现 SAN 升级原始 SAN 的图像功能和一些小的更改可以在 VQA 1.0 和 2.0 上产生最先进的结果。SAN 对最后的 CNN 卷积特征图进行操作在那里它使用基于 LSTM 的方案中的问题嵌入仔细处理该映射。
4.2. 多输出模型 MOM DVQA 多输出模型 MOM 使用双网络架构其中其中一个子网络能够生成特定于图表的答案。MOM 的分类子网络负责通用答案。MOM 的光学字符识别 OCR 子网络负责必须从条形图中读取的特定于图表的答案。
MOM 的 OCR 子网络尝试预测包含正确标签的边界框然后将字符级解码器应用于该区域。边界框预测器使用均方误差 MSE 损失作为回归任务进行训练。从该区域提取图像块将其大小调整为 128 × 128然后对其应用一个小的 3 层 CNN。由于框中文本的方向会有所不同因此我们采用 N 步空间注意力机制来编码图像块中 N 个可能字符中每个字符的相关特征其中 N 是最大可能的字符序列在我们的实验中为 N 8。这 N 个特征使用双向门控递归单元 GRU 进行编码以捕获自然出现的单词中发现的字符级相关性。GRU 编码之后是一个预测字符序列的分类层该分类层使用连接主义时间分类 CTC 损失进行训练。
MOM 必须决定是使用分类子网络即 SAN-VQA或者OCR 子网络来回答问题所以训练了一个单独的二元分类器用于确定要信任哪些输出。此分类器将 LSTM 问题特征作为输入以预测答案是通用的还是特定于图表的。对于我们的 DVQA 数据集此分类器能够对测试数据以完美的准确性预测正确的分支。
4.3. SANDY: SAN with DYnamic Encoding Model
SANDY是作者对SAN-VQA模型的改进引入了动态编码模型DEM可以处理图表中特定词汇的编码和解码。SANDY的关键特点包括
动态本地字典为图表中出现的每个新词创建一个动态字典。编码和解码使用动态字典来编码问题中的词和生成答案。OCR系统假设有一个完美的OCR系统来识别图表中的所有文本区域。
SANDY有两种版本
Oracle版本使用DVQA数据集的注释来构建DEM。OCR版本使用开源的Tesseract OCR的输出来构建DEM。
MOM 通过具有能够生成唯一字符串的子网络来处理特定于图表的答案;但是它没有直观地读取条形图文本的明确功能并且其 LSTM 问题编码无法处理特定于图表的单词。为了探索克服这些限制我们修改了 SAN 以创建 SANDYSAN with DYnamic 编码模型。SANDY 使用动态编码模型 DEM该模型对问题中特定于图表的单词进行显式编码并可以直接生成特定于图表的答案。DEM 是图表特定单词的动态本地词典。此词典用于对单词和答案进行编码。要创建本地单词词典DEM 假定它有权访问 OCR 系统该系统为其提供条形图中所有文本区域的位置和字符串。给定此框集合DEM 会为每个框分配一个唯一的数字索引。它将索引 0 分配给图像左下角的框。然后它会分配位置最接近索引为 1 的第一个框的框。然后为最接近 1 但尚未分配索引的框分配索引 2依此类推直到图像中的所有框都分配了索引。在我们的实施中我们假设我们有一个完美的 oracle OCR 系统用于输入并且我们使用数据集的注释来实现此目的。训练数据中没有图表的文本标签超过 30 个因此我们将本地字典设置为最多具有 M 30 个元素。局部词典扩充了 N 元素全局词典。这使 DEM 能够创建 M N 单词词典用于对问题中的每个单词进行编码。局部词典还用于扩充 L 元素全局答案词典。这是通过向表示动态单词的分类器添加 M 个额外类来完成的。如果预测了这些类则使用本地词典的相应索引分配输出字符串。我们测试了两个版本的 SANDY。Oracle 版本直接使用 DVQA 数据集中的注释来构建 DEM。OCR 版本使用开源 Tesseract OCR 的输出。Tesseract 的输出以三种方式进行预处理1 我们只使用包含字母字符的单词2 我们以低于 50% 的置信度过滤单词检测以及 3 我们过滤单个字符的单词检测。
4.4. Training the Models
5. Experiments 6. Discussion
7. Conclusion
我们描述了 DVQA一个用于理解条形图的数据集。我们证明了 VQA 算法无法回答简单的 DVQA 问题。我们提出了两种 DVQA 算法它们可以处理问答中特定于图表的单词。解决 DVQA 问题将使系统能够用于智能查询大量人工生成数据这将对科学家和企业产生巨大帮助。我们希望即将公开提供的 DVQA 数据集将促进对自然图像 VQA 通常忽略的问题的研究例如词汇外单词和动态问题编码。我们还希望 DVQA 将成为研究视觉注意力、记忆和推理能力的重要代理任务。
