SParC: Cross-Domain Semantic Parsing in Context 论文解读
作者：互联网
前言：SParC是一个基于 Spider 数据集扩展的有上下文依赖的对话是 Text-to-SQL 数据集。不同于 Spider 一句话 对应一个最终 SQL，SParC 通常需要通过多轮对话来实现用户的查询意图，并且在交互过程中，用户会省略很多之前提到的信息，或者新增、修改之前提到过一些内容，使得该任务更具挑战性。
基本信息
-
标题：SParC: Cross-Domain Semantic Parsing in Context
-
作者：Tao Yu等
-
单位：耶鲁大学，Salesforce公司
-
会议：ACL 2019
-
Github榜单：https://yale-lily.github.io/sparc
-
数据集下载：google drive、百度云盘 提取码 rdwg
榜单概览
截至 2021年5月22日，该数据集的榜单最高准确率（Accuracy）才 Question Match 62.4%，Interaction Match 38.1%，而且第一名还是数据集作者本人 余涛。Spider、SParC、CoSQL数据集都是他们组发布的，相应的也刷了很多会议论文，很是羡慕了，自己做数据集，提出模型，发表论文，不断迭代。
数据集简介
首先，文中举了两个 SParC 的数据样例，来直观感受一下这种对话式的，且问句（Question）有上下文依赖的 Text-to-SQL数据集样例。这类数据集最早的是 ATIS 数据集（发表于 1990 和 1994 的两篇论文中），是关于航班预订的单领域多论文对话 Text-to-SQL 数据集。本文提出的 SParC 数据集相对于 ATIS 有如下三大优势：
-
1、问句有更复杂的上下文依赖关系；
-
2、语义上有丰富的多样性；
-
3、天然需要更强的泛化能力，因为涉及跨领域，且训练/验证/测试的数据库完全各自独立，互不交叉。
下表为 SParC 与当前已有的 Text-to-SQL 数据集的对比，主要是看和 ATIS 的对比：
之前提到 SParC 上下文有更复杂的依赖关系，主要是以下四种情况：
从上表可以看出，每种情况都有对应的解释和一个例子，及在整个数据集中所占比例，介绍如下：
-
1、Refinement，即当前问题和上一个问题问的还是同一个实体，但约束条件不一样了。
-
前一个问题是：哪个专业的学生最少？
-
后一个问题是：哪个专业最受欢迎？（即哪个专业学生最多？）。
-
问的都是【专业】这个实体，只是约束条件变化了。
-
-
2、Theme-entity，即当前问题问的是上一个问题中提到实体的其他属性。
-
前一个问题是：Anonymous Donor Hall 这个大厅的容量是多少？
-
后一个问题是：列出它的所有便利设施。（即 Anonymous Donor Hall 大厅的所有便利设施有哪些？）。
-
问的都是关于【Anonymous Donor Hall】这个实体，只是两个问题所问的实体属性不同。
-
-
3、Theme-property，即当前问题问的是另外一个实体的同一个属性。
-
前一个问题是：告诉我 Double Down 这集的【排名】是多少。
-
后一个问题是：那么 Keepers 这集呢？（即 Keepers 这集的【排名】是多少？）。
-
问的都是【排名】这个属性，只是对应的实体不一样。
-
-
4、Answer refinement，即当前问题问的是上一个问题的子集。
-
前一个问题是：请列出【所有系】的名字？
-
后一个问题：【统计系】所有老师的平均薪资是多少？
-
很显然，【所有系】→ 【统计系】
-
数据集的统计分析数据上和 ATIS 的对比如下：
不同轮数之间的 SQL token 的重叠比例，以此来看出每句之间的重叠程度，从下图可以看出，相邻的两轮之间重叠程度更多。
实验
作者主要对比了两个 baseline 模型，CD-Seq2Seq 和 SyntaxSQL-con。主实验结果如下：
这是个很有意思的结果，在 Question Match 这个指标上，SyntaxSQL-con 更胜一筹，而在 Interaction Match 指标上 CD-Seq2Seq 更高一些。文中也分析了原因，即 SyntaxSQL-con 在第一轮对话时表现出更高于 CD-Seq2Seq 的准确率，故拉升了在 Question Match 这个指标的分数，而随着对话轮数的增多，效果明显不如 CD-Seq2Seq，这是因为 CD-Seq2Seq 在建模历史对话内容的能力上更强一些，更能有效利用历史信息，所以在 Interaction Match 指标上效果更好。
下面是对话轮数和分数的表格：
更多有用的干货，欢迎关注我的 Gong众号：【AI分享者】，不定期更新实用工具、科研干货、竞赛刷题心得等。
标签：Domain,Semantic,Cross,Seq2Seq,问题,SParC,SQL,数据,Match 来源： https://blog.csdn.net/baidu_20163013/article/details/117187333