[文献阅读]——Exploring Human Gender Stereotypes with Word Association Test
作者：互联网
preliminary
#bootstrap sampling
#GCN（Random walk）
对于对称拉普拉斯中使用的度矩阵D的逆平方根，我的理解：
首先，直接用D的逆去乘邻接矩阵，肯定是可以的，就是做了行归一化。而原文中使用的D的逆平方根的话…实际算下来，可能是要让对称位置的值尽可能相似吧（至少分母上是完全一致的）。而作者给出的解释是：
dynamics get more interesting when we use a symmetric normalization
（动力学上更有趣？？？）
#概率统计（皮尔逊系数、显著性检验、置信区间）
#KNN
度量：
L0范数：向量中非0的元素的个数
L1范数：向量中各个元素绝对值之和（曼哈顿距离）
L2范数：欧式距离
#word2vec
#glove
#random walk
前言
低维的word embedding被用作“性别刻板印象（gender stereotypes）”的研究，比如：比起"she"，“engineer"更加接近于"he”。该方法有两大问题：
- 【模型不足】这些word embedding方法大多基于共现信息训练，不完整
- 【评估不足】之前的测试的单词范围局限
本文的贡献：
- List item
word association
数据集
使用了SWOWEN数据集：首先创建一个cue池，对于每一个参加者，随机抽取cue池中的单词w1，参加者展开联想得w2，得到cue-response pair：w1-w2。如果w2不在cue池，则加入cue池。
经过预处理之后，得到12217cues，3665100responses（1个cue对应多个responses，多个responses还有可能是相同的单词），83863participants。
图的初始化
邻接矩阵：12217个nodes，1283047条边，边的权重=cue-response pair出现的次数。得到邻接矩阵
S
∈
R
∣
V
∣
×
∣
V
∣
S∈R^{|V|×|V|}
S∈R∣V∣×∣V∣。对邻接矩阵做拉普拉斯对称归一化：
T
=
D
−
1
/
2
S
D
−
1
/
2
T=D^{-1/2}SD^{-1/2}
T=D−1/2SD−1/2
D
=
d
i
a
g
i
(
∑
j
=
1
N
S
i
j
)
D=diag_i(\sum_{j=1}^{N}S_{ij})
D=diagi(j=1∑NSij)
特征矩阵：特征矩阵 P ∈ R ∣ V ∣ × 2 P∈R^{|V|×2} P∈R∣V∣×2， P ( i , ) = ( b m i , b f i ) P_{(i,)}=(b_{m_{i}}, b_{f_{i}}) P(i,)=(bmi,bfi)，表示第i个单词分别带有的男性（masculine）和女性（feminine）的信息量。两两选择一些男性特征词-女性特征词的pair（如boy-girl），对男性特征词对应的向量置为（1，0），女性特征词对应所对应的向量置为（0，1），其它单词初始化为（0，0）。
图的迭代（stereotypes propagation）
P t + 1 = α T P t + ( 1 − α ) P 0 P_{t+1}=αTP_t+(1-α)P_0 Pt+1=αTPt+(1−α)P0
其中，α控制了初始信息和新信息的比例，没有迭代，直接根据
P
t
+
1
=
P
t
P_{t+1}=P_t
Pt+1=Pt近似求解：
P
∗
=
(
1
−
α
)
(
I
−
α
T
)
−
1
P
0
P^*=(1-α)(I-αT)^{-1}P_0
P∗=(1−α)(I−αT)−1P0
计算gender bias score（法1）
b就等于bm-bf?
下文还引用了两种不同的计算score的方法：
这两种方法（法2、法3）不仅仅是计算score的方式不同，它们采用的word embedding不是简单的（1，0）或（0，0），而是用了word2vec。
各种实验分析
与真实数据的比较
几种指标：
- γ（皮尔逊系数）：-1到1之间，描述两个变量的线性关系
- p（显著性水平）：？
- d（效应值）：两个均值？（means）之间的标准化差异
使用了法2、法3、法1，进行了两个实验：
- score与census data 和 human judgements进行相关性分析
- 具有不同性别倾向的单词的score进行效应置分析
得到的结论：
- 法1更好
- census data(书面) 和 human judgements(人脑) 之间有很大差异
男女性特征词选择的影响
一个指标：
- 置信区间：要求一个单词bias score均值的置信区间。通过抽样，得到一组bias score，计算其样本方差、样本均值，构造一个满足标准正态分布的统计量（且包含总体均值），去求置信区间。
也计算了法1和census data 和 human judgements的皮尔逊系数的置信区间。
得到的结论：
- 男女性特征词的选择影响不大
stereotypes propagation变种的影响
变种一：采用random walk的变种
变种二：采用不同的α值
得到的结论：
- random walk算法的选择影响也不大
- α增大，皮尔逊系数稳定上升，趋向于1，效果最好
不同的图初始化策略的影响
假设本文“图的初始化”部分中为策略1，策略2、3如下：
使用word2vec的词向量，使用词的相似度作为图中边的度量：
- 策略2（local）：对于每一个单词，连接k(105)个最相似的邻词。（ G l o c a l G^{local} Glocal）
- 策略3（global）：计算所有word pair的相似度，连接e(1235178)个最相似的。（ G g l o b a l G^{global} Gglobal）
得到的结论：
- 使用别的图的初始化策略，效果很差
进一步探索为什么：
首先介绍了一种图，叫做small world graph，主要有三个性质：
- 图中任意两个结点之间的距离与log|V|成正比
- 图中结点的度满足幂律分布（绝大多数度掌握在少数结点手里）
- 图中的大部分结点都连接到了个别中心词，导致clustering coefficient很大
- 这种图的信息传播速度很快
而分析策略1、策略2和策略3，得到的结论：
- 所有策略的L（结点平均最短距离）、D（结点最长最短距离）的很小
- 所有策略clustering coefficient很大
- 策略1中，度很少的结点几乎没有（无头），且个别度特别大的结点（长尾），这和较小的L值，都可能导致了该策略信息的快速传播
策略1、2、3的图中体现出的不同特性的连边
主要有四种特性的连边：
- semantic priming：语义相似的单词，如：really-actually
- neighborhood effects：拼写、读音相似的单词
- frequency effects：一些中心词往往是很常见的词，而体现在本文提出的方法中，中心词往往带有很浓的性别特性，这是在策略23中所没有的。
- co-occurrence：共现，如：birth-day
结论：
- 策略1中这四种边都有
使用提出的方法作为benchmark，分析一些“de-bias”的方法的效果
主要的分析思路：首先引入两个de-bias的方法，分别是Hard-Debias(后处理)和Gn-Glove(训练)，这两种方法应该都用了预训练的词向量，只知道后者用的是Glove。
由于是使用了pretrained word embedding，所以采用了"计算gender bias score（法1）"中的法2、法3，来计算的bias score。分别计算两个de-bias的方法使用前后，得到的bias score，和本文提出的方法得到的bias score的皮尔逊系数。
如果：
- 使用前很相关，使用后不相关，则de-bias方法好
- 使用前很相关，使用后依然很相关，则de-bias方法差
得到的结论：
- Hard-Debias > Gn-Glove
标签：Exploring,结点,Word,score,Gender,单词,cue,bias,策略 来源： https://blog.csdn.net/jokerxsy/article/details/118659300