加入其他控制变量后, 估计系数的符号相反了？

凡是搞计量经济的，都关注这个号了

邮箱：econometrics666@126.com

所有计量经济圈方法论丛的do文件, 微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

今天在社群群友要求下推荐一下这个比较常见的问题，如下：
Question：

• 在一个线性回归中包括四个预测变量，即控制变量（IV1，...，IV4）

• 如果仅将IV1作为预测变量，则标准回归系数为 +.20

• 当还包括IV2、IV3、IV4时，IV1的标准回归系数的符号会变为-.25（即变为负数）。

这引起了一些问题：

• 关于术语，是否称其为“抑制效应”？

• 将使用什么策略来解释和理解这种效应？

• 在实践中，是否有此类效应的示例，如何解释和理解这些效应？

Answer 1：
多重共线性是通常的怀疑对象。基本上，如果这些变量是正相关的，则系数将是负相关的，这可能导致其中一个系数的符号错误。
一种检查是执行主成分回归（PCA regression）或岭回归（ridge regression）。这减少了回归空间的维数，从而处理了多重共线性。最终可能会得到一个有偏差的估计，但可能会降低MSE（mean squared error）和得到正确的系数符号。无论是否获得这些特定的结果，PCA和Ridge回归都是一项很好的诊断检查。如果仍然能看到符号的变化，那么从理论上讲可能会更有趣，即缔造了一个新故事。
另外，可以考虑如下情况：
相关性反转（幅度或方向）是辛普森悖论，洛德悖论和抑制效应（Suppression Effects）的例子。出现的差异本质上与变量的类型有关。理解本质的现象比根据特定“悖论”或效应进行思考更为有用。对于因果关系，下面的论文很好地解释了原因，我将详细引用它们的介绍和结论。

• 因果推断在理解辛普森悖论、洛德悖论和抑制效应中的作用：观察研究分析中的协变量选择（https://arxiv.org/abs/1503.02722）

Tu等人对三个悖论的等效性进行了分析，得出结论，当对第三个变量进行控制时，任何两个变量的相关性的变化都不足为奇。我称这种情况不足为奇，因为在条件分析中，反转或幅度变化很常见。为了避免两者中的任何一种情况，我们必须完全避免条件分析。
[...]
总而言之，尽管辛普森及其相关悖论揭示了使用统计标准指导因果分析的危险，但他们既没有对他们试图描述的现象进行解释，也没有对如何避免它们进行说明。解释和解决方案在于因果推断，该因果推断依赖于背景知识，而不是统计标准。现在是时候停止治疗被误解的体征和症状（“悖论”）了，继续从事这种疾病的处理（“因果关系”）。我们应该正确地将注意力转向使用非实验数据进行因果分析的协变量选择的常年存在的问题。
Answer 2：
我相信这类影响通常是由共线性引起的（请参阅此问题）。我认为Gelman和Hill撰写的有关多层建模的书对此进行了讨论。问题在于，IV1它与一个或多个其他预测变量相关联，并且当所有这些预测变量都包含在模型中时，它们的估计就变得不稳定。
如果系数反转是由于共线性引起的，那么报告它并不是真的很有趣，因为它不是由于预测变量与结果之间的关系，而是由于预测变量之间的关系引起的。
我已经看到建议解决此问题的方法是残差化（residualization）。首先，为拟合模型IV2 ~ IV1，然后将该模型的残差取为rIV2。如果所有变量都相关，则应该将它们全部残差化。可以选择这样做：

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

现在，用

DV ~ IV1 + rIV2 + rIV3 + rIV4

现在，rIV2的系数代表考虑了与IV1相关性后IV2的独立影响。如果按照不同的顺序进行残差化，不会获得相同的结果，并且选择残差化的顺序实际上是你研究中的一个判断。
Answer 3：
我建议从理论上讲抑制效应（抑制效应，是指—种养分对另一种养分产生的负效应。）可能很有趣，其中的多重共线性大概是解释的起点。
Answer 4：
参见辛普森悖论。简而言之，将交互作用添加到模型后，观察到的主效应可能会发生逆转。在链接的页面上，大多数示例都是分类的，但是在页面顶部有一个图，你可以将其想象成连续的。例如，如果你有一个分类的和连续的预测变量，那么如果添加了分类预测变量，则连续预测变量可以轻松翻转符号，并且在每个类别内该符号与总分数不同。
各位学人，也可以在文后进行留言讨论，从而达成学术共识。
关于回归中变量的问题

1.什么时候应该使用回归分析？控制变量意味着什么？2.如何选择正确的因变量(控制变量)，让你的计量模型不再肮脏，3.调节变量, 中介变量和控制变量啥区别与联系? 4.控制、调节和中介变量，系说，5.核心解释变量A不显著, 但加入变量B后, 为什么A和B都显著了？6.被解释变量比解释变量的层级更高的模型设定合理么？7.审稿: 协变量何时重要? 哪个重要, 有多重要？8.三张图秒懂, 混淆, 中介, 调节, 对撞, 暴露, 结果和协变量的复杂关系，9.因果推断专题：6.再谈混淆变量，10.什么时候需要标准化回归模型中的变量？11.因果推断专题：1.混淆变量，12.虚拟变量回归模型是什么? 政策评估的前件，13.11种与机器学习相关的多元变量分析方法汇总，14.回归中各变量的数值相差过大有事, 又有什么问题？15.哦, 不, 回归符号反了, 我们该怎么办？16.回归系数与预期相反时, 我们能够采取的方法和思路有哪些？17.显著不显著的后背是什么, 非(半)参估计里解决内生性，18.在什么情况下多增加一个自变量后, 回归的R方会变小呢？19.控制变量选择问题: 如何鉴别好或不好的控制变量？附上14篇相关文章！20.如何测度不可观测变量遗漏的严重程度, 建议各位学者看过来！21.如何选择合适的工具变量, 基于既有文献的总结和解释！22.如何选择合适的工具变量, 基于既有文献的总结和解释！23.如何测度不可观测变量遗漏的严重程度, 建议各位学者看过来！24.社会网络计量经济学是什么？测度社会关系网中的同伴效应！25.社会网络分析最新文献和软件学习手册

下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。

标签：系数,变量,符号,回归,IV1,控制变量,悖论,因果
来源： https://blog.51cto.com/15057855/2672466