人工智能--布尔与辛顿的关系
作者:互联网
左:George Boole,右:Geoffrey Hinton
布尔(George Boole)就是布尔代数那个布尔[1,2],辛顿(Geoffrey Hinton)就是深度学习这个辛顿,布尔是辛顿的曾祖父。这篇小文是从布尔到辛顿的家族故事。
布尔1815年生于英国东部的林肯镇。布尔的父母约翰·布尔和玛丽·布尔结婚九年才生下布尔,随后又生了三个孩子。布尔的父亲是个补鞋匠,没钱让布尔接受正规教育。布尔自学了拉丁语、希腊语、法语和德语,不满16岁就到40英里外的一家循道宗小学当教师,开始研究数学。据布尔解释,主要原因是缺钱买书,而数学书看的时间可以更长一些。因为星期天做礼拜时还在看数学书,对神不敬,布尔工作了两年就被解雇了。
布尔19岁那年回到家乡创办自己的学校,担任校长15年,讲了无数的课,还做了大量公益活动,却没耽误研究英国和欧洲大陆最重要的数学文献,并在《剑桥数学期刊》(Cambridge Mathematical Journal)发了不少文章,这使他有机会与顶尖数学家交往。但是,因为没有正常学历,布尔在英国没有进入大学任职的机会。好在天无绝人之路,英国政府批准在爱尔兰新建三所皇后学院,位于科克市的皇后学院(今科克大学)同意聘任布尔为数学教授,这是1849年,布尔34岁。
布尔32岁那年出版《逻辑的数学分析》,搭起逻辑和代数之间的桥梁,七年后出版了更为完善的《思维的规则》(The Laws of Thought),创立布尔逻辑和布尔代数,亚里士多德传统逻辑踏步了两千多年后,从此走上数理逻辑的快速路,为后来现代计算机的出现奠定了数学基础。
1857年,布尔42岁,当选英国皇家学会会士。
1864年11月底,布尔冒着大雨步行两英里走到学校,身着湿冷的衣服为学生们授课,由此患上肺炎。深爱他的妻子病急乱投医,迷信偏方:要治病,先重现病因,就把丈夫裹进被子,再浇上几桶冷水……没几天布尔就去世了。
布尔妻子原名玛丽·艾佛斯特(Mary Everest),比他年少17岁,在数学上也很聪慧,1855年玛丽父亲去世,她和布尔结婚。玛丽的叔叔乔治·艾佛斯特曾任印度大地测量局总测量师,英国殖民者用于命名珠穆拉玛峰用的就是艾佛斯特(Everest),这个姓被后人一直沿用到今天。玛丽一直活到20世纪。
布尔最小的女儿艾捷尔·丽莲·伏尼契(爱尔兰语Ethel Lilian Voynich)在布尔去世时才半岁,她的作品《牛虻》在俄罗斯和中国家喻户晓。伏尼契这个姓来自他的丈夫,一位来自西伯利亚的革命者,他在华沙的牢房时和艾捷尔目光交流,数年后逃到伦敦再次见到她,结为伴侣。
布尔的四女和三女各有成就。次女的长子是数学家,也当选了英国皇家学会会士。
布尔长女玛丽·爱伦(Mary Ellen)这一支更是名人辈出。爱伦和数学家Charles Howard Hinton结婚,生育四个孩子:George (1882–1943), Eric (*1884), William (1886–1909)和Sebastian (1887–1923)。最小的儿子Sebastian生有两个孩子:William Howard Hinton (1919–2004)和Joan Chase Hinton (1921–2010)。哥哥William中文名韩丁,农学家、记者、马克思主义者,1945年来到中国,1953年回到美国,写过不少关于中国的书,其中最著名的是《翻身》,是他1948年在山西省潞城县张庄村亲历半年土改的经验写成的非纪实小说。妹妹Joan中文名寒春,芝加哥大学核物理研究所研究生,杨振宁的同学,曾在美国洛斯阿拉莫斯国家实验室做费米的助手,是参与了曼哈顿计划的极少数的女科学家之一,原子弹的巨大破坏让她放弃核物理,1948年追随丈夫阳早(Erwin Engst)来到延安,1949年在瓦窑堡结婚,随丈夫转行从事奶牛养殖工作,长期在北京农业机械化科学研究院工作,是北京第一位中国绿卡获得者,2010年去世。
玛丽·爱伦的长子George Hinton是个采矿工程师,管理位于墨西哥的一所银矿。1912年George生子Howard Everest Hinton。Howard是著名昆虫学家,1961年当选英国皇家学会会士。1938年,Howard和Margaret Clark结婚,1947年生杰佛瑞·艾佛斯特·辛顿(Geoffrey Everest Hinton)。
杰佛瑞·艾佛斯特·辛顿的中间名是他曾曾外祖母的姓,这是这个家族延续数代的传统。杰佛瑞如今已经是人工智能复兴的标志性人物、“深度学习教父”,这主要归功于他对神经网络近乎偏执的长期坚持。
杰佛瑞1970年在英国剑桥大学获得实验心理学学士学位,1978年在爱丁堡大学获得人工智能博士学位,一定意义上可以说是在追寻他曾曾祖父布尔的足迹。1985年,杰佛瑞作为主要贡献者之一提出将模拟退火算法应用到神经网络训练中,提出了玻尔兹曼(Boltzmann)机[3],算法具有能够逃离极值的优点,但训练时间很长。1986年,他作为主要贡献者提出了多层前馈神经网络的学习算法[4](即BP算法,类似思想在之前多次提出),从理论上证明了只含一个隐层的前馈网络可以在闭区间上一致逼近任意连续函数,掀起人工神经网络研究第二轮热潮。1998年,他当选英国皇家学会会士。神经网络热潮席卷全球十年后,几乎所有人都放弃了这个方向,但是杰佛瑞坚信这个方向是对的,又坚持十年,2006年发表论文,改进完善20年前的思路,提出深度信念网络 [5],掀起了汹涌至今的人工神经网络第三次浪潮,人工智能因此而再度复兴。
从一身布衣的布尔奠定计算机数学基础,到辛顿执着神经网络四十年终引人工智能风骚,这个家族抱定信念、坚持到底的精神值得学习,值得深思。
参考文献
1. 马丁·戴维斯著,张卜天译. 逻辑的引擎. 湖南科学技术出版社,2007
2. MacHale D. George Boole: His Life and Work. Dublin: Boole Press, 1985.
3. David H. Ackley, Geoffrey E. Hinton, Terrence J. Sejnowski. A learning algorithm for boltzmann machines. Cognitive Science, 9(1):147-169, 1985.
4. David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams. Learning representations by back-propagating errors. Nature, Volume 323, Issue 6088, pp. 533-536 ,1986.
5. G. E. Hinton, R. R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science (313)5786:504-507, 2006.
--黄铁军(北京大学信息科学技术学院教授,计算机科学技术系系主任)
标签:Howard,--,辛顿,人工智能,Hinton,杰佛瑞,George,布尔 来源: https://www.cnblogs.com/tsingke/p/14480774.html