贝叶斯重现生命力,助力深度神经网络超参数优化|PDF免费下载
一本详细介绍贝叶斯优化的书籍,并且提供免费下载的地址。 转发、关注后再看,保证需要的时候不迷路~!
关于贝叶斯优化
贝叶斯优化可以说是一种黑盒子优化算法,用来解决表达式未知函数极值问题。虽然贝叶斯优化问题的历史早已有之,但在过去十年中,贝叶斯优化经历了一次复兴和快速发展。在计算机领域,推动了贝叶斯模型与推理工具的发展,计算机技术的进步推动了其发展。
讽刺的是,推动科技发展的主要动力并非贝叶斯,而是深度神经网络的兴起。但是,训练深度神经网络模型需要进行超参数优化,已有研究表明贝叶斯优化方法可以解决这一问题。超参优化被证明是贝叶斯优化中的杀手级应用,随着许多关于开发新算法和改进旧算法的出版物的出现。
由于计算机科学出版模式的性质,贝叶斯的最新研究进展分散在几十个简短的出版物中。这种模式有助于小细节,但不利于算法的发展。
作者介绍
《BAYESIAN OPTIMIZATION》作者来自华盛顿大学的Roman Garnett。本书旨在为读者提供一个从零开始全面了解贝叶斯优化的过程,并详细阐述所有关键思想。这种自下而上的方法允许我们在贝叶斯优化算法中确定统一的主题,这些主题在过去的研究文献中可能会丢失。
Garnett的主要研究兴趣是为不确定的序列决策开发新的贝叶斯机器学习方法。Garnett还对科学发现的算法特别感兴趣,并获得了NSFCARER奖来支持这项研究。同时,他也是《CSE515T:机器学习贝叶斯方法》主讲教师。
但这本书并非最终版本,最终稿将于2022年初由剑桥大学出版社出版。
这本书的读者对象是机器学习、统计等相关领域的研究者和研究生。读这本书前,你必须熟悉微分,积分,概率,线性代数,高斯分布。有时候,书中的讨论会转向深奥的数学领域,读者可以忽略。
内容介绍
总的来说,书主要分为三个主要部分:
- 在理论与实践中建立了高斯过程模型;
- 关于贝叶斯序列决策的方法;
- 实现优化策略。
另外,该书还包含了其他一些主题:理论收敛性研究概览、可扩展研究、贝叶斯优化发展历史、有注释性参考书籍。
章节内容
具体说来,本书共分为12章:包括绪论、高斯过程、高斯过程建模、模型评价、选择与平均化、优化决策理论、优化设计函数、通用贝叶斯优化策略、高斯过程的计算策略、实施方法、理论分析、扩展及相关设置、贝叶斯优化发展史。
- 第2-4章介绍了高斯过程相关理论和高斯过程建模的实际应用。在贝叶斯优化文献中,这种模型最流行,它所包含的资料对于后面几章非常重要。
- 第5-7章介绍了序列决策及其在优化中的应用。虽然这一理论需要一个目标函数模型和研究者的观察,但是这种介绍并不涉及模型的选择,并不依赖于之前的高斯过程章节。
- 第8-9章讨论了计算和实现的细节。
- 第10章讨论了贝叶斯优化算法的理论性能界限,其中大部分依赖于目标函数的高斯过程模型或相关的重生核希尔伯特空间。
- 第11章介绍了这个基本设置的几个值得注意的扩展。这两种观点均通过贝叶斯决策理论的统一视角系统地呈现,以说明研究者在面对新情况时应如何应对。
- 第12章介绍了贝叶斯优化思想的历史研究,其中包括一些重要的数学例子。另外,这一章记录了1962年至今有关贝叶斯优化的主要思想进展。
书籍地址
https://bayesoptbook.com/book/bayesoptbook.pdf
结语
@老K玩代码,专注分享实战项目和最新行业资讯,已累计分享超1000实战项目! 如果你喜欢老K的分享,欢迎关注老K玩代码,全网同号~
如若转载,请注明出处:https://www.summeng.com/19644.html