机器之心报道
编辑：小舟

2016 年发表的《在线凸优化导论》第一版已成为领域内经典书籍 。

凸优化是指在最小化（最大化）的优化要求下 ， 目标函数是凸函数 ， 且约束条件所形成的可行域集合是一个凸集的优化方法 。 由于能够顺序查询外部数据源 ， 在线凸优化成为获得凸函数最佳解决方案的方法 ， 并因其在大规模优化和机器学习中的可扩展性而得到了广泛的普及 。
近日 ， 由计算机科学家 Elad Hazan 撰写的经典书籍《在线凸优化导论（Introduction to Online Convex Optimization）》出版了第二版 ， 第一版曾于 2016 年发表 。

文章图片

第二版书籍链接：https://arxiv.org/pdf/1909.05207.pdf
与第一版类似 ， 这本书将优化视为一个过程 。 在许多应用中 ， 实际环境非常复杂 ， 要建立一个全面的理论模型 ， 使用经典的算法理论和数学优化是不可行的 。 因此应用优化方法 ， 在观察问题更多方面的情况下进行学习 ， 采用稳健的方法是非常必要的 。 这种将优化视为一个过程的观点已为各个领域广泛接受 ， 在建模和多种系统上取得了巨大的成功 。
随着机器学习、统计学、决策科学和数学优化方面的研究越来越多 ， 确定性建模、随机建模和优化方法之间的界限逐渐模糊 。 该书沿着这一现实趋势 ， 以在线凸优化 (OCO) 框架为例 ， 讲解了 OCO 建模和解决的实际问题 ， 涵盖严格的定义、背景和算法 。
全书共包含 13 章的内容：

• 第 1、2 章介绍了在线凸优化的基础知识和基本概念；
• 第 3、4 章系统地介绍了两类在线凸优化的方法；
• 第 5 章介绍了正则化的内容；
• 第 6 章具体介绍了经典框架 Bandit 凸优化（BCO）的内容；
• 第 7 章讲解了无投影算法的内容；
• 第 8 章从博弈论的角度讲解在线凸优化理论；
• 第 9 章讲解了与在线凸优化有关的统计学习理论；
• 第 10 章介绍了在现实多变的环境中在线凸优化的实际应用问题；
• 第 11 章主要介绍了机器学习算法 boosting 和在线凸优化算法的衡量指标 regret；
• 第 12 章讲解了在线 boosting 方法及其用途；
• 第 13 章介绍了 Blackwell 可接近性定理 。

以下是这本书的部分目录 。

文章图片


文章图片

作者介绍
《在线凸优化导论》这本书的作者是美国计算机科学家、普林斯顿大学计算机科学系教授 Elad Hazan 。

文章图片

【时隔五年，普林斯顿大学经典书《在线凸优化导论》第二版发表】Hazan 教授也是自适应梯度算法 AdaGrad 的作者之一 。 他主要从事机器学习和数学优化方面的研究工作 ， 特别是学习机制的自动化及其有效算法的实现 ， 并拥有多项专利 。