扫一扫
关注中图网
官方微博
本类五星书更多>
-
>
中医基础理论
-
>
高校军事课教程
-
>
思想道德与法治(2021年版)
-
>
毛泽东思想和中国特色社会主义理论体系概论(2021年版)
-
>
中医内科学·全国中医药行业高等教育“十四五”规划教材
-
>
中医诊断学--新世纪第五版
-
>
中药学·全国中医药行业高等教育“十四五”规划教材
优化理论与算法基础 版权信息
- ISBN：9787302671961
- 条形码：9787302671961 ; 978-7-302-67196-1
- 装帧：平装-胶订
- 册数：暂无
- 重量：暂无
- 所属分类：>
优化理论与算法基础 本书特色
注重基础，兼顾前沿性，详细讲述非线性优化和凸优化的重要原理与经典算法的同时介绍近十几年来优化领域出现的一些新思想、新方法和新算法, 以及优化理论与算法在机器学习、经济、统计和金融等领域中的应用.
优化理论与算法基础 内容简介
"本书是非线性优化的基础教材, 内容涵盖凸集与凸函数、优化问题的一般理论、广义不等式约束 优化问题和向量优化问题、梯度下降法与共轭梯度法、牛顿法和拟牛顿法、线性规划与二次规划、约 束凸优化问题、机器学习中常用的复合优化算法等非线性优化的核心基础理论与算法. 本书在选材上 注重基础并兼顾前沿性, 详细讲述非线性优化和凸优化的重要原理与经典算法的同时, 也花了一定篇 幅介绍近十几年来优化领域出现的一些新思想、新方法和新算法, 以及优化理论与算法在机器学习、 经济、统计和金融等领域中的应用. 写作上力求深入浅出, 循序渐进, 既照顾到学生的理解能力与学习 兴趣, 又考虑到内容完备性、逻辑严谨性与必要的深度. 为了方便读者动手实践, 本书给出实现书中计 算实例、应用实例的完整MATLAB 代码和数据集, 以及详细的使用说明和代码注释, 读者能够很容易 地实现所学方法. 此外, 本书还配有由LaTeX 精心制作的PDF 课件, 方便教师教学使用. 本书可作为大数据、人工智能、应用数学、计算机、管理科学与工程、金融工程等专业的研究生 基础课教材, 也可以作为相关专业高年级本科生的专业课教材或参考书. "
优化理论与算法基础 目录
第 1 章 导论与预备知识 1
1.1 欧几里得空间 中的点集 1
1.1.1 集合 1
1.1.2 欧几里得空间 的性质 2
1.1.3 中的点集拓扑 4
1.1.4 中的极限 6
1.1.5 上确界与下确界 6
1.2 连续函数 9
1.2.1 连续函数的定义与性质 9
1.2.2 上极限与下极限 11
1.2.3 上半连续性与下半连续性 13
1.3 多元函数的微分中值定理与 Taylor 公式 13
1.3.1 多元函数的微分中值定理 13
1.3.2 多元函数的 Taylor 公式 15
1.4 凸集 16
1.4.1 仿射集 16
1.4.2 凸集 17
1.4.3 凸集分离定理 18
1.5 锥 25
1.5.1 锥和凸锥 25
1.5.2 广义不等式 26
1.5.3 *小元与极小元 27
1.6 对偶锥. 28
1.6.1 对偶锥 28
1.6.2 对偶广义不等式 30
拓展阅读建议 31
第 1 章习题 31
第 2 章 凸函数 34
2.1 凸函数的定义及判定 34
2.1.1 凸函数的定义 34
2.1.2 一元凸函数的判定 35
2.1.3 多元凸函数的判定 36
2.2 凸函数的性质 41
2.2.1 一元凸函数的连续性与单边导数 41
2.2.2 多元凸函数的连续性 43
2.2.3 上图与下水平集 46
2.2.4 凸函数的极值 47
2.3 保持凸性的运算 48
2.4 应用及例子 52
2.4.1 .-范数 52
2.4.2 Jensen 不等式 56
2.4.3 凸函数/凹函数的例子 59
2.5 共轭函数 62
2.5.1 共轭函数的定义与计算实例 62
2.5.2 共轭函数的性质 68
2.6 矩阵的核范数 70
拓展阅读建议 73
第 2 章习题 74
第 3 章 优化问题 80
3.1 优化问题 80
3.2 凸优化问题 82
3.2.1 凸优化问题的概念 82
3.2.2 凸优化问题的性质 82
3.3 Lagrange 对偶函数 85
3.3.1 Lagrange 对偶函数的定义 85
3.3.2 *优值的下界估计 87
3.3.3 Lagrange 对偶函数与共轭函数的关系 88
3.4 Lagrange 对偶问题 90
3.4.1 对偶问题的概念及例子 90
3.4.2 强对偶性 92
3.5 *优性条件 97
3.5.1 无约束优化问题的*优性条件 97
3.5.2 只含等式约束的优化问题的*优条件 98
3.5.3 只含不等式约束的优化问题的*优条件 101
3.5.4 一般形式的 Karush-Kuhn-Tucker 定理 103
3.5.5 凸优化问题的 Karush-Kuhn-Tucker 定理 109
拓展阅读建议 109
第 3 章习题 109
第 4 章 广义不等式约束与向量优化 116
4.1 广义单调性与凸性 116
4.1.1 相关概念回顾 116
4.1.2 在偏序集上取值的函数 117
4.1.3 可微函数的单调性和凸性条件 120
4.2 效用函数相关知识 122
4.2.1 偏序、全序和预序 122
4.2.2 效用函数 124
4.2.3 连续效用函数 126
4.2.4 von Neumann-Morgenstern 期望效用函数 132
4.3 广义不等式约束的凸优化问题 135
4.3.1 问题的一般形式 135
4.3.2 半定规划 136
4.3.3 一些例子 137
4.4 向量优化 141
4.4.1 向量优化问题 141
4.4.2 向量优化问题的标量化 143
4.4.3 凸向量优化问题 144
4.5 福利经济学基本定理 146
4.5.1 产品经济系统 146
4.5.2 福利经济学基本定理 148
拓展阅读建议 150
第 4 章习题 151
第 5 章 优化算法基础知识 152
5.1 算法的收敛性与收敛速度 152
5.2 一维牛顿法与割线法 154
5.3 区间分割法 157
5.4 线搜索. 161
拓展阅读建议 172
第 5 章习题 172
第 6 章 梯度下降法与共轭梯度法 174
6.1 梯度下降法 174
6.1.1 梯度下降法的基本思想与算法 174
6.1.2 强凸性 177
6.1.3 梯度下降法的收敛性与误差分析 179
6.2 共轭梯度法 183
6.2.1 无约束二次优化问题的共轭梯度法 183
6.2.2 非线性共轭梯度法 190
6.3 信赖域子问题 192
6.3.1 信赖域子问题及其*优性条件 192
6.3.2 截断共轭梯度法 194
6.4 逻辑回归问题 196
6.4.1 逻辑回归模型 196
6.4.2 模型参数估计 197
6.4.3 计算实例 202
6.4.4 多分类问题 206
拓展阅读建议 210
第 6 章习题 210
第 7 章 牛顿法与拟牛顿法 212
7.1 牛顿法. 212
7.1.1 牛顿法的基本思想 212
7.1.2 Hesse 矩阵不正定时的处理 213
7.1.3 牛顿法的收敛性 217
7.1.4 计算实例 220
7.2 拟牛顿法 226
7.2.1 拟牛顿法的基本思想 226
7.2.2 几种常用的拟牛顿法 228
7.2.3 计算实例 233
7.3 正交距离回归 238
7.3.1 变量带误差模型 238
7.3.2 正交距离回归模型 239
7.3.3 参数估计算法 240
拓展阅读建议 245
第 7 章习题 246
第 8 章 线性规划与二次规划 249
8.1 线性规划 249
8.1.1 线性规划的标准形式 249
8.1.2 线性规划的对偶问题与*优性条件 250
8.1.3 可行集的几何性质 251
8.1.4 单纯形法 252
8.1.5 启动点的计算 254
8.2 等式约束二次规划 255
8.2.1 等式约束二次规划及其*优性条件 255
8.2.2 等式约束二次规划算法 257
8.2.3 计算实例 260
8.3 不等式约束二次规划 261
8.3.1 不等式约束二次规划的*优性条件 261
8.3.2 积极集方法 262
8.3.3 启动点的计算 265
拓展阅读建议 267
第 8 章习题 267
第 9 章 约束非线性优化 269
9.1 等式约束凸优化 269
9.1.1 等式约束凸优化的*优性条件 269
9.1.2 等式约束凸优化的牛顿法 269
9.1.3 初始点不是可行点的牛顿法 271
9.1.4 计算实例 274
9.2 内点法 276
9.2.1 一个具体的例子 276
9.2.2 凸优化问题的内点法 280
9.2.3 两阶段法 283
9.3 支持向量机 284
9.3.1 支持向量机模型 284
9.3.2 求解方法 286
9.3.3 核支持向量机 293
9.3.4 计算实例 297
拓展阅读建议 301
第 9 章习题 302
第 10 章 机器学习中常用的复合优化算法 303
10.1 增广 Lagrange 函数法 303
10.1.1 对偶上升法 303
10.1.2 增广 Lagrange 乘数法 304
10.2 次梯度与次微分 306
10.2.1 扩展实值函数 306
10.2.2 闭函数 307
10.2.3 次梯度与次微分 307
10.2.4 次微分的性质 309
10.2.5 次微分的运算法则 314
10.3 交替方向乘数法 314
10.3.1 算法 314
10.3.2 收敛性分析 316
10.4 近似点算法 320
10.4.1 邻近算子 320
10.4.2 近似点梯度法 326
10.4.3 LASSO 回归问题 328
10.5 坐标下降法与分块坐标下降法 335
10.5.1 坐标下降法 335
10.5.2 分块坐标下降法 340
10.5.3 应用 341
拓展阅读建议 344
第 10 章习题 344
附录 A 特征值与特征值分解定理 346
A.1 特征值与特征向量. 346
A.2 n 阶方阵的特征分解 347
A.3 实对称矩阵的对角化与特征分解 350
A.4 实正定对称矩阵与二次型 353
附录 B 奇异值与奇异值分解定理 357
B.1 奇异值与奇异向量 357
B.2 奇异值的存在性及性质 358
B.3 奇异值分解定理 360
B.4 矩阵的低秩逼近 362
B.5 超定线性方程组与矩阵的伪逆 365
附录 C 矩阵函数的导数与微分 368
附录 D 反函数定理与隐函数存在定理 374
附录 E Sherman-Morrison 公式与 Woodbury 公式 378
部分习题答案 381
参考文献 406
1.1 欧几里得空间 中的点集 1
1.1.1 集合 1
1.1.2 欧几里得空间 的性质 2
1.1.3 中的点集拓扑 4
1.1.4 中的极限 6
1.1.5 上确界与下确界 6
1.2 连续函数 9
1.2.1 连续函数的定义与性质 9
1.2.2 上极限与下极限 11
1.2.3 上半连续性与下半连续性 13
1.3 多元函数的微分中值定理与 Taylor 公式 13
1.3.1 多元函数的微分中值定理 13
1.3.2 多元函数的 Taylor 公式 15
1.4 凸集 16
1.4.1 仿射集 16
1.4.2 凸集 17
1.4.3 凸集分离定理 18
1.5 锥 25
1.5.1 锥和凸锥 25
1.5.2 广义不等式 26
1.5.3 *小元与极小元 27
1.6 对偶锥. 28
1.6.1 对偶锥 28
1.6.2 对偶广义不等式 30
拓展阅读建议 31
第 1 章习题 31
第 2 章 凸函数 34
2.1 凸函数的定义及判定 34
2.1.1 凸函数的定义 34
2.1.2 一元凸函数的判定 35
2.1.3 多元凸函数的判定 36
2.2 凸函数的性质 41
2.2.1 一元凸函数的连续性与单边导数 41
2.2.2 多元凸函数的连续性 43
2.2.3 上图与下水平集 46
2.2.4 凸函数的极值 47
2.3 保持凸性的运算 48
2.4 应用及例子 52
2.4.1 .-范数 52
2.4.2 Jensen 不等式 56
2.4.3 凸函数/凹函数的例子 59
2.5 共轭函数 62
2.5.1 共轭函数的定义与计算实例 62
2.5.2 共轭函数的性质 68
2.6 矩阵的核范数 70
拓展阅读建议 73
第 2 章习题 74
第 3 章 优化问题 80
3.1 优化问题 80
3.2 凸优化问题 82
3.2.1 凸优化问题的概念 82
3.2.2 凸优化问题的性质 82
3.3 Lagrange 对偶函数 85
3.3.1 Lagrange 对偶函数的定义 85
3.3.2 *优值的下界估计 87
3.3.3 Lagrange 对偶函数与共轭函数的关系 88
3.4 Lagrange 对偶问题 90
3.4.1 对偶问题的概念及例子 90
3.4.2 强对偶性 92
3.5 *优性条件 97
3.5.1 无约束优化问题的*优性条件 97
3.5.2 只含等式约束的优化问题的*优条件 98
3.5.3 只含不等式约束的优化问题的*优条件 101
3.5.4 一般形式的 Karush-Kuhn-Tucker 定理 103
3.5.5 凸优化问题的 Karush-Kuhn-Tucker 定理 109
拓展阅读建议 109
第 3 章习题 109
第 4 章 广义不等式约束与向量优化 116
4.1 广义单调性与凸性 116
4.1.1 相关概念回顾 116
4.1.2 在偏序集上取值的函数 117
4.1.3 可微函数的单调性和凸性条件 120
4.2 效用函数相关知识 122
4.2.1 偏序、全序和预序 122
4.2.2 效用函数 124
4.2.3 连续效用函数 126
4.2.4 von Neumann-Morgenstern 期望效用函数 132
4.3 广义不等式约束的凸优化问题 135
4.3.1 问题的一般形式 135
4.3.2 半定规划 136
4.3.3 一些例子 137
4.4 向量优化 141
4.4.1 向量优化问题 141
4.4.2 向量优化问题的标量化 143
4.4.3 凸向量优化问题 144
4.5 福利经济学基本定理 146
4.5.1 产品经济系统 146
4.5.2 福利经济学基本定理 148
拓展阅读建议 150
第 4 章习题 151
第 5 章 优化算法基础知识 152
5.1 算法的收敛性与收敛速度 152
5.2 一维牛顿法与割线法 154
5.3 区间分割法 157
5.4 线搜索. 161
拓展阅读建议 172
第 5 章习题 172
第 6 章 梯度下降法与共轭梯度法 174
6.1 梯度下降法 174
6.1.1 梯度下降法的基本思想与算法 174
6.1.2 强凸性 177
6.1.3 梯度下降法的收敛性与误差分析 179
6.2 共轭梯度法 183
6.2.1 无约束二次优化问题的共轭梯度法 183
6.2.2 非线性共轭梯度法 190
6.3 信赖域子问题 192
6.3.1 信赖域子问题及其*优性条件 192
6.3.2 截断共轭梯度法 194
6.4 逻辑回归问题 196
6.4.1 逻辑回归模型 196
6.4.2 模型参数估计 197
6.4.3 计算实例 202
6.4.4 多分类问题 206
拓展阅读建议 210
第 6 章习题 210
第 7 章 牛顿法与拟牛顿法 212
7.1 牛顿法. 212
7.1.1 牛顿法的基本思想 212
7.1.2 Hesse 矩阵不正定时的处理 213
7.1.3 牛顿法的收敛性 217
7.1.4 计算实例 220
7.2 拟牛顿法 226
7.2.1 拟牛顿法的基本思想 226
7.2.2 几种常用的拟牛顿法 228
7.2.3 计算实例 233
7.3 正交距离回归 238
7.3.1 变量带误差模型 238
7.3.2 正交距离回归模型 239
7.3.3 参数估计算法 240
拓展阅读建议 245
第 7 章习题 246
第 8 章 线性规划与二次规划 249
8.1 线性规划 249
8.1.1 线性规划的标准形式 249
8.1.2 线性规划的对偶问题与*优性条件 250
8.1.3 可行集的几何性质 251
8.1.4 单纯形法 252
8.1.5 启动点的计算 254
8.2 等式约束二次规划 255
8.2.1 等式约束二次规划及其*优性条件 255
8.2.2 等式约束二次规划算法 257
8.2.3 计算实例 260
8.3 不等式约束二次规划 261
8.3.1 不等式约束二次规划的*优性条件 261
8.3.2 积极集方法 262
8.3.3 启动点的计算 265
拓展阅读建议 267
第 8 章习题 267
第 9 章 约束非线性优化 269
9.1 等式约束凸优化 269
9.1.1 等式约束凸优化的*优性条件 269
9.1.2 等式约束凸优化的牛顿法 269
9.1.3 初始点不是可行点的牛顿法 271
9.1.4 计算实例 274
9.2 内点法 276
9.2.1 一个具体的例子 276
9.2.2 凸优化问题的内点法 280
9.2.3 两阶段法 283
9.3 支持向量机 284
9.3.1 支持向量机模型 284
9.3.2 求解方法 286
9.3.3 核支持向量机 293
9.3.4 计算实例 297
拓展阅读建议 301
第 9 章习题 302
第 10 章 机器学习中常用的复合优化算法 303
10.1 增广 Lagrange 函数法 303
10.1.1 对偶上升法 303
10.1.2 增广 Lagrange 乘数法 304
10.2 次梯度与次微分 306
10.2.1 扩展实值函数 306
10.2.2 闭函数 307
10.2.3 次梯度与次微分 307
10.2.4 次微分的性质 309
10.2.5 次微分的运算法则 314
10.3 交替方向乘数法 314
10.3.1 算法 314
10.3.2 收敛性分析 316
10.4 近似点算法 320
10.4.1 邻近算子 320
10.4.2 近似点梯度法 326
10.4.3 LASSO 回归问题 328
10.5 坐标下降法与分块坐标下降法 335
10.5.1 坐标下降法 335
10.5.2 分块坐标下降法 340
10.5.3 应用 341
拓展阅读建议 344
第 10 章习题 344
附录 A 特征值与特征值分解定理 346
A.1 特征值与特征向量. 346
A.2 n 阶方阵的特征分解 347
A.3 实对称矩阵的对角化与特征分解 350
A.4 实正定对称矩阵与二次型 353
附录 B 奇异值与奇异值分解定理 357
B.1 奇异值与奇异向量 357
B.2 奇异值的存在性及性质 358
B.3 奇异值分解定理 360
B.4 矩阵的低秩逼近 362
B.5 超定线性方程组与矩阵的伪逆 365
附录 C 矩阵函数的导数与微分 368
附录 D 反函数定理与隐函数存在定理 374
附录 E Sherman-Morrison 公式与 Woodbury 公式 378
部分习题答案 381
参考文献 406
展开全部
书友推荐
- >
我从未如此眷恋人间
我从未如此眷恋人间
¥32.4¥49.8 - >
巴金－再思录
巴金－再思录
¥14.7¥46.0 - >
企鹅口袋书系列·伟大的思想20:论自然选择(英汉双语)
企鹅口袋书系列·伟大的思想20:论自然选择(英汉双语)
¥6.3¥14.0 - >
月亮与六便士
月亮与六便士
¥18.1¥42.0 - >
人文阅读与收藏·良友文学丛书:一天的工作
人文阅读与收藏·良友文学丛书:一天的工作
¥14.7¥45.8 - >
罗庸西南联大授课录
罗庸西南联大授课录
¥13.8¥32.0 - >
有舍有得是人生
有舍有得是人生
¥17.1¥45.0 - >
李白与唐代文化
李白与唐代文化
¥8.9¥29.8
