**部分 spark mllib基础第1章 spark机器学习简介 21.1 机器学习介绍 21.2 spark介绍 31.3 spark mllib介绍 4第2章 spark数据操作 62.1 spark rdd操作 62.1.1 spark rdd创建操作 62.1.2 spark rdd转换操作 72.1.3 spark rdd行动操作 142.2 mllib statistics统计操作 152.2.1 列统计汇总 152.2.2 相关系数 162.2.3 假设检验 182.3 mllib数据格式 182.3.1 数据处理 182.3.2 生成样本 22第3章 spark mllib矩阵向量 263.1 breeze介绍 263.1.1 breeze创建函数 273.1.2 breeze元素访问及操作函数 293.1.3 breeze数值计算函数 343.1.4 breeze求和函数 353.1.5 breeze布尔函数 363.1.6 breeze线性代数函数 373.1.7 breeze取整函数 393.1.8 breeze常量函数 403.1.9 breeze复数函数 403.1.10 breeze三角函数 403.1.11 breeze对数和指数函数 403.2 blas介绍 413.2.1 blas向量-向量运算 423.2.2 blas矩阵-向量运算 423.2.3 blas矩阵-矩阵运算 433.3 mllib向量 433.3.1 mllib向量介绍 433.3.2 mllib vector接口 443.3.3 mllib densevector类 463.3.4 mllib sparsevector类 493.3.5 mllib vectors伴生对象 503.4 mllib矩阵 573.4.1 mllib矩阵介绍 573.4.2 mllib matrix接口 573.4.3 mllib densematrix类 593.4.4 mllib sparsematrix类 643.4.5 mllib matrix伴生对象 713.5 mllib blas 773.6 mllib分布式矩阵 933.6.1 mllib分布式矩阵介绍 933.6.2 行矩阵(rowmatrix) 943.6.3 行索引矩阵(indexedrowmatrix) 963.6.4 坐标矩阵(coordinatematrix) 973.6.5 分块矩阵(blockmatrix) 98第二部分 spark mllib回归算法第4章 spark mllib线性回归算法 1024.1 线性回归算法 1024.1.1 数学模型 1024.1.2 *小二乘法 1054.1.3 梯度下降算法 1054.2 源码分析 1064.2.1 建立线性回归 1084.2.2 模型训练run方法 1114.2.3 权重优化计算 1144.2.4 线性回归模型 1214.3 实例 1234.3.1 训练数据 1234.3.2 实例代码 123第5章 spark mllib逻辑回归算法 1265.1 逻辑回归算法 1265.1.1 数学模型 1265.1.2 梯度下降算法 1285.1.3 正则化 1295.2 源码分析 1325.2.1 建立逻辑回归 1345.2.2 模型训练run方法 1375.2.3 权重优化计算 1375.2.4 逻辑回归模型 1445.3 实例 1485.3.1 训练数据 1485.3.2 实例代码 148第6章 spark mllib保序回归算法 1516.1 保序回归算法 1516.1.1 数学模型 1516.1.2 l2保序回归算法 1536.2 源码分析 1536.2.1 建立保序回归 1546.2.2 模型训练run方法 1566.2.3 并行pav计算 1566.2.4 pav计算 1576.2.5 保序回归模型 1596.3 实例 1646.3.1 训练数据 1646.3.2 实例代码 164第三部分 spark mllib分类算法第7章 spark mllib贝叶斯分类算法 1707.1 贝叶斯分类算法 1707.1.1 贝叶斯定理 1707.1.2 朴素贝叶斯分类 1717.2 源码分析 1737.2.1 建立贝叶斯分类 1737.2.2 模型训练run方法 1767.2.3 贝叶斯分类模型 1797.3 实例 1817.3.1 训练数据 1817.3.2 实例代码 182第8章 spark mllib svm支持向量机算法 1848.1 svm支持向量机算法 1848.1.1 数学模型 1848.1.2 拉格朗日 1868.2 源码分析 1898.2.1 建立线性svm分类 1918.2.2 模型训练run方法 1948.2.3 权重优化计算 1948.2.4 线性svm分类模型 1968.3 实例 1998.3.1 训练数据 1998.3.2 实例代码 199第9章 spark mllib决策树算法 2029.1 决策树算法 2029.1.1 决策树 2029.1.2 特征选择 2039.1.3 决策树生成 2059.1.4 决策树生成实例 2069.1.5 决策树的剪枝 2089.2 源码分析 2099.2.1 建立决策树 2119.2.2 建立随机森林 2169.2.3 建立元数据 2209.2.4 查找特征的分裂及划分 2239.2.5 查找*好的分裂顺序 2289.2.6 决策树模型 2319.3 实例 2349.3.1 训练数据 2349.3.2 实例代码 234第四部分 spark mllib聚类算法第10章 spark mllib kmeans聚类算法 23810.1 kmeans聚类算法 23810.1.1 kmeans算法 23810.1.2 演示kmeans算法 23910.1.3 初始化聚类中心点 23910.2 源码分析 24010.2.1 建立kmeans聚类 24210.2.2 模型训练run方法 24710.2.3 聚类中心点计算 24810.2.4 中心点初始化 25110.2.5 快速距离计算 25410.2.6 kmeans聚类模型 25510.3 实例 25810.3.1 训练数据 25810.3.2 实例代码 259第11章 spark mllib lda主题模型算法 26111.1 lda主题模型算法 26111.1.1 lda概述 26111.1.2 lda概率统计基础 26211.1.3 lda数学模型 26411.2 graphx基础 26711.3 源码分析 27011.3.1 建立lda主题模型 27211.3.2 优化计算 27911.3.3 lda模型 28311.4 实例 28811.4.1 训练数据 28811.4.2 实例代码 288第五部分 spark mllib关联规则挖掘算法第12章 spark mllib fpgrowth关联规则算法 29212.1 fpgrowth关联规则算法 29212.1.1 基本概念 29212.1.2 fpgrowth算法 29312.1.3 演示fp树构建 29412.1.4 演示fp树挖掘 29612.2 源码分析 29812.2.1 fpgrowth类 29812.2.2 关联规则挖掘 30012.2.3 fptree类 30312.2.4 fpgrowthmodel类 30612.3 实例 30612.3.1 训练数据 30612.3.2 实例代码 306第六部分 spark mllib推荐算法第13章 spark mllib als交替*小二乘算法 31013.1 als交替*小二乘算法 31013.2 源码分析 31213.2.1 建立als 31413.2.2 矩阵分解计算 32213.2.3 als模型 32913.3 实例 33413.3.1 训练数据 33413.3.2 实例代码 334第14章 spark mllib协同过滤推荐算法 33714.1 协同过滤推荐算法 33714.1.1 协同过滤推荐概述 33714.1.2 用户评分 33814.1.3 相似度计算 33814.1.4 推荐计算 34014.2 协同推荐算法实现 34114.2.1 相似度计算 34414.2.2 协同推荐计算 34814.3 实例 35014.3.1 训练数据 35014.3.2 实例代码 350第七部分 spark mllib神经网络算法第15章 spark mllib神经网络算法综述 35415.1 人工神经网络算法 35415.1.1 神经元 35415.1.2 神经网络模型 35515.1.3 信号前向传播 35615.1.4 误差反向传播 35715.1.5 其他参数 36015.2 神经网络算法实现 36115.2.1 神经网络类 36315.2.2 训练准备 37015.2.3 前向传播 37515.2.4 误差反向传播 37715.2.5 权重更新 38115.2.6 ann模型 38215.3 实例 38415.3.1 测试数据 38415.3.2 测试函数代码 38715.3.3 实例代码 388