-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
深度学习
-
>
Unreal Engine 4蓝图完全学习教程
-
>
深入理解计算机系统-原书第3版
-
>
Word/Excel PPT 2013办公应用从入门到精通-(附赠1DVD.含语音视频教学+办公模板+PDF电子书)
并行数据挖掘及性能优化——关联规则与数据相关性分析 版权信息
- ISBN:9787121375828
- 条形码:9787121375828 ; 978-7-121-37582-8
- 装帧:一般胶版纸
- 册数:暂无
- 重量:暂无
- 所属分类:>
并行数据挖掘及性能优化——关联规则与数据相关性分析 本书特色
大数据的战略意义不在于拥有庞大的数据资源,而在于提高对数据的"加工能力”,通过"加工”实现数据的"增值”,数据挖掘是实现大数据知识发现的有效手段和途径。关联规则作为数据挖掘领域中的一个主要研究内容,可以在不知道或无法确定数据的关联函数或模型时,有效发现大量数据项集之间有趣的关联信息。现有的关联规则挖掘算法因其时空复杂性和I/O代价高,无法适应大数据分析处理任务。本书围绕大数据时代数据处理的核心理论与技术问题,将数据挖掘技术,并行算法设计及考虑计算模型的优化技术有机结合,充分利用集群系统的强大数据处理能力,研究了面向大数据的关联规则挖掘方法和数据放置、负载均衡等性能优化技术。
并行数据挖掘及性能优化——关联规则与数据相关性分析 内容简介
本书围绕大数据时代数据处理的核心理论与技术问题, 将数据挖掘技术, 并行算法设计及考虑计算模型的优化技术有机结合, 充分利用集群系统的强大数据处理能力, 研究了面向大数据的关联规则挖掘方法和数据放置、负载均衡等性能优化技术。
并行数据挖掘及性能优化——关联规则与数据相关性分析 目录
**篇 基础理论篇
第1章 绪论 3
1.1 数据挖掘 4
1.1.1 数据挖掘的产生和定义 4
1.1.2 数据挖掘的任务与分类 6
1.1.3 研究前沿和发展趋势 8
1.2 关联规则 9
1.2.1 关联规则及其分类 9
1.2.2 关联规则挖掘算法 12
1.3 集群系统与并行计算模型 17
1.3.1 集群系统 17
1.3.2 并行计算模型 18
1.3.3 大数据处理架构Hadoop与Spark 21
1.4 大数据环境下的数据挖掘及应用 27
1.4.1 大数据 27
1.4.2 大数据挖掘及应用 29
第2章 MapReduce集群环境下的数据放置策略 33
2.1 引言 34
2.2 数据放置策略的关键问题与度量标准 35
2.3 数据放置策略的优化 37
2.3.1 MapReduce集群系统能耗与数据放置策略 38
2.3.2 负载均衡的数据放置策略 41
2.3.3 改善I/O性能与通信负载的数据放置策略 46
2.3.4 考虑其他因素的数据放置策略 49
2.4 数据放置策略的分析与归纳 50
2.5 本章小结 53
第二篇 关联规则并行挖掘及性能优化篇
第3章 压缩后缀链表与并行频繁项集挖掘算法 61
3.1 问题提出 62
3.2 基础理论 63
3.3 基于MapReduce的频繁项集挖掘算法 65
3.3.1 **个MapReduce作业 67
3.3.2 第二个MapReduce作业 67
3.4 实验评价 68
3.4.1 *小支持度 69
3.4.2 可扩展性 70
3.4.3 加速比 70
3.5 本章小结 71
第4章 FIUT算法与频繁项集并行挖掘 73
4.1 引言 74
4.2 FIUT算法描述 76
4.3 FiDoop算法概述 77
4.4 基于MapReduce的FiDoop算法 81
4.4.1 **个MapReduce作业 83
4.4.2 第二个MapReduce作业 83
4.4.3 第三个MapReduce作业 84
4.5 实现细节 87
4.5.1 负载均衡 87
4.5.2 高维优化 88
4.6 FiDoop-HD算法 90
4.7 实验评价 92
4.7.1 *小支持度 93
4.7.2 负载均衡 95
4.7.3 加速比 96
4.7.4 可扩展性 97
4.8 本章小结 98
第5章 MapReduce编程模型下的约束频繁项集并行挖掘算法 101
5.1 问题提出 102
5.2 约束频繁项集挖掘算法的并行化 103
5.3 基于MapReduce的约束频繁项集并行挖掘 105
5.4 基于MapReduce的约束频繁项集并行挖掘算法(PACFP) 108
5.4.1 并行化计数过程 108
5.4.2 并行化CFP-Growth算法 109
5.4.3 结果聚合 111
5.5 负载均衡 111
5.6 实验结果及分析 112
5.6.1 *小支持度 113
5.6.2 可伸缩性 115
5.6.3 可扩展性 116
5.6.4 约束条件判断的代价分析 117
5.6.5 负载均衡 118
5.7 本章小结 120
第6章 支持并行频繁项集挖掘的数据划分策略 121
6.1 引言 122
6.1.1 FiDoop-DP算法的研发动机 123
6.1.2 FiDoop-DP算法要解决的数据划分问题 124
6.1.3 FiDoop-DP算法的基本思想 125
6.2 并行FP-Growth算法 126
6.3 相关工作 128
6.3.1 MapReduce下的数据划分 128
6.3.2 应用系统相关的数据划分 129
6.4 问题陈述和设计目标 131
6.4.1 基本方法与问题陈述 131
6.4.2 设计目标 132
6.5 数据划分策略 133
6.5.1 距离度量 134
6.5.2 K-Means算法种子点的选择 135
6.5.3 划分策略 135
6.6 实现细节 138
6.7 实验评价 143
6.7.1 种子点个数对算法的影响 143
6.7.2 *小支持度对算法的影响 145
6.7.3 数据特征对算法的影响 147
6.7.4 加速比 149
6.7.5 可扩展性 150
6.8 本章小结 151
第7章 频繁项集并行化过程中的重定向任务调度 153
7.1 问题提出 154
7.2 重定向任务调度算法 156
7.2.1 数据本地化的重要性 156
7.2.2 计算响应时间 157
7.2.3 重定向任务调度算法的设计 158
7.3 实验结果及分析 160
7.3.1 有效性 160
7.3.2 可扩展性 161
7.3.3 稳定性 162
7.4 本章小结 163
第8章 基于Spark内存计算的并行频繁项集挖掘及优化 165
8.1 引言 166
8.2 FP-Growth 算法的并行化分析 167
8.3 Spark环境下的均衡FP-Growth算法 169
8.3.1 负载均衡的分组策略 169
8.3.2 负载均衡的FP-Growth算法并行化 172
8.4 实验评价 174
8.4.1 算法执行效率 175
8.4.2 加速比 176
8.4.3 可扩展性 177
8.5 本章小结 178
第三篇 应 用 篇
第9章 冷轧辊加工质量管理过程相关性分析 181
9.1 引言 182
9.2 系统需求与总体设计 184
9.2.1 轧辊生产工艺流程 184
9.2.2 冷轧辊生产质量管理特点 186
9.2.3 系统的软件体系结构及功能 188
9.3 数据预处理及关键技术 190
9.3.1 数据转换 190
9.3.2 数据清理 190
9.3.3 数据离散化 193
9.4 提取关联规则 195
9.5 系统实现及运行结果 196
9.6 本章小结 203
附录A 冷轧辊加工数据 205
附录B 冷轧辊加工数据预处理格式 207
参考文献 209
**篇 基础理论篇
第1章 绪论 3
1.1 数据挖掘 4
1.1.1 数据挖掘的产生和定义 4
1.1.2 数据挖掘的任务与分类 6
1.1.3 研究前沿和发展趋势 8
1.2 关联规则 9
1.2.1 关联规则及其分类 9
1.2.2 关联规则挖掘算法 12
1.3 集群系统与并行计算模型 17
1.3.1 集群系统 17
1.3.2 并行计算模型 18
1.3.3 大数据处理架构Hadoop与Spark 21
1.4 大数据环境下的数据挖掘及应用 27
1.4.1 大数据 27
1.4.2 大数据挖掘及应用 29
第2章 MapReduce集群环境下的数据放置策略 33
2.1 引言 34
2.2 数据放置策略的关键问题与度量标准 35
2.3 数据放置策略的优化 37
2.3.1 MapReduce集群系统能耗与数据放置策略 38
2.3.2 负载均衡的数据放置策略 41
2.3.3 改善I/O性能与通信负载的数据放置策略 46
2.3.4 考虑其他因素的数据放置策略 49
2.4 数据放置策略的分析与归纳 50
2.5 本章小结 53
第二篇 关联规则并行挖掘及性能优化篇
第3章 压缩后缀链表与并行频繁项集挖掘算法 61
3.1 问题提出 62
3.2 基础理论 63
3.3 基于MapReduce的频繁项集挖掘算法 65
3.3.1 **个MapReduce作业 67
3.3.2 第二个MapReduce作业 67
3.4 实验评价 68
3.4.1 *小支持度 69
3.4.2 可扩展性 70
3.4.3 加速比 70
3.5 本章小结 71
第4章 FIUT算法与频繁项集并行挖掘 73
4.1 引言 74
4.2 FIUT算法描述 76
4.3 FiDoop算法概述 77
4.4 基于MapReduce的FiDoop算法 81
4.4.1 **个MapReduce作业 83
4.4.2 第二个MapReduce作业 83
4.4.3 第三个MapReduce作业 84
4.5 实现细节 87
4.5.1 负载均衡 87
4.5.2 高维优化 88
4.6 FiDoop-HD算法 90
4.7 实验评价 92
4.7.1 *小支持度 93
4.7.2 负载均衡 95
4.7.3 加速比 96
4.7.4 可扩展性 97
4.8 本章小结 98
第5章 MapReduce编程模型下的约束频繁项集并行挖掘算法 101
5.1 问题提出 102
5.2 约束频繁项集挖掘算法的并行化 103
5.3 基于MapReduce的约束频繁项集并行挖掘 105
5.4 基于MapReduce的约束频繁项集并行挖掘算法(PACFP) 108
5.4.1 并行化计数过程 108
5.4.2 并行化CFP-Growth算法 109
5.4.3 结果聚合 111
5.5 负载均衡 111
5.6 实验结果及分析 112
5.6.1 *小支持度 113
5.6.2 可伸缩性 115
5.6.3 可扩展性 116
5.6.4 约束条件判断的代价分析 117
5.6.5 负载均衡 118
5.7 本章小结 120
第6章 支持并行频繁项集挖掘的数据划分策略 121
6.1 引言 122
6.1.1 FiDoop-DP算法的研发动机 123
6.1.2 FiDoop-DP算法要解决的数据划分问题 124
6.1.3 FiDoop-DP算法的基本思想 125
6.2 并行FP-Growth算法 126
6.3 相关工作 128
6.3.1 MapReduce下的数据划分 128
6.3.2 应用系统相关的数据划分 129
6.4 问题陈述和设计目标 131
6.4.1 基本方法与问题陈述 131
6.4.2 设计目标 132
6.5 数据划分策略 133
6.5.1 距离度量 134
6.5.2 K-Means算法种子点的选择 135
6.5.3 划分策略 135
6.6 实现细节 138
6.7 实验评价 143
6.7.1 种子点个数对算法的影响 143
6.7.2 *小支持度对算法的影响 145
6.7.3 数据特征对算法的影响 147
6.7.4 加速比 149
6.7.5 可扩展性 150
6.8 本章小结 151
第7章 频繁项集并行化过程中的重定向任务调度 153
7.1 问题提出 154
7.2 重定向任务调度算法 156
7.2.1 数据本地化的重要性 156
7.2.2 计算响应时间 157
7.2.3 重定向任务调度算法的设计 158
7.3 实验结果及分析 160
7.3.1 有效性 160
7.3.2 可扩展性 161
7.3.3 稳定性 162
7.4 本章小结 163
第8章 基于Spark内存计算的并行频繁项集挖掘及优化 165
8.1 引言 166
8.2 FP-Growth 算法的并行化分析 167
8.3 Spark环境下的均衡FP-Growth算法 169
8.3.1 负载均衡的分组策略 169
8.3.2 负载均衡的FP-Growth算法并行化 172
8.4 实验评价 174
8.4.1 算法执行效率 175
8.4.2 加速比 176
8.4.3 可扩展性 177
8.5 本章小结 178
第三篇 应 用 篇
第9章 冷轧辊加工质量管理过程相关性分析 181
9.1 引言 182
9.2 系统需求与总体设计 184
9.2.1 轧辊生产工艺流程 184
9.2.2 冷轧辊生产质量管理特点 186
9.2.3 系统的软件体系结构及功能 188
9.3 数据预处理及关键技术 190
9.3.1 数据转换 190
9.3.2 数据清理 190
9.3.3 数据离散化 193
9.4 提取关联规则 195
9.5 系统实现及运行结果 196
9.6 本章小结 203
附录A 冷轧辊加工数据 205
附录B 冷轧辊加工数据预处理格式 207
参考文献 209
并行数据挖掘及性能优化——关联规则与数据相关性分析 作者简介
荀亚玲,女,1980年生,山西临汾霍州人,博士,现任太原科技大学计算机科学与技术学院副教授。在科研方面一直从事数据挖掘和并行与分布式计算等方面的研究工作。在关联规则挖掘、天体光谱数据挖掘技术、并行与分布式计算等领域进行了理论和应用研究,已取得了一些阶段性的研究成果。先后参与了多项国家自然科学基金、国家"863”高技术发展计划基金项目子课题。主持国家青年基金项目1项("MapReduce集群环境下的恒星光谱关联规则挖掘及性能优化”项目(编号:61602335))。在《IEEE Transactions on Systems, Man, and Cybernetics: Systems》、《软件学报》等国内外期刊上, 已公开发表了第一作者学术论文若干,其中: SCI收录1篇, EI收录2篇;在《Soft Computing》、《Knowledge-Based Systems》、《软件学报》等期刊上,合作发表了论文十余篇;此外,以第一作者撰写的《FiDoop-DP: Data Partitioning in Frequent Itemset Mining on Hadoop Clusters》论文,已被CCF推荐的A类国际**SCI期刊《IEEE Transactions on Parallel and Distributed Systems 》,于2016年5月录用。2016年5月,《一种基于云存储的校园安防系统》获授权国家专利,专利号:ZL 2015 2 1058772.7。
- >
罗曼·罗兰读书随笔-精装
罗曼·罗兰读书随笔-精装
¥17.4¥58.0 - >
朝闻道
朝闻道
¥15.0¥23.8 - >
月亮虎
月亮虎
¥14.4¥48.0 - >
自卑与超越
自卑与超越
¥29.9¥39.8 - >
大红狗在马戏团-大红狗克里弗-助人
大红狗在马戏团-大红狗克里弗-助人
¥5.1¥10.0 - >
名家带你读鲁迅:故事新编
名家带你读鲁迅:故事新编
¥13.0¥26.0 - >
人文阅读与收藏·良友文学丛书:一天的工作
人文阅读与收藏·良友文学丛书:一天的工作
¥14.7¥45.8 - >
有舍有得是人生
有舍有得是人生
¥14.4¥45.0
-
”互联网+“时代计算机算法的应用及其实践研究
¥19.9¥59 -
微服务设计
¥52.8¥69 -
图说深度学习:用可视化方法理解复杂概念
¥109¥188 -
计算机基础
¥17.2¥31 -
改变未来的九大算法
¥50¥68 -
生成式AI入门与AWS实战
¥77.8¥99.8