数据工程应用微服务开发实践 版权信息
- ISBN:9787302668268
- 条形码:9787302668268 ; 978-7-302-66826-8
- 装帧:70g胶版纸
- 册数:暂无
- 重量:暂无
- 所属分类:>
数据工程应用微服务开发实践 本书特色
【本书特色】(1)详细讲解数据工程应用相关概念,重点介绍微服务与数据工程的原理概述,基于微服务的数据工程应用开发环境构建、服务运行与跟踪、服务通信与配置,基于微服务的国产自主可控数据库实践,相关系统开发实践等。
(2)结合微服务发展技术指导传统数据工程应用的开发实践。
(3)引入当今对国产自主可控数据库的要求,详细讲解在微服务技术条件下国产化数据库的安装、配置与使用。
(4)采用经典的数据工程应用案例分析。
挖掘数据价值,详解微服务技术在数据工程中的应用
数据工程应用微服务开发实践 内容简介
本书从微服务与数据工程的相关概述出发,从工程项目的实际构建与开发的角度,阐述了基于微服务的数据工程应用开发过程中的关键技术及实例。
本书主要介绍基于微服务的数据工程应用开发实践的相关概念和过程,可作为计算机科学与技术、软件工程、数据科学与大数据技术、指挥信息系统等相关专业本科高年级专业实践课程或应用课程教材,也可作为数据工程开发人员的参考书。
数据工程应用微服务开发实践 目录
第1章 微服务与数据工程概述……………………………………………………………… 1
1.1 微服务概述 ………………………………………………………………………… 1
1.1.1 Spring MVC ……………………………………………………………… 1
1.1.2 SpringBoot ……………………………………………………………… 3
1.1.3 SpringCloud……………………………………………………………… 3
1.2 数据工程原理与应用概述 ………………………………………………………… 6
1.2.1 相关概念…………………………………………………………………… 6
1.2.2 数据工程发展历程 ……………………………………………………… 13
1.2.3 数据工程与信息工程领域的关系 ……………………………………… 14
1.3 基于微服务的数据工程应用开发………………………………………………… 17
1.3.1 数据工程应用微服务架构 ……………………………………………… 17
1.3.2 基于微服务的数据工程应用开发原则 ………………………………… 19
1.3.3 基于微服务的数据工程应用开发流程 ………………………………… 22
第2章 基于微服务的数据工程应用开发环境构建 ……………………………………… 25
2.1 安装与配置Java环境 …………………………………………………………… 25
2.1.1 Linux下JDK1.8环境的安装与配置 ………………………………… 25
2.1.2 Windows下JDK1.8环境的安装与配置……………………………… 27
2.2 安装与配置 Eclipse ……………………………………………………………… 28
2.2.1 Linux下 Eclipse的安装与配置 ………………………………………… 28
2.2.2 Windows下 Eclipse的安装与配置 …………………………………… 30
2.3 安装与配置 Maven ……………………………………………………………… 33
2.3.1 Linux下 Maven的安装与配置 ………………………………………… 33
2.3.2 Windows下 Maven的安装与配置 …………………………………… 34
2.4 安装与配置 SpringBoot ………………………………………………………… 38
2.5 安装与配置 SpringCloud ……………………………………………………… 41
2.5.1 EurekaServer配置 ……………………………………………………… 42
2.5.2 EurekaClient配置 ……………………………………………………… 43
2.5.3 Feign配置 ……………………………………………………………… 43
第3章 基于微服务的数据工程应用服务运行与跟踪 …………………………………… 45
3.1 微服务启动与运行………………………………………………………………… 45
3.1.1 服务拆分 ………………………………………………………………… 45
3.1.2 服务注册与发现 ………………………………………………………… 48
3.1.3 服务消费 ………………………………………………………………… 52
3.2 微服务负载均衡…………………………………………………………………… 54
3.2.1 Ribbon负载均衡 ………………………………………………………… 54
3.2.2 Feign应用负载均衡 …………………………………………………… 55
3.3 微服务保护………………………………………………………………………… 56
3.3.1 服务熔断 ………………………………………………………………… 56
3.3.2 服务自动扩展 …………………………………………………………… 59
3.4 微服务跟踪………………………………………………………………………… 62
3.4.1 Zipkin微服务跟踪 ……………………………………………………… 62
3.4.2 Sleuth微服务跟踪 ……………………………………………………… 66
3.4.3 ELK 微服务跟踪 ………………………………………………………… 70
第4章 基于微服务的数据工程应用服务通信与配置 …………………………………… 75
4.1 微服务消息驱动…………………………………………………………………… 75
4.1.1 RabbitMQ 框架 ………………………………………………………… 75
4.1.2 ApacheKafka框架 ……………………………………………………… 82
4.2 微服务集群网关…………………………………………………………………… 86
4.2.1 Nginx集群网关 ………………………………………………………… 87
4.2.2 Zuul集群网关 …………………………………………………………… 91
4.3 微服务集群配置…………………………………………………………………… 94
4.3.1 SpringCloudConfig集群配置中心 …………………………………… 95
4.3.2 ZooKeeper集群管理 …………………………………………………… 95
第5章 基于微服务的国产自主可控数据库实践………………………………………… 100
5.1 微服务通用数据库配置与部署 ………………………………………………… 100
5.1.1 离线安装 MySQL ……………………………………………………… 100
5.1.2 集群配置整合应用……………………………………………………… 102
5.1.3 配置 MySQL …………………………………………………………… 103
5.2 达梦数据库的配置与部署 ……………………………………………………… 105
5.2.1 安装简介………………………………………………………………… 105
5.2.2 硬件环境需求…………………………………………………………… 105
5.2.3 软件环境需求…………………………………………………………… 105
5.2.4 达梦数据库的安装……………………………………………………… 106
5.2.5 达梦数据库的卸载……………………………………………………… 117
5.2.6 许可证安装……………………………………………………………… 120
5.3 神通数据库配置与部署 ………………………………………………………… 120
5.3.1 启动安装程序…………………………………………………………… 120
5.3.2 安装过程………………………………………………………………… 120
5.3.3 数据库配置……………………………………………………………… 126
5.3.4 停止数据库服务………………………………………………………… 131
5.4 人大金仓数据库的配置与部署 ………………………………………………… 131
5.4.1 软硬件环境需求………………………………………………………… 131
5.4.2 金仓数据库的安装……………………………………………………… 132
5.4.3 数据库初始化…………………………………………………………… 139
5.5 GBase8s数据库配置与部署 …………………………………………………… 141
5.5.1 GBase8s数据库软硬件环境需求 ……………………………………… 141
5.5.2 环境准备………………………………………………………………… 142
5.5.3 GBase8s数据库安装 …………………………………………………… 142
5.5.4 GBase8s数据库的卸载 ………………………………………………… 146
5.5.5 启动/停止数据库服务 ………………………………………………… 147
第6章 基于微服务的数据汇聚系统开发实践…………………………………………… 150
6.1 数据汇聚系统功能概述 ………………………………………………………… 150
6.1.1 权限与安全……………………………………………………………… 150
6.1.2 数据融合………………………………………………………………… 151
6.2 用户权限与安全模块的设计与开发 …………………………………………… 151
6.2.1 前端页面设计…………………………………………………………… 151
6.2.2 数据库结构设计………………………………………………………… 154
6.2.3 权限与安全模块编码开发……………………………………………… 155
6.3 数据融合模块的设计与开发 …………………………………………………… 161
6.3.1 前端页面设计…………………………………………………………… 162
6.3.2 数据库结构设计………………………………………………………… 163
6.3.3 模块编码开发…………………………………………………………… 165
第7章 数据获取与分析应用微服务开发与实践………………………………………… 172
7.1 相关环境与配置 ………………………………………………………………… 172
7.1.1 Python3环境安装与配置 ……………………………………………… 172
7.1.2 Redis环境安装与配置 ………………………………………………… 173
7.2 数据分析应用服务架构设计 …………………………………………………… 175
7.3 数据库设计与实践 ……………………………………………………………… 176
7.4 数据获取微服务的开发与实践 ………………………………………………… 176
7.5 数据分析微服务开发与实践 …………………………………………………… 178
7.5.1 定义神经网络变量……………………………………………………… 179
7.5.2 LSTM 函数定义 ……………………………………………………… 179
7.5.3 训练模型函数…………………………………………………………… 180
7.5.4 预测模型………………………………………………………………… 180
7.5.5 结果对比………………………………………………………………… 182 参考文献……………………………………………………………………………………… 185
展开全部
数据工程应用微服务开发实践 作者简介
马武彬,国防科技大学系统工程学院副研究员,研究方向为数据工程、数据分析、信息物理融合系统、微服务应用等。全军ZZ数据工程总师组成员、全军战X工程数据应用分系统副总师。英国拉夫堡大学访问学者。连续5年担任数据工程专业课程数据工程应用与实践主讲老师。作为技术负责人长期参与军队重大工程,作为技术骨干对全军重大项目3XXk、6XX装备数据工程信息资源建设与分析、“战XX”系统关键技术攻关、6XX辅助决策支持系统等工程进行设计与开发实现。发表论文20余篇,出版教材2部,获军队科技进步三等奖1项。