-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
深度学习
-
>
Unreal Engine 4蓝图完全学习教程
-
>
深入理解计算机系统-原书第3版
-
>
Word/Excel PPT 2013办公应用从入门到精通-(附赠1DVD.含语音视频教学+办公模板+PDF电子书)
时空大数据计算分析与应用 版权信息
- ISBN:9787030733917
- 条形码:9787030733917 ; 978-7-03-073391-7
- 装帧:一般胶版纸
- 册数:暂无
- 重量:暂无
- 所属分类:>
时空大数据计算分析与应用 本书特色
本书可作为高等院校地理信息科学、遥感科学与技术、信息科学技术等相关专业学生的教材,也可供从事地理信息相关领域的从业人员参考,还可作为对地理信息科学前沿感兴趣的人们学习和了解时空大数据的读物。 ★内容体系结构严谨,脉络清晰,层层递进。 ★理论与实践相结合,应用性非常强。 ★本书配有作者精心制作的教学PPT,便于教师组织教学。 ★慕课已上线,方便学生学习。 内容前沿,案例丰富,配套资源适合教学
时空大数据计算分析与应用 内容简介
地理时空大数据的五个特点决定了对其的管理和应用并非易事,海量、多源、异构、动态的时空大数据对传统的数据管理模式提出了巨大的挑战,高效存储、高性能计算、智能分析和快速可视化的需求在传统的空间信息技术条件下无法被满足。面向超大规模数据提供高效管理、高性能计算、深度分析挖掘、高效可视化能力的云平台建设成为发展的重点,本书将从这几个方面理论方法与应用实践相结合,讲述时空大数据时代的新GIS方法。
时空大数据计算分析与应用 目录
前言
第1章 概述 1
1.1 GIS发展历程 1
1.1.1 空间分析缘起霍乱地图 1
1.1.2 GIS发展阶段 1
1.1.3 地理信息系统商业化 3
1.1.4 地理信息科学腾飞 3
1.1.5 地理数据爆炸式增长 4
1.2 地理信息科学研究的发展 4
1.2.1 地理时空大数据特点 5
1.2.2 大数据时代的地理学研究范式 5
1.2.3 数据驱动研究范式下的地理信息科学发展 6
1.3 地理时空大数据云平台 7
1.3.1 地理时空大数据云平台的特征 7
1.3.2 地理时空大数据云平台的组成 7
第2章 时空数据存储管理 10
2.1 关系型空间数据库 11
2.1.1 概述 11
2.1.2 常用数据库 11
2.1.3 优缺点 12
2.2 NoSQL空间数据库 12
2.2.1 概述 13
2.2.2 分类及典型应用 13
2.2.3 优缺点 15
2.3 分布式数据存储 15
2.3.1 概述 15
2.3.2 分布式文件系统 16
2.3.3 分布式数据库 17
2.4 时空数据索引 19
2.4.1 经典空间索引 19
2.4.2 分布式空间索引 23
2.4.3 稀疏-稠密空间格网R*树索引 26
2.4.4 静态多级格网索引 27
2.5 实例——基于HBase的地表覆盖数据存储与索引设计 28
2.5.1 数据特点 29
2.5.2 存储设计 30
2.5.3 索引设计 32
第3章 高性能时空大数据计算 35
3.1 时空大数据高性能计算策略 35
3.1.1 云环境下的并行计算范式 36
3.1.2 基于操作结构的并行空间计算流程 37
3.2 空间数据划分策略 41
3.2.1 面向解构的空间操作分类及其空间子域分布特征 41
3.2.2 无空间依赖空间操作的数据划分方法 44
3.2.3 弱空间依赖空间操作数据划分方法 47
3.2.4 强空间依赖空间操作数据划分方法 52
3.3 空间计算任务划分策略 55
3.3.1 多维空间子域任务计算量表示 56
3.3.2 空间子域计算代价评估 57
3.4 MapReduce、Spark、Storm分布式并行计算框架 58
3.4.1 MapReduce 58
3.4.2 Spark 59
3.4.3 Storm 60
3.4.4 MapReduce、Spark、Storm计算框架对比 61
3.5 实例——基于分布式内存计算的并行二路空间连接算法 61
3.5.1 二路空间连接 62
3.5.2 多路空间连接 62
3.5.3 基于分布式内存计算的并行二路空间连接算法设计 62
3.5.4 实验分析 65
第4章 地理时空大数据挖掘 70
4.1 地理时空大数据挖掘概述 70
4.1.1 地理时空大数据挖掘的内容 70
4.1.2 地理时空大数据挖掘的方法 72
4.2 时空大数据聚类分析 72
4.2.1 全局*优解驱动的栅格大数据聚类 73
4.2.2 基于时空密度的矢量大数据聚类 76
4.3 时空关联规则挖掘 78
4.3.1 通用关联规则挖掘方法 79
4.3.2 大数据关联规则挖掘方法 80
4.3.3 空间关联规则挖掘方法 80
4.3.4 时空关联规则挖掘方法 81
4.4 地理关系回归分析 82
4.4.1 空间回归分析 82
4.4.2 时空回归分析 83
4.4.3 地理时空神经网络加权回归 83
4.5 地理大数据挖掘模型流程定制 86
4.5.1 构建地理时空大数据挖掘模型流的意义 86
4.5.2 常用大数据挖掘模型流调度框架 86
4.5.3 Airflow 88
4.6 实例——大规模时空热点分析并行计算 90
4.6.1 时空热点 90
4.6.2 总体执行流程 91
4.6.3 热度值计算 91
4.6.4 多视角出租车轨迹热点识别 92
第5章 地理多维时空可视化 96
5.1 地理可视化概述 96
5.1.1 地理可视化的基本概念 96
5.1.2 地理可视化发展历程 97
5.2 数据加载和渲染策略 98
5.2.1 顶点压缩技术 99
5.2.2 地图瓦片构建 100
5.2.3 基于细分层级的实时高效渲染策略 106
5.3 三维可视化 108
5.3.1 三维GIS平台框架 108
5.3.2 大规模地理数据可交互式时空过程体绘制 111
5.3.3 城市三维场景可视化案例 115
5.4 免预先切片的地图瓦片服务 120
5.4.1 免预先切片技术简介 120
5.4.2 基于HBase的地表覆盖数据免预先切片方法 120
第6章 面向智慧城市的时空信息云平台实例 127
6.1 平台设计 127
6.2 存储层构建 129
6.2.1 混合存储方案 129
6.2.2 构建索引 131
6.2.3 构建多尺度矢量瓦片 132
6.3 计算层构建 133
6.4 分析层构建 137
第7章 基于时空信息云平台的应用 139
7.1 城市化土地利用时空演变分析 139
7.1.1 简介 139
7.1.2 数据与案例区 139
7.1.3 方法 141
7.1.4 实例分析 142
7.2 基于大数据的城市功能区划分研究 146
7.2.1 简介 146
7.2.2 数据 146
7.2.3 方法 148
7.2.4 分析与结果 149
7.3 城市交通时空结构与脆弱性研究 151
7.3.1 简介 151
7.3.2 数据 152
7.3.3 方法 153
7.3.4 分析与结果 159
7.4 城市计算视角下的公共交通模式挖掘 161
7.4.1 简介 161
7.4.2 数据 161
7.4.3 方法 162
7.4.4 分析与结果 166
主要参考文献 173
时空大数据计算分析与应用 节选
第1章概述 1.1 GIS发展历程 GIS—词由三个字母组成,G(geography)表示地理,I(information)表示信息,S在不同的时期给出了不同的定义。S*早与地理信息结合的时候是指代system(系统),随着其内涵改变进而变为science(科学)。service(服务)代表的是地理信息被更广泛地应用于生产生活,smart(智慧)则给予了地理信息发展更高的期望和美誉。 本书将从GIS发展历史说起,不是按照不同时期S隐喻的不同来划分,而是想更多地从地理作为一种信息如何为人类所利用这一角度开启GIS的篇章。这里的S没有特指是哪一个S。 1.1.1空间分析缘起霍乱地图 地图作为表达事物空间分布及联系的载体,可以看作GIS的起源,因为古代的军事作战指挥、描摹土地山川等地理形势都用上了地图①。但是更为大家认同的地图是1854年的霍乱地图。 霍乱袭击了英国伦敦市,英国医生约翰 斯诺绘制了疫情暴发地点、道路、住宅区边界和水系图。当他将这些特征添加到地图上时,发生了一些有趣的事情,大多数病例的住所都围绕在布罗德街(Broad Street)水泵附近,霍乱地图如图1.1所示。 他结合其他证据得出饮用水传播的结论,于是去掉了Broad Street水泵的把手,霍乱*终得到控制。 约翰 斯诺的霍乱地图不仅仅是用地图这一载体表达了疫情分布,而且通过空间分析发现了疾病传播的源头。约翰 斯诺通过把地理层放在一张纸质地图上,拯救了很多人的生命。 1.1.2 GIS发展阶段 2020年新年伊始,全球都被一场前所未有的新冠肺炎疫情笼罩,相比于约翰 斯诺时代的纸质地图,可以看到全球的地理人正在利用各种先进技术手段来获取、表达和分析疫情的时空发展,并期望给疫情防控提出有效建议。从200年前的纸质地图到今天的动态数字地图分析挖掘,从简单空间分析到解决复杂时空问题,GIS经历了几个发展阶段。 20世纪60~80年代是地理信息系统开拓时期。随着计算机技术的进步,学者以及政府部门等以地物坐标作为数据输入,通过大型计算机进行数据存储,使用打印机将图形映射为输出。 加拿大政府有着广袤的土地,管理人员认识到准确掌握关键要素的数据对土地规划和决策至关重要。加拿大在1964年提出土地清查的需求,利用土壤、排水和气候特征来确定作物类型和森林地区的土地容量。罗杰 汤姆林森(Roger Tomlinson)在加拿大政府任职期间,规划和指导了加拿大地理信息系统(Canada geographic information system,CGIS)的建立。CGIS被认为是地理信息系统的根源。罗杰 汤姆林森在1968年出版的《区域规划地理信息系统》一书中首次使用了“地理信息系统”一词,他也因此被誉为“地理信息系统之父”。 1967年美国人口普查局开发了数据格式GBF-DIME(地理基础文件-双独立地图编码)实现了普查的自动地理编码,数字化了人口普查边界、道路和城市地区,为GIS带来了革命性的影响。GBF-DIME文件在1990年演变为TIGER文件。 同一时期,英国的军械测量局也开始了例行的地形图绘制工作。到目前为止,英国军械调查局仍在生产许多不同的地理信息系统数据产品,包括英国每一个地区的每一栋房子、每一道栅栏和每一条河流。 中国的GIS发展起步较晚,陈述彭院士为此做出了巨大贡献。 (1)1977年:陈述彭院士访问英国归来提出发展中国地理信息系统的建议。 (2) 1978年杭州遥感会议:陈述彭院士提出发展中国地理信息系统的倡议。 (3) 1978~1980年腾冲航空遥感试验:**次成立地理信息分析学科组,探讨统计制图、数字地面模型等研究。 (4)1980年中国科学院地学部倡议:陈述彭院士在地学部会议上,提出开展我国地理信息系统研究的建议,并得到了王之卓先生的支持。 由此,中国GIS的星星之火开始燎原。 1.1.3地理信息系统商业化 随着各国政府意识到数字地图的优势,旺盛的需求和计算机软硬件技术的进步促进了地理信息系统技术的极大发展。20世纪70年代中期,哈佛大学计算机图形学实验室开发了**个矢量地理信息系统,称为奥德赛地理信息系统(ODYSSEYGIS),这项工作引发了GIS软件商业化的发展阶段。 20世纪70年代末,地理信息系统的内存大小和图形功能都在改善,新的计算机制图产品,如GIMMS、MAPICS、SURFACE、GRID、IMGRID、GEOMAP和MAP等,陆续出现。20世纪80年代末,越来越多的地理信息系统软件供应商参与其中。 在地理信息系统发展的这一历史时点上,从首次会议可以看到当时的GIS是孤独的。1975年,英国召开了**次地理信息系统会议,只有一小部分学者参加。1981年,**次ESRI用户会议只吸引了18人参加。 20世纪90年代,随着中国沿海经济开发区的发展,以及土地的有偿使用和外资的引进,政府部门对GIS产品服务的需求加速推动了GIS行业在我国的全面发展,使其逐步迈入产业化阶段,涌现出来的GIS软件有中国科学院的SuperMap、中国地质大学(武汉)的MapGIS、武汉测绘科技大学(现武汉大学)的GeoStar等。1989年,武汉测绘科技大学开设地理信息工程专业,此后,中国从事GIS研究和教学的学者队伍不断发展壮大。 1.1.4地理信息科学腾飞 1990~2010年是地理信息系统真正腾飞的时期。更便宜、更快和更强大的计算机,更多、更快、更准的软件和数据可以选择,地理信息系统被引入学校和企业,空间分析在决策中的重要性逐渐被认识。随着更多的卫星进入轨道,遥感技术带来了前所未有的数据增长。全球定位系统(globalpositioning system,GPS)的出现打开了GIS应用领域的另一扇门,GIS从政府部门需求为主转向了大众生活需求旺盛期。 这一时期,GIS从原先简单的数据存储、数据管理、交互分析、地图制图的工具式GIS发展到了桌面组件式GIS,极大地推动了GIS的组件式开发与应用领域的拓展。2005年,Google Map上线运行,开启了互联网地图服务的新时代IT技术融入GIS领域。 地理信息系统、遥感(remote sensing,RS)和全球定位系统的集成,打开了地理信息系统发展的新阶段:开源“爆炸”。 1.1.5地理数据爆炸式增长 随着遥感、传感网、移动通信等技术的快速发展,地理信息进入了“数据爆炸”时代。美国忧思科学家联盟(TheUnion of Concerned Scientists,UCS)发布:截至2021年1月1日,全球共有在轨活跃的遥感卫星909颗。高分系列、资源系列、环境减灾系列等国产卫星数据形成了我国对地观测(earth observation,EO)的数据网络,每天接收的遥感数据量超过PB级。史蒂夫 科斯特于2004年建立的地图开放项目-公开地图(open streetmap,OSM)是由网络大众共同打造的免费开源、可编辑的地图服务,约有150万名注册编辑志愿者,提供了全球免费、开放的重要基础空间数据。基于移动网络与互联网的位置服务与我们的生活息息相关,在公众使用这些免费的服务时,把自己的行为轨迹也贡献给了地图服务商。社交网络服务平台,如微博、马蜂窝、Twitter、Flickr等,用户通过这些平台分享动态,包含了时间、位置、文本、图片以及视频等信息,直接或间接地体现了个体的活动行为,极大丰富了时空数据的内容和维度。目前,我们对现实世界的观测从对地观测转向了对地观测和以社交媒体数据为主的对人观测的综合,这让我们更精准、全面地掌握地球自然、生态以及人类活动信息,从中挖掘潜在的空间规律、行为模式,分析空间布局和观察空间情感变化。 地理信息科学是研究地球表层空间的各种自然地理要素和所有人类社会活动中与空间位置相关的信息及其内在规律的学科,数据的爆炸式增长给地理科学研究带来了重大变化。 1.2地理信息科学研究的发展 移动互联网、物联网、大数据、云计算等科学技术的创新对以空间位置为核心的GIS形成了一系列新的挑战。周成虎院士在2019年中国地理信息产业大会中说道:今天,我们处于一个重大的科学与技术革新的时代。当前,世界进入了智能化与绿色化、网络化、全球化相互交织的时期,并正在改变世界经济和人类社会。这一转变对地理信息科学的发展来说是带来了前所未有的机遇,在ABC(artificial intelligence、big data、cloud computing)支持下进入了一切数据化的时代、计算无处不在的时代、更少人机物混合的时代。 数字时代的地理信息科学与技术的发展为地理时空大数据的管理和应用提供了新的思想和方法,地理时空大数据云平台正是在前沿科技的推动下,为适应当前数据形态和特点而产生的管理和应用方案。 1.2.1地理时空大数据特点 时空数据通常是指具有时间和空间维度的数据。在现实世界中,超过80%的数据都与时空相关。随着数据采集和获取技术的发展,时空数据量呈现爆炸式增长,且覆盖面极广,物理世界和人文社会的各行各业与其都有着千丝万缕的联系。经过体量、速度和种类的量变累积,时空数据已经质变成为地理时空大数据,具有时空依赖、动态变化、多源异构、价值可挖和体量庞大等特点。 1)时空依赖 地理时空大数据*基本的两维特征是时间和空间,其产生于统一的时空框架,具备对空间的依赖性和对时间的依赖性,能够反映特定时空背景下的某一现象。 2)动态变化 万物没有绝对的静止,随着时间的变化,产生的数据也不会是静态的。现象具有演化的过程,而作为现象的反映,地理时空大数据同样具有动态变化的特征。 3)多源异构 地理时空大数据的来源非常广泛,这得益于数据获取设备的丰富和改进。从纸张采集文本信息、相机采集图片信息到物联网的大采集系统,不同的设备决定了地理时空大数据的多源异构特征。目前比较常见的数据格式有矢量、栅格和文本等,从数据组织上来看,既有结构化数据,也有半结构化和非结构化数据。 4)价值可挖 地理时空大数据是社会现实的反映,其中蕴含丰富的价值信息,可以揭示发展变化的客观规律,为总结过去、启发未来服务。但原始数据价值密度低,需要结合数据挖掘手段进行提炼。 5)体量庞大 在大数据时代,数量是*外显的时代标签。地理时空大数据属于大数据的一种,体量的庞大是其*为基础的特征。 1.2.2大数据时代的地理学研究范式 今天的大数据不仅仅是数量的问题,它的种类也更加多样化,包括社交媒体、群体共创、地基传感器网络和监控摄像头,等等,并且获取速度非常快。 大数据正在催生一种新的科研方法论。数据已经不仅仅用来校正、验证和实验,而是变成整个分析的驱动力,所以,在数据分析师的脑海中,数据变成了从真实世界传输过来的具有很宽波谱范围的高速数据流。我们可能会进入第四种科研范式:研究方法是根据数据设计的,而不是像之前那样利用数据去满足研究方法的需求。 《大数据:将会改变我们的生活、工作、思考的革命》这本书中提到了大数据对科学研究的三大挑战,具体到地理学的研究中是什么情况呢?Miller Goodchild对此表示,数据驱动的地理学研究具有如下特征。 (1)总体而不是抽样。传统模型驱动的研究采用抽样方法应对数据和信息超负荷的问题,随机抽样的基本前提是样本必须有代表性,研究结论对于样本的依赖性非常大。我们选用总体数据进行研究,同样存在问题。例如,社交媒体数据能够很好地反映人口分布特征,但是由于社交媒体使用群体的有偏性,结论并不如预期那样反映总体的客观情况。
时空大数据计算分析与应用 作者简介
张丰,副教授/博导,地理科学系副主任,浙江省资源与环境信息系统重点实验室副主任,自然资源部时空信息与智能服务重点实验室副主任,中国地理信息产业协会教育与科普专业委员会副主任委员,浙江省地理学会常务理事,浙江省地理学会遥感与地理信息系统专业委员会主任,获批“宝钢优秀教师”。长期致力于遥感与地理信息科学教学与科研工作,研究重点包括高性能时空计算、时空预测及智能遥感灾害应用。发表论文100余篇,出版专著5部,主持国家级、省部级项目10余项; 获得2次国家科技进步奖,15次省部级科技进步奖。
- >
史学评论
史学评论
¥29.4¥42.0 - >
唐代进士录
唐代进士录
¥17.1¥39.8 - >
苦雨斋序跋文-周作人自编集
苦雨斋序跋文-周作人自编集
¥6.9¥16.0 - >
伊索寓言-世界文学名著典藏-全译本
伊索寓言-世界文学名著典藏-全译本
¥6.1¥19.0 - >
我从未如此眷恋人间
我从未如此眷恋人间
¥16.4¥49.8 - >
名家带你读鲁迅:朝花夕拾
名家带你读鲁迅:朝花夕拾
¥18.9¥21.0 - >
我与地坛
我与地坛
¥16.8¥28.0 - >
姑妈的宝刀
姑妈的宝刀
¥9.6¥30.0
-
Photoshop 2022中文版案例教程
¥44.1¥59.8 -
局域网组建、管理与维护(第4版)(微课版)
¥47¥59 -
园林AUTOCAD教程
¥24¥45 -
Python实战编程:从零学Python
¥81¥108 -
Java程序设计基础
¥37¥50 -
数据备份与恢复
¥51.4¥69