-
>
四千年农夫 中国、朝鲜和日本的永续农业
-
>
线辣椒优质高产栽培
-
>
生命的艺术:动物解剖学的神秘历史之旅
-
>
正确使用农药知识问答
-
>
迷你花园:打造你的玻璃生态瓶
-
>
花史左编
-
>
海水抗风浪网箱工程技术
农业科学数据加工整编技术 版权信息
- ISBN:9787030751850
- 条形码:9787030751850 ; 978-7-03-075185-0
- 装帧:一般胶版纸
- 册数:暂无
- 重量:暂无
- 所属分类:>
农业科学数据加工整编技术 内容简介
国家农业科学数据中心是国家科技部和财政部联合认定的20个国家科学数据中心之一,是我国重要的科技战略基础资源,担负全国农业科学数据的汇聚、加工、长期保存、分析和共享工作,为国家农业科研、产业发展和战略咨询提供支撑。本书是对国家农业科学数据中心20多年来学术研究和科研工作成果的系统总结。围绕我国农业科学数据全生命周期的业务逻辑,系统总结了农业科学数据加工整编的研究成果,提出了农业科学数据加工的业务流、技术框架,形成了从农业科学数据加工到农业科学数据知识集成和应用的知识成果。为科学数据的管理、科学研究和应用,提供了理论和应用指南。
农业科学数据加工整编技术 目录
前言
1数据加工基础1
1.1农业科学数据1
1.1.1农业科学数据概念1
1.1.2农业科学数据的特征2
1.2国内外数据加工研究进展9
1.2.1数据质量控制9
1.2.2数据清洗技术10
1.3数据加工11
1.3.1数据加工概念11
1.3.2元数据11
1.3.3数据-知识网络12
1.3.4数据加工业务流程13
2元数据加工14
2.1元数据标准14
2.1.1国际主要科学数据元数据标准14
2.1.2国内科学数据元数据标准建设15
2.1.3元数据建设主要问题16
2.2元数据表示方法18
2.2.1XML19
2.2.2RDF19
2.3元数据开放获取20
2.3.1开放获取倡议21
2.3.2元数据收割协议22
2.3.3开放学术资源获取方法24
2.4元数据检查与评价27
2.4.1元数据质量内涵27
2.4.2元数据质量评价28
2.5元数据加工29
2.5.1国家农业科学数据加工系统30
2.5.2农业长期定位观测数据共享元数据加工案例32
3实体数据加工37
3.1实体数据的组织与存储38
3.1.1实体数据的组织38
3.1.2实体数据的存储45
3.2实体数据的检查50
3.2.1实体数据的检查要求51
3.2.2实体数据检查实例53
3.2.3实体数据的检查内容53
3.3实体数据的加工59
3.3.1实体数据加工的内涵60
3.3.2实体数据加工的一般原则61
3.3.3农业科学数据加工流程62
3.3.4实体数据的分级加工63
3.3.5实体数据加工产品实例65
4数据关联融合66
4.1农业科学数据的关联66
4.1.1关联数据66
4.1.2实体识别70
4.1.3时空状态识别73
4.1.4实例:大豆加工贸易企业数据关联76
4.2农业科技资源标识80
4.2.1国际主流标识技术81
4.2.2农业科学数据CSTR标识84
4.3农业数据融合85
4.3.1数据融合的概念85
4.3.2数据融合方法85
4.3.3农业科学数据融合实例:多源异构作物组学数据融合87
4.4基于数据驱动的农业场景构建93
4.4.1农业科学数据场景构建现状93
4.4.2黄河流域生态保护和高质量发展的应用场景构建94
5农业科学数据集成97
5.1农业科学数据集成的实践探索97
5.1.1农业科学数据的分类目录97
5.1.2农业科学数据的集成体系99
5.1.3农业科学数据的出版发行102
5.2农业科学数据集成的理论与框架103
5.2.1基础理论分析103
5.2.2基本框架设计106
5.3农业科学数据集成的主要方法108
5.3.1基于元数据的数据集成109
5.3.2基于本体的数据集成112
5.3.3基于标准的数据集成116
5.3.4基于知识图谱的数据集成117
6数据质量管理118
6.1数据管理的全生命周期118
6.1.1数据生命周期理论内涵118
6.1.2数据管理生命周期模型120
6.2数据管理的业务流程122
6.2.1制定数据管理计划123
6.2.2数据收集123
6.2.3数据加工124
6.2.4数据长期保存124
6.2.5数据共享利用124
6.3数据质量控制125
6.3.1控制标准125
6.3.2控制过程126
6.3.3控制环节127
6.3.4控制方法128
6.4数据质量评价134
6.4.1评价原则134
6.4.2评价指标135
6.4.3评价方法136
6.4.4评价技术138
6.5数据可视化139
6.5.1数据可视化理论139
6.5.2数据可视化方法140
6.5.3农业科学数据可视化表达142
6.5.4农业科学数据质量可视化分析案例144
7农业科学数据探索150
7.1数据探索概念与方法150
7.1.1数据探索概念150
7.1.2数据探索方法151
7.2数据立方体156
7.2.1基本概念156
7.2.2概念模型及实例157
7.2.3多维分析操作160
7.3数据的网络世界162
7.3.1知识网络相关研究162
7.3.2知识网络实例:基于本体的育种数据网络164
参考文献173
农业科学数据加工整编技术 节选
1 数据加工基础 农业科学数据资源的建设为农业科技创新提供了有力支撑,农业科学数据是国家农业发展的基础性战略资源,决定了一个国家农业发展的水平和高度。数据的质量是影响科学数据重用的关键性因素之一,而农业科学数据由于其内容的广阔性、结构的复杂性,往往要经过数据加工后才能使用。 1.1 农业科学数据 1.1.1 农业科学数据概念 农业科学数据是农业领域的科学数据,可将其定义为:从事农业科技活动产生的原始性、基础性数据以及按照不同需求系统加工后的数据集合等相关信息,既包括农业及相关部门大规模观测、探测、调查及实验所获得长期积累和整编的海量科学数据,也包括广大农业科技工作者长年累月的研究工作所产生的大量科学数据(胡林,2021)。 农业科学数据既服务于农业科研活动,也可以用于支持农业生产、政府决策、生产经营等。农业科学数据具有学科领域广泛、实验周期长、数据类型复杂多样等特点,随着农业科研的持续深化与拓展以及新兴学科和交叉学科的不断涌现,农业科学数据量呈指数发展态势的增长。农业科学数据源自各大学科领域,不仅包括农业,还包括林业、环境、工业制造等。不同的类别与结构使元数据标准不同,在海量的数据集基础之上增添了农业科学数据的异构性特征。 农业科学数据是农业科学研究的基石。从20世纪60年代中期以来,世界农业产量增长80%以上。其中,玉米、水稻、小麦的产量几乎翻了一番,有效地提高了生产率,加强了粮食安全,减轻了贫困状况,对于整个经济、社会、政治、文化进步起到了基础支撑作用。全球和中国的农业发展经验表明,农业科技进步对于农业的发展起到了重要的推动作用。目前发达国家的农业科技进步贡献率一般达到70%以上。中国的农业科技进步贡献率也由20世纪80年代初期的23%上升到21世纪初期的46%左右,至2020年已超过了60%。农业科学数据的大量积累与广泛应用是农业科技进步与培育重大农业科技成果的前提。以往科研工作者要花大量时间去从事科学数据搜集工作,现在处于万物互联时代,数据检索工作变得快捷、方便,从而使科研工作者有更多的时间去从事创造性工作,发挥农业科学数据的作用。 农业科学数据是农业农村经济发展的宝贵资源。随着农业现代化发展进程的推进,数据资源作为对其他物质资源和能量资源进行有效管理的工具,具有重要的意义。农业科学数据作为具有显著的科技推动力、投资引向价值、应用增值潜力和决策支撑作用的一种极富价值的数据资源,具有特殊的内涵和特殊的配置形式,是合理开发农业资源的重要科学依据,在促进农村经济发展,促进人类社会进步等方面发挥着日益重要的作用。 1.1.2 农业科学数据的特征 1.1.2.1 农业科学数据维度 按照《科学数据管理办法》,可将数据资源划分为科学研究活动数据、基础研究数据、应用研究数据、试验活动数据4类。将这4类数据参照国家统计局和杨立新(2016)等对原生数据和衍生数据的定义,从数据类型出发,对数据来源、数据载体进行对比分析(表1-1)。数据来源机构主要是科研院所、高等院校、图书情报机构、政府管理部门及企业。数据载体主要有数据集、科技论文和专著、发明专利、新产品、新工艺、项目、报告、政策、规划、战略、获奖成果等(柴苗岭等,2020)。 1.1.2.2 农业科学数据尺度 农业科学数据学科领域广泛,具有多时间、空间尺度的特点。尺度是指研究某一物体或现象时所采用的空间或时间单位,又指某一现象或过程在空间和时间上所涉及的范围和发生的频率,还可指人们观察事物对象、模式或过程时所采用的窗口。简单地说,尺度就是客体在其“容器”中规模相对大小的描述(李志林,2005;邬建国,2000;QI and WU,1996;苏理宏等,2004;刘贤赵,2004)。空间尺度和时间尺度常以粒度(grain/granularity)和幅度(extent)来表达。空间粒度指*小的可辨识单元所代表的特征长度、面积或体积(如采样样方、像元);时间粒度指某事件、现象或过程发生(或取样)的频率或时间间隔;幅度指研究对象的空间范围或持续的时间(邬建国,2000;刘贤赵,2004)。研究区域的面积决定空间幅度,研究项目持续的时间决定时间幅度(孙庆先等,2007)。农业科学数据基于不同的研究需求采用不同时间、空间的尺度。例如,农作物育种数据根据研究目的不同,空间尺度有分子到细胞、组织、器官、个体、群体等;时间尺度上可以按生长周期划分时间尺度,或按年月划分时间尺度。农业生态数据针对研究区域,如全球、全国、全市的改变,往往采用不同的空间尺度。 表1-1 农业科学数据资源类型特征数据类型定义农业科学数据资源 1.1.2.3 农业科学数据格式 所有的数字化数据都以一个特定的文件格式存在,该文件格式可以对信息进行编码,以便软件程序读取并编译这些数据。数据格式及产生研究数据的软件的选择,通常依赖于研究人员如何收集和分析数据,以及使用的硬件或软件可获得性。这些格式和软件的选择也取决于学科专有的标准和习惯。例如,图像、音频和视频数据格式取决于所使用相机或录音设备的类型。采集的数据只可能会被降级处理或压缩尺寸,但无法对已经采集的数据进行升级。因此,在数据采集规划时就应该考虑好数据的用途,选择获取哪种格式*合适。例如,数值型数据通常存储在数据表格或数据库中,可在这种数据库中安装变量或可度量的指标来标记数据记录或案例的位置。社会科学调查的标准文档格式往往是SPSS(Statistical Package for Social Science),因为SPSS具有统计分析功能。在生态研究中,CSV或Excel则被更广泛地使用,成为许多分析程序包的标准输入格式。而质性研究数据,如访谈等,*开始会用WAV或MP3格式以音频录音的形式收集,然后转录成文本,再将文本导入到计算机辅助定性数据分析软件的数据库中,经常使用NVivo等软件来进行分析。 文件格式可以是专有的,也可以是开放的。专有格式通常与特定的软件程序联系在一起,一般由商业公司开发,拥有独立的知识产权,需要得到授权或许可才能使用它们。开放文件格式的示例有PDF/A、CSV、TIFF、开放文件格式(ODF)、ASCII码、TAB制表符分隔的表格和XML。文件格式可以是有损的或无损的。有损的格式通过清除那些判定为不重要的详细信息文件来节省空间。例如,有损的JEPG格式文件会清除图片的详细信息,对比起来,无损的TIFF格式文件就会保留所有的详细信息。当然,在一个无损格式的文件中进行重复的编辑和保存操作会导致大量的信息丢失。在科学研究中,研究人员会结合研究计划来进行数据格式和软件的选择。 从柴苗岭等(2020)的调研情况来看,农业科学数据形式以文本、数值、图像、视频、语音为主,常见的数据和数据集格式参见表1-2列举的数据形式和格式。 表1-2 重要的农业科学数据资源组织方法、学科范围、数据形式及格式
- >
月亮与六便士
月亮与六便士
¥18.1¥42.0 - >
诗经-先民的歌唱
诗经-先民的歌唱
¥13.5¥39.8 - >
随园食单
随园食单
¥15.4¥48.0 - >
罗曼·罗兰读书随笔-精装
罗曼·罗兰读书随笔-精装
¥20.3¥58.0 - >
我从未如此眷恋人间
我从未如此眷恋人间
¥32.4¥49.8 - >
经典常谈
经典常谈
¥12.7¥39.8 - >
唐代进士录
唐代进士录
¥15.1¥39.8 - >
【精装绘本】画给孩子的中国神话
【精装绘本】画给孩子的中国神话
¥17.6¥55.0
-
蔬菜轮作新技术-北方本
¥7.9¥14 -
铁皮石斛高效栽培技术
¥18.2¥33 -
钦州地情丛书:钦州荔枝史话
¥17.4¥48 -
蔬菜间作套种新技术-南方本
¥7¥16 -
农业生产与气象
¥6.5¥12 -
四时纂要
¥15.1¥18