公开(公告)号：CN104794231B

公开(公告)日：2018-05-25

申请号：CN201510221354.3

申请日：2015-05-04

Applicant: 罗敬宁

Inventor： 罗敬宁

IPC: G06F17/30

Abstract: 本发明提供了一种基于Map/Reduce的非结构化数据的处理方法和装置，涉及云计算和分布式数据系统技术领域。该方法包括：预先创建非结构化数据的对象代理；建立对象代理、数据文件以及序列化处理节点的映射关系；生成基于对象代理的Key‑Value对集，通过Map/Reduce计算框架将Key‑Value对集进行分割，使得每个计算节点得到相应的Key‑Value对集序列；通过Key‑Value对集中的对象代理和映射关系，确定各对象对应的序列化处理节点；通过序列化处理节点对各对象进行动态序列化处理，生成各对象的数据实体；通过计算节点对各数据实体进行反序列化处理，重构各内存对象，以对内存对象进行后续计算处理。

公开(公告)号：CN104635242B

公开(公告)日：2017-04-12

申请号：CN201510084424.5

申请日：2015-02-16

Applicant: 罗敬宁

Inventor： 罗敬宁

IPC: G01S17/95

CPC classification number: Y02A90/19

Abstract: 本发明涉及大气环境监测技术领域，特别是关于一种基于多源卫星遥感数据的沙尘暴监测方法，用于更加准确的对沙尘进行监测，包括获得卫星探测的初始数据；计算初始数据中近红外和可见光反照率的比值，并计算初始数据中红外与热红外亮温的差值；对所述初始数据进行红外分裂窗两个波段的亮温计算；若所述比值、差值和红外分裂窗亮温计算结果均在相应的区间内，则识别结果为沙尘区。

公开(公告)号：CN103995861B

公开(公告)日：2018-08-28

申请号：CN201410208628.0

申请日：2014-05-16

Applicant: 罗敬宁

Inventor： 罗敬宁

IPC: G06F17/30 ,  G06F3/06

Abstract: 本发明涉及数据系统技术领域，具体的讲是一种基于空间关联的分布式数据装置、方法及系统。其中，存储方法包括将具有空间特性的数据划分为多个网格，所述网格具有该网格所在空间中的数据；根据网格空间位置的关联关系,将所述网格中的数据存储于复数个存储节点。本发明的有益效果在于对于巨量的各种类型空间数据，可以实现高并行度的数据写入和读取，保证按照空间属性分割的数据可以均衡的、保持空间关联的、安全的存储到各个节点，同时，系统具有极大的扩展能力，而且系统扩展与性能是线性相关的，系统不会出现大量闲置节点，或者I/O瓶颈节点，实现了分布式系统设计的初衷。

公开(公告)号：CN104794231A

公开(公告)日：2015-07-22

申请号：CN201510221354.3

申请日：2015-05-04

Applicant: 罗敬宁

Inventor： 罗敬宁

IPC: G06F17/30

Abstract: 本发明提供了一种基于Map/Reduce的非结构化数据的处理方法和装置，涉及云计算和分布式数据系统技术领域。该方法包括：预先创建非结构化数据的对象代理；建立对象代理、数据文件以及序列化处理节点的映射关系；生成基于对象代理的Key-Value对集，通过Map/Reduce计算框架将Key-Value对集进行分割，使得每个计算节点得到相应的Key-Value对集序列；通过Key-Value对集中的对象代理和映射关系，确定各对象对应的序列化处理节点；通过序列化处理节点对各对象进行动态序列化处理，生成各对象的数据实体；通过计算节点对各数据实体进行反序列化处理，重构各内存对象，以对内存对象进行后续计算处理。

公开(公告)号：CN103995861A

公开(公告)日：2014-08-20

申请号：CN201410208628.0

申请日：2014-05-16

Applicant: 罗敬宁

Inventor： 罗敬宁

IPC: G06F17/30 ,  G06F3/06

CPC classification number: G06F17/30194 ,  G06F17/30091

Abstract: 本发明涉及数据系统技术领域，具体的讲是一种基于空间关联的分布式数据装置、方法及系统。其中，存储方法包括将具有空间特性的数据划分为多个网格，所述网格具有该网格所在空间中的数据；根据网格空间位置的关联关系,将所述网格中的数据存储于复数个存储节点。本发明的有益效果在于对于巨量的各种类型空间数据，可以实现高并行度的数据写入和读取，保证按照空间属性分割的数据可以均衡的、保持空间关联的、安全的存储到各个节点，同时，系统具有极大的扩展能力，而且系统扩展与性能是线性相关的，系统不会出现大量闲置节点，或者I/O瓶颈节点，实现了分布式系统设计的初衷。

公开(公告)号：CN104635242A

公开(公告)日：2015-05-20

申请号：CN201510084424.5

申请日：2015-02-16

Applicant: 罗敬宁

Inventor： 罗敬宁

IPC: G01S17/95

CPC classification number: Y02A90/19 ,  G01W1/00

Abstract: 本发明涉及大气环境监测技术领域，特别是关于一种基于多源卫星遥感数据的沙尘暴监测方法，用于更加准确的对沙尘进行监测，包括获得卫星探测的初始数据；计算初始数据中近红外和可见光反照率的比值，并计算初始数据中红外与热红外亮温的差值；对所述初始数据进行红外分裂窗两个波段的亮温计算；若所述比值、差值和红外分裂窗亮温计算结果均在相应的区间内，则识别结果为沙尘区。