数据驱动的并行排序系统和方法

    公开(公告)号:CN104123304B

    公开(公告)日:2018-05-29

    申请号:CN201310154333.5

    申请日:2013-04-28

    Abstract: 本发明涉及数据驱动的并行排序系统和方法。提供了一种数据驱动的并行排序方法,包括:循环地将输入的数据记录逐个地分配给n(n>1)个分区,每个分区对应于所述并行排序中并行的一个排序处理并且分配有一个用于存储所分配的数据记录的内存块,所述内存块能够存储m(m>0)个数据记录;在各个分区中并行地对各自的内存块中的当前数据记录进行排序;响应于分配了轮的数据记录,循环地控制所述n个分区中的一个分区,将该分区的内存块中的已排序数据记录写入大容量存储器作为有序数据块,并清空该内存块;以及响应于所有数据记录完成分配,将各内存块中的已排序数据记录写入大容量存储器,并对大容量存储器中的所有有序数据块应用合并排序。

    提取装置、数据处理系统和提取方法

    公开(公告)号:CN104714997B

    公开(公告)日:2018-05-01

    申请号:CN201410662870.5

    申请日:2014-11-19

    CPC classification number: G06F17/30563 G06F17/30569

    Abstract: 提供提取装置、数据处理系统和提取方法。提取装置从包括作为子查询将发往数据库管理系统的指令的查询中,提取作为转换对象将被转换为对连续输入数据库的流数据处理的程序的子查询,包括:输入单元,接收查询、最大存储器增加量、和作为每单位存储器增加量的处理时间的效率下限值的输入,与数据库管理系统执行查询的情况相比当流数据由程序处理时处理时间减少;操作单元,计算在处理流数据情况下的存储器增加量和针对每个子查询将减少的处理时间,并使用它们计算效率;和提取单元,选择效率等于或高于下限值的子查询,合计针对所选子查询计算的存储器增加量,并且如果合计的存储器增加量等于或小于最大存储器增加量,将所选子查询提取为转换对象。

    一种智慧商场大数据管理系统

    公开(公告)号:CN107908778A

    公开(公告)日:2018-04-13

    申请号:CN201711260320.0

    申请日:2017-12-04

    CPC classification number: G06F17/30563 G06Q10/06393 G06Q30/0601

    Abstract: 本发明涉及一种智慧商场大数据管理系统,主要包括大数据资源中心子系统、数据智能分析子系统、大数据可视化子系统以及智慧商场应用子系统;所述大数据资源中心子系统支持将不同格式、存放于不同系统中的数据源的数据进行采集和汇总,并通过数据质量管理,同步到不同的主题数据库中;数据源主要包括ERP、会员、收银、视频客流、Wi-Fi、停车场数据;所述数据源还包括无线客流系统、视频客流系统、会员系统、商场交易系统、餐饮数据、影院数据。本发明通过了解通过热力图精确捕捉到客流密度分布,为商场的营销以及安保等提供数据支撑;通过构建商场顾客画像,基于画像的顾客扩散,可以提高新客捕获率,同时更深入洞察老顾客的需求,实现千人千面的精准营销。

    基于深度学习的对监控数据趋势的预测方法及系统

    公开(公告)号:CN107832913A

    公开(公告)日:2018-03-23

    申请号:CN201710941098.4

    申请日:2017-10-11

    Inventor: 方皓达 彭冬 黄帅

    CPC classification number: G06Q10/06375 G06F17/30194 G06F17/30563

    Abstract: 本发明涉及计算机监控技术领域,具体涉及基于深度学习的对监控数据趋势的预测方法及系统,所述方法包括:离线训练系统从实时流数据中提取若干数据构成数据集,并对数据集进行计算得到预测模型;实时在线系统从实时流数据中提取若干数据构成预测集,并使用预测模型对预测集进行计算,得到监控系统的未来流数据的预测结果;所述数据集与预测集的交集为空。在本发明中,离线训练系统通过分析实时流数据,得到预测模型,然后实时在线系统将该预测模型结合实时流数据可以得到监控系统的未来流数据的预测结果。此结果可以作为未来监控数据趋势的一个良好参考,为我们的运维人员解放出来许多精力和时间。

    一种数据处理方法及装置

    公开(公告)号:CN107748752A

    公开(公告)日:2018-03-02

    申请号:CN201710790718.9

    申请日:2017-09-05

    Inventor: 李红伟

    CPC classification number: G06F17/30371 G06F17/30368 G06F17/30563

    Abstract: 本发明涉及大数据技术领域,尤其涉及一种数据处理方法及装置,为了解决现有大数据平台在进行数据处理时,无法保证数据真实性的问题,该方法为,通过指定工具从指定源系统抽取并加载初始数据集,并将加载后的初始数据集划分为若干初始数据子集,分批判断当前初始数据子集是否需要修改初始数据条,针对待修改的初始数据子集执行增量合并操作,获得相应目标数据子集,采用预设的业务逻辑规则,为获得的各个目标数据子集包含的若干目标数据条建立关联关系,这样,指定大数据平台通过指定工具能与指定源系统实现衔接,而且,即便是数据加载到指定大数据平台后被修改,依然能通过增量合并操作保证数据一致性,进而保障了数据的真实性,提升了用户体验。

    一种基于图形数据库的搜索方法、系统和装置

    公开(公告)号:CN107515951A

    公开(公告)日:2017-12-26

    申请号:CN201710853106.X

    申请日:2017-09-20

    Abstract: 本发明公开了一种基于图形数据库的搜索方法、系统和装置,包括以下步骤:对采集到的数据进行预处理,得到预处理后的数据,所述预处理包括数据清洗;根据采集到的数据的业务领域和来源以及预处理后的数据生成图形数据库;搜索服务器根据实时的查询信息对图形数据库进行搜索,并展示搜索结果。利用了图形数据库在查询关系型数据的优势,使得本发查询方法能够在大量数据的情况下快速地查询到目标数据,帮助用户更快地获得想搜索的信息。本发明可以广泛应用于数据处理领域。

    一种缓解酒店用品供应链牛鞭效应的大数据应用

    公开(公告)号:CN107515940A

    公开(公告)日:2017-12-26

    申请号:CN201710765966.8

    申请日:2017-08-30

    CPC classification number: G06F17/30563 G06F17/30569 G06F17/30572 G06Q50/12

    Abstract: 本发明公开了一种缓解酒店用品供应链牛鞭效应的大数据应用,其结构简单,数据采集模块将采集酒店用品供应链参与者在业务过程中所产生的数据,这些数据将成为整个模型的数据基础;数据存储模块将针对异构数据以及结构化数据进行对应处理,1、结构化数据源将通过ETL、ODS处理,从不同数据源汇集数据,进行数据的校验、去重、清洗等处理,并存入数据仓库进行持久化储存,2、异构数据源通过MapReduce处理后的数据,存入数据仓库进行持久化储存;数据分析模块基于数据仓库中的数据,根据数据分析模块的要求,对数据进行数据挖掘,以寻找特定的模式以及关系,提供数据分析的结果;数据展示模块根据用户的需求,以可视化、监控等方式,展示数据分析的结果。

Patent Agency Ranking