-
公开(公告)号:CN104123304B
公开(公告)日:2018-05-29
申请号:CN201310154333.5
申请日:2013-04-28
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F17/30584 , G06F7/24 , G06F7/36 , G06F17/30486 , G06F17/30563
Abstract: 本发明涉及数据驱动的并行排序系统和方法。提供了一种数据驱动的并行排序方法,包括:循环地将输入的数据记录逐个地分配给n(n>1)个分区,每个分区对应于所述并行排序中并行的一个排序处理并且分配有一个用于存储所分配的数据记录的内存块,所述内存块能够存储m(m>0)个数据记录;在各个分区中并行地对各自的内存块中的当前数据记录进行排序;响应于分配了轮的数据记录,循环地控制所述n个分区中的一个分区,将该分区的内存块中的已排序数据记录写入大容量存储器作为有序数据块,并清空该内存块;以及响应于所有数据记录完成分配,将各内存块中的已排序数据记录写入大容量存储器,并对大容量存储器中的所有有序数据块应用合并排序。
-
公开(公告)号:CN104714997B
公开(公告)日:2018-05-01
申请号:CN201410662870.5
申请日:2014-11-19
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F17/30563 , G06F17/30569
Abstract: 提供提取装置、数据处理系统和提取方法。提取装置从包括作为子查询将发往数据库管理系统的指令的查询中,提取作为转换对象将被转换为对连续输入数据库的流数据处理的程序的子查询,包括:输入单元,接收查询、最大存储器增加量、和作为每单位存储器增加量的处理时间的效率下限值的输入,与数据库管理系统执行查询的情况相比当流数据由程序处理时处理时间减少;操作单元,计算在处理流数据情况下的存储器增加量和针对每个子查询将减少的处理时间,并使用它们计算效率;和提取单元,选择效率等于或高于下限值的子查询,合计针对所选子查询计算的存储器增加量,并且如果合计的存储器增加量等于或小于最大存储器增加量,将所选子查询提取为转换对象。
-
公开(公告)号:CN107908778A
公开(公告)日:2018-04-13
申请号:CN201711260320.0
申请日:2017-12-04
Applicant: 杭州华量软件有限公司
CPC classification number: G06F17/30563 , G06Q10/06393 , G06Q30/0601
Abstract: 本发明涉及一种智慧商场大数据管理系统,主要包括大数据资源中心子系统、数据智能分析子系统、大数据可视化子系统以及智慧商场应用子系统;所述大数据资源中心子系统支持将不同格式、存放于不同系统中的数据源的数据进行采集和汇总,并通过数据质量管理,同步到不同的主题数据库中;数据源主要包括ERP、会员、收银、视频客流、Wi-Fi、停车场数据;所述数据源还包括无线客流系统、视频客流系统、会员系统、商场交易系统、餐饮数据、影院数据。本发明通过了解通过热力图精确捕捉到客流密度分布,为商场的营销以及安保等提供数据支撑;通过构建商场顾客画像,基于画像的顾客扩散,可以提高新客捕获率,同时更深入洞察老顾客的需求,实现千人千面的精准营销。
-
公开(公告)号:CN107832913A
公开(公告)日:2018-03-23
申请号:CN201710941098.4
申请日:2017-10-11
Applicant: 微梦创科网络科技(中国)有限公司
CPC classification number: G06Q10/06375 , G06F17/30194 , G06F17/30563
Abstract: 本发明涉及计算机监控技术领域,具体涉及基于深度学习的对监控数据趋势的预测方法及系统,所述方法包括:离线训练系统从实时流数据中提取若干数据构成数据集,并对数据集进行计算得到预测模型;实时在线系统从实时流数据中提取若干数据构成预测集,并使用预测模型对预测集进行计算,得到监控系统的未来流数据的预测结果;所述数据集与预测集的交集为空。在本发明中,离线训练系统通过分析实时流数据,得到预测模型,然后实时在线系统将该预测模型结合实时流数据可以得到监控系统的未来流数据的预测结果。此结果可以作为未来监控数据趋势的一个良好参考,为我们的运维人员解放出来许多精力和时间。
-
公开(公告)号:CN107748752A
公开(公告)日:2018-03-02
申请号:CN201710790718.9
申请日:2017-09-05
Applicant: 新智云数据服务有限公司
Inventor: 李红伟
IPC: G06F17/30
CPC classification number: G06F17/30371 , G06F17/30368 , G06F17/30563
Abstract: 本发明涉及大数据技术领域,尤其涉及一种数据处理方法及装置,为了解决现有大数据平台在进行数据处理时,无法保证数据真实性的问题,该方法为,通过指定工具从指定源系统抽取并加载初始数据集,并将加载后的初始数据集划分为若干初始数据子集,分批判断当前初始数据子集是否需要修改初始数据条,针对待修改的初始数据子集执行增量合并操作,获得相应目标数据子集,采用预设的业务逻辑规则,为获得的各个目标数据子集包含的若干目标数据条建立关联关系,这样,指定大数据平台通过指定工具能与指定源系统实现衔接,而且,即便是数据加载到指定大数据平台后被修改,依然能通过增量合并操作保证数据一致性,进而保障了数据的真实性,提升了用户体验。
-
公开(公告)号:CN107679251A
公开(公告)日:2018-02-09
申请号:CN201711064474.2
申请日:2017-11-02
Applicant: 成都信息工程大学
Inventor: 曹亮
CPC classification number: G06F17/30563 , G06F11/3684
Abstract: 本发明公开了一种大数据环境下基于Spoon的通用数据库抽取方法,将Kettle工具提供的Spoon图形化界面和基于Java的模板技术(Velocity)相结合,用户可以灵活地设置参数,快捷高效地从不同的数据库中提取出相关数据,为大数据分析打下良好的基础。
-
公开(公告)号:CN107657046A
公开(公告)日:2018-02-02
申请号:CN201710932591.X
申请日:2017-09-30
Applicant: 广东美的制冷设备有限公司 , 美的集团股份有限公司
CPC classification number: G06F17/30563 , G06F9/546 , G06F17/30575 , G06F17/30595 , G06F2209/548 , H04L67/12
Abstract: 本发明公开了一种空调器BI报表系统,所述空调器BI报表系统包括BI报表子系统以及大数据基本平台,所述BI报表子系统与所述大数据基本平台通信连接,所述大数据基本平台将梳理后的数据向所述BI报表子系统传输。本发明还提供一种空调器BI报表的生成方法和存储介质。本发明空调器BI报表系统中的大数据基本平台将梳理后的数据向空调器BI报表子系统传输,使得大数据中存储了整合后的数据,从而使得空调器BI报表可直接使用整合后的数据,从而使得获取的信息集合中的数据较多,提高了空调器BI报表的展示内容的准确性。
-
公开(公告)号:CN107636644A
公开(公告)日:2018-01-26
申请号:CN201680023260.8
申请日:2016-03-18
Applicant: 迪安比商业信息解决方案公司
Inventor: 泰尔莫·伊纳西奥·德索萨费利克斯 , 奇安·克拉多克 , 康纳尔·奥赖利
IPC: G06F17/30
CPC classification number: G06F17/30371 , G06F17/30563 , G06F17/30575
Abstract: 一种在全局分布式环境中保持公司数据——包括相互依赖的公司数据——的一致性的系统和方法。该系统包括:网络;与网络通信的用户接口;与网络通信的至少一个本地数据存储器,其中本地数据存储器包括与商业实体有关的多个本地数据记录;与网络通信的全局数据存储器,其中该全局数据存储器包括根据从至少一个本地数据存储器接收到的本地数据记录生成的多个全局数据记录;计算机,其包括与网络通信的处理器和存储装置,其中该处理器:确定更新记录和全局数据记录的最新更新点;并且如果更新记录的最新日期参考不同于全局数据记录,则计算机确定哪个记录将占据优先,从而产生至少一个优先记录元素;组装器;以及将最终更新记录分发给用户的分发器。
-
公开(公告)号:CN107515951A
公开(公告)日:2017-12-26
申请号:CN201710853106.X
申请日:2017-09-20
Applicant: 广东中标数据科技股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30861 , G06F17/30244 , G06F17/30563 , G06F17/30899
Abstract: 本发明公开了一种基于图形数据库的搜索方法、系统和装置,包括以下步骤:对采集到的数据进行预处理,得到预处理后的数据,所述预处理包括数据清洗;根据采集到的数据的业务领域和来源以及预处理后的数据生成图形数据库;搜索服务器根据实时的查询信息对图形数据库进行搜索,并展示搜索结果。利用了图形数据库在查询关系型数据的优势,使得本发查询方法能够在大量数据的情况下快速地查询到目标数据,帮助用户更快地获得想搜索的信息。本发明可以广泛应用于数据处理领域。
-
公开(公告)号:CN107515940A
公开(公告)日:2017-12-26
申请号:CN201710765966.8
申请日:2017-08-30
Applicant: 广东信基蜂巢科技有限责任公司
CPC classification number: G06F17/30563 , G06F17/30569 , G06F17/30572 , G06Q50/12
Abstract: 本发明公开了一种缓解酒店用品供应链牛鞭效应的大数据应用,其结构简单,数据采集模块将采集酒店用品供应链参与者在业务过程中所产生的数据,这些数据将成为整个模型的数据基础;数据存储模块将针对异构数据以及结构化数据进行对应处理,1、结构化数据源将通过ETL、ODS处理,从不同数据源汇集数据,进行数据的校验、去重、清洗等处理,并存入数据仓库进行持久化储存,2、异构数据源通过MapReduce处理后的数据,存入数据仓库进行持久化储存;数据分析模块基于数据仓库中的数据,根据数据分析模块的要求,对数据进行数据挖掘,以寻找特定的模式以及关系,提供数据分析的结果;数据展示模块根据用户的需求,以可视化、监控等方式,展示数据分析的结果。
-
-
-
-
-
-
-
-
-