一种基于MapReduce编程架构的索引生成方法和装置

    公开(公告)号:CN102426609A

    公开(公告)日:2012-04-25

    申请号:CN201110446325.9

    申请日:2011-12-28

    Abstract: 本发明涉及一种基于MapReduce编程架构的索引生成方法和装置,其中方法包括步骤:获取数据,并将数据整理成统一的格式,以记录集合形式进行存储;对记录集合中的每条数据记录进行头部封装;向HBase集群批量插入经头部封装的数据记录;调用Hadoop集群中的MapReduce服务和HBase服务,连接Solr集群;进行Map操作,提交运行索引并行生成任务,形成倒排索引中间文件;进行Reduce操作,生成倒排索引文件;启动一个新的Map任务,对倒排索引文件进行分片操作,生成最终的索引。采用本发明的方法和装置能实现高效分布式海量数据的存储与索引的建立,并具有可扩展、高容错、高性能等优点。

    分布式密码恢复方法和系统

    公开(公告)号:CN105262584B

    公开(公告)日:2018-09-07

    申请号:CN201510566308.7

    申请日:2015-09-08

    Abstract: 本申请提供了一种分布式密码恢复方法和系统,所述方法包括:根据待恢复密码的密码规则信息,计算密码空间;根据各计算节点在单位时间内的密码处理能力,在所述密码空间范围内为每个计算节点分配相应大小的任务块,触发各计算节点根据所述任务块的信息执行相应的密码遍历;为已经完成密码遍历任务的计算节点再次分配相应大小的任务块,直至所述密码空间被遍历完成。本申请优选实施例根据各计算节点单位时间内的密码处理能力为其分配相应大小的任务块进行密码遍历,可保证分布式环境下不同计算节点负载均衡,另外,系统容错能力强,当一个或多个计算节点出现异常时,恢复错误的代价很小,整体性能可达到最优。

    一种基于SVM的信号识别方法及终端

    公开(公告)号:CN108154083A

    公开(公告)日:2018-06-12

    申请号:CN201711260028.9

    申请日:2017-12-04

    Abstract: 本发明提供的一种基于SVM的信号识别方法及终端,对频域信号进行标准化处理,实现频域信号区间的变换;将标准化处理后的频域信号通过SVM模型,得到标准化处理后的频域信号的上升沿信号和下降沿信号,分别得到上升沿集合和下降沿集合;对上升沿集合中的上升沿信号和下降沿集合的下降沿信号进行配对,得到配对信号集合;对所述配对信号集合中的配对信号进行平稳性判定,根据平稳性判定结果确定所述采集到的监测区域信号是否为待识别信号;通过标准化处理,去除了由于距离所导致的有效信号强弱不同的影响,通过SVM模型识别上升沿信号和下降沿信号,降低了边沿信号的误判率,对配对信号进行平稳性判定,提高了待识别信号的识别率。

    动态人脸识别方法及计算机可读存储介质

    公开(公告)号:CN107944427A

    公开(公告)日:2018-04-20

    申请号:CN201711337096.0

    申请日:2017-12-14

    Abstract: 本发明公开了一种动态人脸识别方法及计算机可读存储介质,方法包括:根据预设的采样率,依次从动态视频流中获取一帧静态图片;对所述一帧静态图片进行人脸检测,得到人脸图片集;获取所述人脸图片集中各人脸图片的关键信息;根据所述关键信息,通过相似度算法对各人脸图片进行匹配分类,得到各人脸图片对应的各人脸类型,并根据人脸图片的关键信息,构建或更新对应的人脸类型的结构化信息;根据结构化信息,对各人脸类型进行筛选,得到人脸集合。本发明可快速有效地识别出视频中的所有人脸,且可保证正识率和实时性。

    调度HTTP代理的方法和装置
    45.
    发明授权

    公开(公告)号:CN103914568B

    公开(公告)日:2017-05-03

    申请号:CN201410168725.1

    申请日:2014-04-24

    Abstract: 本发明提供了一种调度HTTP代理的方法和装置,该方法包括:接收爬虫请求获得HTTP代理的信息,并根据接收到的信息判定目标URL所属的网站,其中,所述请求获得HTTP代理的信息中包括爬虫将要访问的目标URL;在该爬虫为第一次请求获得HTTP代理的情况下,在所属的网站对应的环形链表中任意选取一个代理节点作为第一代理节点并获取当前时间点;在第一代理节点为第一次被使用的情况下,判定爬虫访问所述标URL需要等待的时长为0;根据上述获取结果及判定结果更新该第一代理节点的数据,并将更新后的数据反馈给爬虫,以便爬虫使用更新后的节点数据访问所述目标URL。该调度HTTP代理的方法,可提高爬虫访问URL的效率,进而提高爬虫抓取网页数据的效率。

    一种新口令认证方法和装置

    公开(公告)号:CN102045169B

    公开(公告)日:2015-11-25

    申请号:CN201010590383.4

    申请日:2010-12-10

    Abstract: 本发明提供一种新口令认证方法,包括:接收输入的原始口令;生成随机值Salt值;根据所述随机值Salt值和所述原始口令(Password),通过哈希算法生成初始密钥Hash0;具体为:Hash0=H0(salt+password),记Hash0的大小为L0个字节;用Hash0通过字符串转换,生成初始密钥向量D,Hash0的大小为L0个字节,D是一个大小为2*L0个字节的4维向量数组[x,y,z,w];根据初始密钥Hash0,通过混合逻辑填充,初始化密钥盒Box,根据初始化密钥盒Box和初始密钥向量D,通过逻辑运算,生成新密钥向量D’;取新密钥向量D’为最终密钥key。该方法的安全性极高,弥补了当前软件加密的安全缺陷,可抵抗口令暴力解析,能有效保护用户口令和数据的安全性。

    一种基于键盘规则的密码遍历算法

    公开(公告)号:CN104579642A

    公开(公告)日:2015-04-29

    申请号:CN201510001710.0

    申请日:2015-01-05

    Abstract: 本发明涉及密码加解密领域,具体涉及一种基于键盘规则的密码遍历算法,步骤1:获取键盘上的字符并根据键盘字符规则建立密码集合,步骤2:设定密码集合的暴力遍历规则,步骤3:将暴力遍历规则和密码集合作为遍历算法的数据源,使用遍历算法对密码集合中的字符进行构造生成最终的遍历密码。本方案针对键盘规则的特征,设计了相应的遍历算法,可以实现对不同键盘顺序、不同起始位置、不同长度的密码进行遍历。

    调度HTTP代理的方法和装置
    48.
    发明公开

    公开(公告)号:CN103914568A

    公开(公告)日:2014-07-09

    申请号:CN201410168725.1

    申请日:2014-04-24

    CPC classification number: G06F17/30864 H04L67/02

    Abstract: 本发明提供了一种调度HTTP代理的方法和装置,该方法包括:接收爬虫请求获得HTTP代理的信息,并根据接收到的信息判定目标URL所属的网站,其中,所述请求获得HTTP代理的信息中包括爬虫将要访问的目标URL;在该爬虫为第一次请求获得HTTP代理的情况下,在所属的网站对应的环形链表中任意选取一个代理节点作为第一代理节点并获取当前时间点;在第一代理节点为第一次被使用的情况下,判定爬虫访问所述标URL需要等待的时长为0;根据上述获取结果及判定结果更新该第一代理节点的数据,并将更新后的数据反馈给爬虫,以便爬虫使用更新后的节点数据访问所述目标URL。该调度HTTP代理的方法,可提高爬虫访问URL的效率,进而提高爬虫抓取网页数据的效率。

    一种基于字典的复杂密码遍历方法及装置

    公开(公告)号:CN103701590A

    公开(公告)日:2014-04-02

    申请号:CN201410007236.8

    申请日:2014-01-07

    Abstract: 本发明公开一种基于字典的复杂密码遍历方法,包括如下步骤:S1、从字典文件中读取密码生成密码集合,判断是否预设为大小写扩展,若是,进入步骤S2,若否,进入步骤S3;S2、将字母密码进行大小写扩展,将扩展的字母加入所述密码集合;S3、获取密码集合中密码所要构成字典密码的密码段数N,判断N值是否为0,若是,直接按照设置的暴力遍历的规则遍历,若否,进入步骤S4;S4、获取设置的暴力遍历的规则;S5、将所述暴力遍历规则和密码集合作为遍历算法的数据源,使用遍历算法对字典密码和暴力密码进行构造生成最终的遍历密码。本发明还公开一种基于字典的复杂密码遍历装置。

    一种分布式Bloom过滤系统及其使用方法

    公开(公告)号:CN102609446B

    公开(公告)日:2013-12-25

    申请号:CN201210001685.2

    申请日:2012-01-05

    Abstract: 本发明提供一种分布式Bloom过滤系统,包括分布式Bloom过滤系统主控模块和若干个子节点;其中,所述子节点是Bloom过滤器;所述若干个子节点形成一个闭合环,所述分布式Bloom过滤系统主控模块独立于所述子节点形成的闭合环外外,所述分布式Bloom过滤系统主控模块用于完成当前输入数据的第一重哈希的计算及所述当前输入数据到子节点的映射,所述子节点用于完成所述当前输入数据的第二重哈希计算,并根据当前输入数据的第二重哈希计算结果对所述当前输入数据进行数据查询。本发明提供的方案不仅检索速度快、精度高、扩展性好,而且特征值存储空间要求低,特别适合云计算时代的资源查询及信息检索。

Patent Agency Ranking