大数据环境下的流式数据处理方法

    公开(公告)号:CN103345514B

    公开(公告)日:2016-06-08

    申请号:CN201310287554.X

    申请日:2013-07-09

    Abstract: 本发明公开了一种大数据环境下的流式数据处理方法,主要涉及MapReduce计算模型的改进,具体包括:数据的本地化无冗余存放与处理机制,让每个计算节点只存储与处理对应区间内的数据;以流水线的方式调度Map和Reduce相关线程以加快处理速度;中间结果的内存存放机制,用以保证数据本地化与流水线的有效实施,提供高速、便捷的内存访问模式。通过以上三个模块,保证在大数据环境下,对数据流进行处理的可靠性与高效性,满足实际应用中数据处理的需求。

    超文本传输协议1.1下的隐藏服务定位方法

    公开(公告)号:CN102664881B

    公开(公告)日:2014-10-29

    申请号:CN201210108311.0

    申请日:2012-04-13

    Applicant: 东南大学

    Abstract: 超文本传输协议1.1下的隐藏服务定位方法,主要解决在目前主流的Web访问协议HTTP1.1版本下对匿名通信系统Tor所提供的隐藏服务进行定位的问题,以对非法Web服务进行审查和取缔,为网络犯罪的监管提供必要的技术手段。该方法涉及到匿名电路入口节点的占领、隐秘流量的生成以及流量特征的检测与关联等相关技术。该方法首先假设占据了可疑匿名电路的入口节点,通过客户端浏览器的特殊访问模式,利用HTTP1.1协议的特点引发匿名电路中的特定流量特征,然后将访问隐藏服务的时间与检测到特定流量特征的时间进行关联,若关联结果大于设定的阈值且检测到流量特征的节点的前一跳不为Tor的洋葱路由节点,则该节点的前一跳节点为隐藏服务器,从而完成了对隐藏Web服务的定位。

    一种可信的域间路由选路方法

    公开(公告)号:CN103200103A

    公开(公告)日:2013-07-10

    申请号:CN201310153908.1

    申请日:2013-04-27

    Applicant: 东南大学

    Abstract: 本发明公开了一种可信的域间路由选路方法,通过部分检测节点进行虚假路径检测,并且根据检测结果计算网络中节点的可信度,在计算完成后将可信度发布至域间Chord环中;其他未部署虚假路径检测机制的节点在选路时,从Chord环中获取候选路径上节点的可信度,并计算路径的可信度,最终选取真实可信的路径进行发布:1)部分检测节点进行虚假路径检测时,选择信任信息来源;2)Internet中选取部分节点构建一个Chord环,本发明将信誉机制引入了域间路由决策中,对域间路由信息进行信誉评估,选取真实可信的路径进行分发。

    无线Mesh网络网关负载均衡的方法

    公开(公告)号:CN102149138B

    公开(公告)日:2013-04-24

    申请号:CN201110137952.4

    申请日:2011-05-26

    Applicant: 东南大学

    Abstract: 一种无线Mesh网络网关负载均衡的方法,利用集中控制型的网络结构,在接入控制器AC上进行全局的负载均衡计算,并通过其对Mesh接入点MAP的路由配置来完成流量迁移,从而实现Mesh网关MPP之间的负载均衡。AC作为网络中的关键节点,通过消息请求的方式获取全局的拓扑及网关负载信息;全局的负载均衡计算以迭代的方式选择出当前最优的流量迁移方案,每产生一个流量迁移方案,通过AC的路由配置指令下发给进行流量迁移的MAP;网络中的路由采用多路径源路由机制,每个MAP维护多条到达不同网关的路径,其中的一条被选作为主路径进行数据传输,流量迁移即选择另一条到达不同网关的路径来替换原来的主路径。

    一种OLAP海量多维数据维存储方法

    公开(公告)号:CN102982103A

    公开(公告)日:2013-03-20

    申请号:CN201210438298.5

    申请日:2012-11-06

    Applicant: 东南大学

    Abstract: 本发明公开了一种OLAP海量多维数据维存储方法,首先,按维分割OLAP多维数据,构建维层次编码,设计HDFile维存储文件结构,使得聚集计算只需访问相关维对应数据,避免了检索无关数据;接着构建基于维层次编码的B+树索引,快速定位维存储数据,节省了I/O开销;最后设计高效并行查询算法,进一步提高了OLAP查询效率。从而为科学实验统计、环境气象、生物信息计算等海量数据分析的应用提供一套高效、易用、可扩展的存储方法。

    一种域内集中资源控制方法

    公开(公告)号:CN102916840A

    公开(公告)日:2013-02-06

    申请号:CN201210422974.X

    申请日:2012-10-30

    Applicant: 东南大学

    Abstract: 本发明公开了一种域内集中资源控制方法,在网络自治域内设置集中的控制节点,底层网络资源向控制节点汇报网络资源状态信息,控制节点基于状态信息决策并将决策结果发回给底层设备资源执行,从而构成闭环控制。本发明方法能够减轻网络路由器负担、提高网络可扩展性;减少域内资源控制的负载,加快域内资源控制的收敛速度。

    基于URL分类的钓鱼网站检测方法

    公开(公告)号:CN102790762A

    公开(公告)日:2012-11-21

    申请号:CN201210202701.4

    申请日:2012-06-18

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于URL分类的钓鱼网站检测方法,首先对URL特征进行建模,针对特征中的域名模仿现象,本发明提出了一种利用动态规划思想对可疑域名和受保护域名进行相似度计算的方法,为收集钓鱼URL高频可疑字符特征,本发明提出了一种基于广义后缀树的可疑字符提取算法,之后在特征建模基础上利用支持向量机(SVM)算法对实验训练集进行了分类训练,训练结果得到SVM分类模型,用于对待检测URL进行分类,检测钓鱼网站的服务器根据特定的在线增量学习策略对当前SVM分类模型进行升级。

    一种基于振动感知的单手手指键盘映射输入方法

    公开(公告)号:CN118295531A

    公开(公告)日:2024-07-05

    申请号:CN202410416886.1

    申请日:2024-04-08

    Applicant: 东南大学

    Abstract: 本发明公开一种可穿戴设备上基于振动感知的单手手指键盘映射输入方法,是一个单手可用的输入界面。具体来说,将一个手掌的12个指节映射成T9键盘,通过同侧手的大拇指点击的方式输入字符。整个输入过程分为注册和使用两个阶段。注册阶段预先收集训练数据,经过滑动窗口切分后,使用变分模态分解算法对信号进行分频,作为训练集输入到卷积神经网络训练。在训练过程中使用自动化数据增强方法提高分类效果和模型稳健性。使用阶段分为预启动和识别两部分,系统预启动时先收集少量数据,经过切分和分频后作为训练集来微调注册阶段预训练好的模型;识别过程为使用者根据键盘映射输入字符,系统使用微调好的模型识别出相应的字符显示在设备屏幕上。

    基于WiFi-BLE信号被动嗅探的跨智能可携带设备关联方法

    公开(公告)号:CN114449444B

    公开(公告)日:2024-02-13

    申请号:CN202210103377.4

    申请日:2022-01-27

    Applicant: 东南大学

    Abstract: 本发明提供一种基于WiFi‑BLE信号被动嗅探的跨智能可携带设备关联方法,实现对用户同时携带的WiFi和BLE两类设备进行关联,步骤如下:(1)WiFi‑BLE双信号嗅探:(2)基于多级滤波的信号处理:(3)基于动态时间规整的设备关联:对BLE设备信号强度值序列进行随机重采样,使得不同BLE设备信号采样率相近,再分别对WiFi和BLE两类信号强度值序列进行中心化处理,利用动态时间规整法计算两类设备信号强度值序列的距离,并比较两类序列的距离得出关联结果。本发明基于用户随身携带两类设备的习惯,通过对移动智能终端产生的WiFi信号和智能穿戴设备产生的BLE信号进行分析,抽取出两类信号动态变化相似性的特征,从而可以准确地关联移动智能终端和智能穿戴设备。

    异构GPU集群中加速神经网络训练的流水线并行方法

    公开(公告)号:CN116883229A

    公开(公告)日:2023-10-13

    申请号:CN202310892762.6

    申请日:2023-07-20

    Applicant: 东南大学

    Abstract: 本发明提供了一种异构GPU集群中加速神经网络训练的流水线并行方法,核心机制主要包含三个部分,分别是深度学习模型刻画、同构GPU模型划分及任务放置与异构GPU模型划分及任务放置。本发明首先针对深度学习应用在GPU训练过程中的资源需求,刻画出使用不同类型的GPU时训练过程中计算量、中间结果通信数量、参数同步量等相应指标,并将其作为模型划分与任务放置的输入。然后根据模型刻画结果和GPU集群的环境,设计基于动态规划的划分算法,实现异构GPU和异构带宽感知的流水线混合并行模型划分与任务放置,目的是最小化划分之后各阶段任务执行时间的最大值,以确保负载均衡,实现深度神经网络的高效分布式训练。

Patent Agency Ranking