-
公开(公告)号:CN114089889A
公开(公告)日:2022-02-25
申请号:CN202110178477.9
申请日:2021-02-09
Applicant: 京东科技控股股份有限公司
IPC: G06F3/0484 , G06N20/00
Abstract: 本申请提出一种模型训练方法、装置以及设备,其中,方法包括:在获取到目标用户对象在命令行界面输入的模型训练的训练相关参数后,根据训练相关参数,生成目标用户对象提交的目标训练任务,进而,将目标训练任务添加至目标任务队列中,确定目标资源组所关联的至少一个工作节点的可用资源满足目标训练任务运行所需资源的情况下,采用目标资源组关联的至少一个工作节点执行目标训练任务。由此,在可用资源满足训练任务所需资源的情况下,即可执行目标训练任务,充分利用了硬件资源,缩短了模型创建时间,实现了快速创建模型训练任务的目的。
-
公开(公告)号:CN113762514B
公开(公告)日:2024-04-16
申请号:CN202010503515.9
申请日:2020-06-05
Applicant: 京东科技控股股份有限公司
Inventor: 黄绿君
Abstract: 本发明实施例提供一种数据处理方法、装置、设备及计算机可读存储介质。本发明实施例的方法,通过预先创建和维护由包括数据集的数据元特征和数据集用于模型训练时产生的模型元特征的元知识构成的元知识资源库,能够将模型训练的经验数据以结构化地形式存储;进一步地,在进行模型训练时,根据元知识资源库进行模型超参数的初始化;根据元知识资源库和预先配置的早停控制策略,提前停止无效超参数组合的训练过程,既能够依据模型训练的经验数据指导模型训练,无需依赖某个人的知识和经验,还可以减少无需超参数组合的训练过程,缩短模型训练耗时,提高模型训练效率,并且可以减少模型训练的硬件资源和人力成本。
-
公开(公告)号:CN114089889B
公开(公告)日:2024-04-09
申请号:CN202110178477.9
申请日:2021-02-09
Applicant: 京东科技控股股份有限公司
IPC: G06F3/04847 , G06N20/00
Abstract: 本申请提出一种模型训练方法、装置以及设备,其中,方法包括:在获取到目标用户对象在命令行界面输入的模型训练的训练相关参数后,根据训练相关参数,生成目标用户对象提交的目标训练任务,进而,将目标训练任务添加至目标任务队列中,确定目标资源组所关联的至少一个工作节点的可用资源满足目标训练任务运行所需资源的情况下,采用目标资源组关联的至少一个工作节点执行目标训练任务。由此,在可用资源满足训练任务所需资源的情况下,即可执行目标训练任务,充分利用了硬件资源,缩短了模型创建时间,实现了快速创建模型训练任务的目的。
-
公开(公告)号:CN112148347B
公开(公告)日:2025-04-15
申请号:CN201910559914.4
申请日:2019-06-26
Applicant: 京东科技控股股份有限公司
IPC: G06F8/71
Abstract: 本发明公开了一种全流程溯源管理的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:将全流程划分为多个子流程;对每个子流程对应的作业信息进行版本管理;通过建立各子流程之间的对应关系,并根据各子流程的作业信息对应的版本信息实现全流程的溯源管理。该实施方式可以便捷地实现全流程的溯源管理,当服务出现异常时,很快溯源定位是哪个环节出现问题并预警通知哪些相关人,从而减轻了模型构建和服务维护人员的负担,提升模型构建和服务的效率和质量。
-
公开(公告)号:CN111612135B
公开(公告)日:2024-04-16
申请号:CN202010439286.9
申请日:2020-05-22
Applicant: 京东科技控股股份有限公司
Inventor: 黄绿君
IPC: G06N3/0464 , G06N3/09
Abstract: 本公开的实施例公开了用于信息交互的方法和装置。该方法的一具体实施方式包括:响应于接收到第一标识用户的第一模型获取请求,向第一模型获取请求指向的目标模型所对应的第二标识用户转发第一模型获取请求,模型库中的模型基于第二标识用户的模型操作指令生成;响应于接收到第二标识用户针对第一模型获取请求的确认指令,从模型库中获取目标模型及对应的元数据;基于目标模型及对应的元数据,生成镜像文件并将镜像文件发送至第一标识用户指定的位置。连接模型的需求方和供给方,可以提高模型应用范围。
-
公开(公告)号:CN113822432B
公开(公告)日:2024-02-06
申请号:CN202110368290.5
申请日:2021-04-06
Applicant: 京东科技控股股份有限公司
Abstract: 本申请提出一种样本数据的处理方法,该方法包括服务器获取分布式训练任务的训练样本集;所述服务器在每次进行模型训练之前从多个候选样本数据划分策略中,选取一个目标样本数据划分策略;所述服务器基于所述目标样本数据划分策略,对所述训练样本集进行划分,生成多个训练样本子集;所述服务器将所述多个训练样本子集分发给多个工作节点进行当次模型训练。本申请中,在每次模型训练开始前,服务器从多个候选的样本数据划分策略中随机选取一个作为目标样本数据划分策略,实现了对于训练样本集的高效动态划分,使得不同样本数据划分策略的优点被充分利用,保障了分布式训练的模型效果和收敛速率。
-
公开(公告)号:CN111125365B
公开(公告)日:2022-01-07
申请号:CN201911349674.1
申请日:2019-12-24
Applicant: 京东科技控股股份有限公司
Inventor: 黄绿君
IPC: G06F16/35 , G06F16/387 , G06N20/00
Abstract: 本公开提供了一种地址数据标注方法、地址数据标注装置、电子设备及计算机可读存储介质,属于数据处理技术领域。该方法包括:获取地址标注模型,所述地址标注模型基于无标签的第一样本数据,以及有标签的第二样本数据预先训练而得到;将待标注地址拆分为多个字符,以将所述待标注地址转换为由所述多个字符排列而成的待标注字符序列;采用所述地址标注模型对所述待标注字符序列进行处理,得到标注数据序列;根据所述标注数据序列确定所述待标注地址的标注结果。本公开可以准确、高效的对地址数据进行标注。
-
公开(公告)号:CN113822432A
公开(公告)日:2021-12-21
申请号:CN202110368290.5
申请日:2021-04-06
Applicant: 京东科技控股股份有限公司
Abstract: 本申请提出一种样本数据的处理方法,该方法包括服务器获取分布式训练任务的训练样本集;所述服务器在每次进行模型训练之前从多个候选样本数据划分策略中,选取一个目标样本数据划分策略;所述服务器基于所述目标样本数据划分策略,对所述训练样本集进行划分,生成多个训练样本子集;所述服务器将所述多个训练样本子集分发给多个工作节点进行当次模型训练。本申请中,在每次模型训练开始前,服务器从多个候选的样本数据划分策略中随机选取一个作为目标样本数据划分策略,实现了对于训练样本集的高效动态划分,使得不同样本数据划分策略的优点被充分利用,保障了分布式训练的模型效果和收敛速率。
-
-
-
-
-
-
-