物联操作系统适配程序的更新方法、装置、设备及产品

    公开(公告)号:CN119806603A

    公开(公告)日:2025-04-11

    申请号:CN202510303519.5

    申请日:2025-03-14

    Abstract: 本公开实施例公开了一种物联操作系统适配程序的更新方法、装置、设备及产品,包括:基于第一操作系统的第一接口信息和第二操作系统的第二接口信息确定目标关系文件;基于目标关系文件确定目标接口,目标接口包括函数名产生变化的接口、返回值增加的接口、删除返回值的接口、返回值的类型被修改的接口、删除参数的接口、删除原始参数并增加第一目标参数的接口和/或增加第二目标参数的接口;基于目标接口对第二操作系统的原始适配程序进行更新,得到适用于第一操作系统的目标适配程序,并输出更新报告和修改方案推荐报告。本技术方案实现适配程序的自动化更新,减少开发人员的工作量和投入成本,为开发人员提供有效的更新方案推荐。

    一种基于多模态模型的GUI异常检测方法

    公开(公告)号:CN119065965A

    公开(公告)日:2024-12-03

    申请号:CN202411064418.9

    申请日:2024-08-05

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于多模态模型的GUI异常检测方法,包括:S1,设计多模态模型架构,用于融合文字模态和图像模态的特征;S2,在正常UI数据集上让模型学习到不同类型的组件和文字的匹配,和一些常见类型的UI异常的图文匹配能力,使得模型具有few shot能力;S3,对基于用户使用DSL定义的异常生成的小量数据集,进行few‑shot的模型微调,使得模型拥有识别新种类UI异常的能力;S4,使用文字提示和多模态模型进行UI异常的检测。本方法包括如何构建具有零样本和小样本迁移能力的多模态模型以及如何使用多模态模型进行GUI异常检测,本发明仅需在小样本数据集上微调模型,便可达到很好的GUI异常检测效果。

    一种基于SAM大模型的移动应用GUI页面布局结构生成方法

    公开(公告)号:CN119003062A

    公开(公告)日:2024-11-22

    申请号:CN202410667030.1

    申请日:2024-05-28

    Applicant: 南京大学

    Inventor: 张天 潘敏学 付诚

    Abstract: 本发明公开了一种基于SAM大模型的移动应用GUI页面布局结构生成方法,包括:步骤1)输入一个移动应用GUI界面截图,使用OCR模型进行预处理;步骤2)利用SAM大模型将GUI界面截图进行元素区域的像素级分割;步骤3)设计形状识别算法,识别界面中的矩形和非矩形区域;步骤4)设计不规则区域合并算法,将界面中的非矩形区域进行合并;步骤5)设计树状结构生成算法,根据分割结果生成布局的树状结构;步骤6)使用图神经网络对树状结构的节点进行分类,得到GUI界面组件的结构和类别;本方法可以为给定的移动应用GUI截图生成相应的树状布局结构,其中每个节点都与GUI页面上的一个可见元素相对应,便于用户在无布局文件的情况下理解移动应用GUI界面的结构。

    一种基于历史测试经验序列的安卓软件测试增强方法

    公开(公告)号:CN118689775A

    公开(公告)日:2024-09-24

    申请号:CN202410892812.5

    申请日:2024-07-04

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于历史测试经验序列的安卓软件测试增强方法,包括以下步骤:(1)获取测试时的经验序列;(2)根据历史经验序列,抽象与构建页面状态,更新状态图;(3)根据历史经验序列与新状态图,更新经验序列分组模型,更新状态图热度,更新封禁名单;(4)进入下一轮测试,根据封禁名单,选择基础工具测试时的事件并重复;本发明可以有效地提升测试时的代码覆盖率,触发新缺陷,从而增强基础安卓GUI测试工具,提升测试效率。

    一种基于LLM的测试脚本生成方法
    8.
    发明公开

    公开(公告)号:CN118567999A

    公开(公告)日:2024-08-30

    申请号:CN202410800535.0

    申请日:2024-06-20

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于LLM的测试脚本生成方法,包括:输入应用和想要达到的目标界面,首先通过界面跳转图判断所述界面是否遇到过,对于没有遇到的界面,利用LLM对其中能够跳转到相同界面的可操作组件进行聚类,并将聚类后界面,利用LLM挑选并记录当前界面到达目标界面所需要执行的候选操作;最后执行对应的候选操作中的其中一个操作并将其从候选操作列表中移除,到达另一个界面并对当前操作进行总结,更新历史操作信息列表,重复操作直到到达目标场景;依据最短路径算法,从跳转图中找到初始界面到目标界面的最短路径生成测试脚本。本发明能够准确的引导自动化探索工具到达目标界面的路径,并生成对应的测试脚本,减轻了GUI测试人员编写脚本的负担。

    一种仅基于视觉信息的移动应用GUI弹窗检测方法

    公开(公告)号:CN118550824A

    公开(公告)日:2024-08-27

    申请号:CN202410646748.2

    申请日:2024-05-23

    Applicant: 南京大学

    Abstract: 本发明公开一种仅基于视觉信息的移动应用GUI弹窗检测方法,包括:S1,控件检测:基于开源Rico数据集中的移动应用布局结构和GUI截图,训练YOLOv8模型,预测待检测GUI页面中存在的控件,从中筛选出弹窗类型的控件;S2,亮度二值化:使用HSV颜色空间表示待检测GUI截图,对V通道值进行二值化,获得GUI截图的亮度掩码;S3,轮廓检测:在GUI截图亮度掩码的四周填充黑色像素,检测填充后亮度掩码中的轮廓,取所有轮廓中面积最大的轮廓作为弹窗边界。本发明结合目标检测和基于HSV颜色空间的颜色分割技术,实现对移动应用GUI截图中弹窗边界的识别。

    一种基于SAM大模型的移动应用GUI布局文件去噪方法

    公开(公告)号:CN118502858A

    公开(公告)日:2024-08-16

    申请号:CN202410667029.9

    申请日:2024-05-28

    Applicant: 南京大学

    Inventor: 张天 潘敏学 付诚

    Abstract: 本发明公开了一种基于SAM大模型的移动应用GUI布局文件去噪方法,包括:步骤1)输入一个移动应用GUI界面截图和JSON布局文件;步骤2)使用OCR模型对GUI截图进行预处理;步骤3)利用SAM大模型将GUI界面截图进行元素区域的像素级分割;步骤4)将分割出的区域与布局文件中标识的区域进行对比,筛选出能够匹配的布局文件区域;步骤5)将分割出的无法匹配的区域进行合并,并将合并后的结果与布局文件中标识的区域进行对比,筛选出能够匹配的布局文件区域;步骤6)遍历布局文件中的所有节点,过滤掉无法被匹配的节点,得到去噪后的布局文件;本方法可以通过GUI截图的分割来过滤筛选布局文件中的非法节点信息,进而得到更加准确且无噪声的布局文件。

Patent Agency Ranking