公开(公告)号：CN114067910B

公开(公告)日：2024-10-22

申请号：CN202111346883.8

申请日：2021-11-15

Applicant: 厦门大学

Inventor： 俞容山 ,  刘钰 ,  高铭暄 ,  刘洪金

IPC: G16B30/00 ,  G06F9/50 ,  G06F16/182 ,  G06F16/172

Abstract: 本发明公开了一种基于UMI‑tools和Spark的单细胞上游大数据处理方法，包括如下步骤：S1、通过HadoopBAM的接口读取FASTQ R1和FASTQ R2文件，并分别抽象为FASTQ R1数据集和FASTQ R2数据集；S2、从FASTQ R2数据集筛选出待处理的FASTQ数据集；S3、利用软件STAR将待处理的FASTQ数据集转化为SAM数据集；S4、读取GTF数据集和SAM数据集，分别根据各自记录中的染色体名进行聚合分组，得到GTF数据集组和SAM数据集组；S5、将GTF数据集组和SAM数据集组中具有相同染色体名的SAM记录和GTF记录进行拼接，并计数；S6、将计数的结果保存为结果文件。本发明大大减少了不必要的中间读写过程，提高数据处理的效率。

公开(公告)号：CN114067910A

公开(公告)日：2022-02-18

申请号：CN202111346883.8

申请日：2021-11-15

Applicant: 厦门大学

Inventor： 俞容山 ,  刘钰 ,  高铭暄 ,  刘洪金

IPC: G16B30/00 ,  G06F9/50 ,  G06F16/182 ,  G06F16/172

Abstract: 本发明公开了一种基于UMI‑tools和Spark的单细胞上游大数据处理方法，包括如下步骤：S1、通过HadoopBAM的接口读取FASTQ R1和FASTQ R2文件，并分别抽象为FASTQ R1数据集和FASTQ R2数据集；S2、从FASTQ R2数据集筛选出待处理的FASTQ数据集；S3、利用软件STAR将待处理的FASTQ数据集转化为SAM数据集；S4、读取GTF数据集和SAM数据集，分别根据各自记录中的染色体名进行聚合分组，得到GTF数据集组和SAM数据集组；S5、将GTF数据集组和SAM数据集组中具有相同染色体名的SAM记录和GTF记录进行拼接，并计数；S6、将计数的结果保存为结果文件。本发明大大减少了不必要的中间读写过程，提高数据处理的效率。