生信图类型-生物信息学常见数据格式

fasta格式形式如下图,由两部分组成。

第一部分

:以大于号“ > ” 开头,接着是序列的标 识符“gi|187608668|ref|NM_001043364.2|”,然后是序列的描述信息。注意区分大小写,且不能出现空格,空格表示序列标识符结束;随后是序列的描述信息。所有来源于NCBI的序列都有一个gi号“gi|gi_identifier”,gi号由数字组成,具有唯一性。一条核酸或者蛋白质改变了,将赋予一个新的gi号(这时序列的接收号可能不变)。gi号后面是序列的标识符,标识符由序列来源标识、序列标识(如接收号、名称等)等几部分组成,他们之间用“|”隔开,如果某项缺失,可以留空但是“|”不能省略。

第二部分

:是序列本身信息,使用既定的核苷酸或氨基酸编码符号,通常核苷酸符号大小写均可,而氨基酸常用大写字母。使用时应注意有些程序对大小写有明确要求。一般每行60～80个字母。直到遇到下一个" > "结束。

fasta格式在拓展的文件命名中,一般会约定俗成:

fastQ格式形式如下图,由四部分组成。

第一部分

:由'@'开始,后面跟着序列的描述信息,这点跟FASTA格式是一样的。

第二部分

:是序列。

第三部分

:由加号' + '开始,后面也可以跟着序列的描述信息。跟随着该read的名称(一般与@后面的内容相同),但有时可以省略,但“+”一定不能省。

第四部分

:是对第二行序列的质量评价(quality values,注:应该是测序的质量评价),字符数跟第二行的序列是相等的。

fastQ文件用途:样品测序返回的数据一般存储为fastq文件,通常是压缩文件 的格式,节省存储空间和传输时间。

fasta 是一种

基于文本

用于表示

核酸序列

或

多肽序列

的格式。其中核酸或氨基酸均以单个字母来表示,且允许在序列前添加序列名及注释。

特征:2部分--

id行

和

序列行

。

> id行以“>”开头, 后跟序列名称&序列描述。有时候会包含注释信息

> 序列行一个字母表示一个

碱基/氨基酸

(A、T、C、G、N (N表示不知道是什么)/20种常见氨基酸)。序列中允许空格,换行,空行,直到下一个“>”,表示该序列结束。

高通量测序(如Illumina NovaSeq等测序平台)得到的原始图像数据文件,经碱基识别(Base Calling)分析转化为原始测序序列(Sequenced Reads),我们称之为Raw Data或Raw Reads,结果以FASTQ(简称为fq)文件格式存储,其中包含测序序列(Reads)的

序列信息

以及其对应的

测序质量信息

。测序样品中真实数据随机截取结果如下图:

特征: 每4行代表一个reads信息

fastq格式是由fasta (记录id和序列) 和QUAL (记录id和碱基质量) 合并而来。fastq文件第三行往往是个+,其实就是和第一行一样都是id。

第四行碱基质量值

碱基质量值(Quality Score或Q-score)是碱基识别(Base Calling)出错的概率的整数映射。通常使用的碱基质量值Q公式[1]为: Q=-10 * log10P 。其中P为碱基识别出错的概率。下表给出了碱基质量值与碱基识别出错的概率的对应关系。

碱基质量值越高表明碱基识别越可靠,准确度越高。比如,对于碱基质量值为Q20的碱基识别,100个碱基中有1个会识别出错,以此类推。

碱基质量值+33(前32个不是单个值),查表找到对应ASCII码

fastq与fasta文件转换

GFF,全称为Generic Feature Format,主要用来描述

基因的结构与功能信息

,对基因组进行注释。记录序列中转录起始位点、基因、外显子、内含子等组成元件在染色体中的位置信息。现在用得比较多的是第3版,即gff3。gff是一个三级嵌套结构。格式文件为文本文件,分为9列,以TAB分开。控制符使用RFC 3986 Percent-Encoding 编码。比如:%20 代表着ASCII的空格。

gff文件一共有9列:

第九列的详解

GTF全称为gene transfer format,主要是用来对基因进行注释。现在用得比较多的是第2版,即gtf2。gtf文件也是分为9列,前八个字段与GFF相同(有一些小的差别),重点在第九列的不同。

两种文件差异比较:

bam文件和sam文件内容其实是一样的,只是bam是二进制的压缩文件,占内存空间更小。需要通过特定的软件来进行查看。(sam文件可以直接使用 less -S 查看;bam文件使用 samtools view -h | less -S 查看)

SAM(The Sequence Alignment / Map format)格式,即序列比对文件的格式,详细介绍文档:

SAM文件由两部分组成,头部区和主体区,都以tab分列。

头部区 :以’@'开始,体现了比对的一些总体信息。比如比对的SAM格式版本,比对的参考序列,比对使用的软件等。

主体区 :比对结果,每一个比对结果是一行,有11个主列和一个可选列。

头部区:

@HD VN:1.0 SO:unsorted (排序类型)

头部区第一行:VN是格式版本;SO表示比对排序的类型,有unknown(default),unsorted,queryname和coordinate几种。samtools软件在进行行排序后不能自动更新bam文件的SO值,而picard却可以。

@SQ SN:contig1 LN:9401 (序列ID及长度)

参考序列名,这些参考序列决定了比对结果sort的顺序,SN是参考序列名;LN是参考序列长度;每个参考序列为一行。

例如:@SQ SN:NC_000067.6 LN:195471971

@RG ID:sample01 (样品基本信息)

Read Group。1个sample的测序结果为1个Read Group;该sample可以有多个library的测序结果,可以利用bwa mem -R 加上去这些信息。

例如:@RG ID:ZX1_ID SM:ZX1 LB:PE400 PU:Illumina PL:Miseq

ID:样品的ID号 SM:样品名 LB:文库名 PU:测序以 PL:测序平台

这些信息可以在形成sam文件时加入,ID是必须要有的后面是否添加看分析要求

@PG ID:bowtie2 PN:bowtie2 VN:2.0.0-beta7 (比对所使用的软件及版本)

例如:@PG ID:bwa PN:bwa VN:0.7.12-r1039 CL:bwa sampe -a 400 -f -r @RG ID:ZX1_ID SM:ZX1 LB:PE400 PU:Illumina PL:Miseq …/0_Reference/Reference_ ZX_HQ_clean_ ZX_HQ_clean_ …/2_HQData/ZX_HQ_clean_ …/2_HQData/ZX_HQ_clean_

这里的ID是bwa,PN是bwa,VN是0.7.12-r1039版本。CL可以认为是运行程序@RG是上面RG表示的内容,后面是程序内容,这里的@GR内容是可以自己在运行程序是加入的

主体部分介绍:

主体部分有11个主列和1个可选列

FLAG详解:

例如:想要查看FLAG 99是什么意思:samtools flags 99

CIGAR详解

CIGAR string,简要比对信息表达式(Compact Idiosyncratic Gapped AlignmentReport),其以参考序列为基础,使用数字加字母表示比对结果,比如3S6M1P1I4M,前三个碱基被剪切去除了,然后6个比对上了,然后打开了一个缺口,有一个碱基插入,最后是4个比对上了,是按照顺序的,字母的含义如下

sam/bam文件查看

samtools工具:

Samtools常用命令的总结:

参考: sam格式文件解读

生信分析主要包括两大类:一类是对DNA、RNA、蛋白质和代谢物进行定量和定性分析;另一类是对复杂的生物信息数据进行图形化展示、可视化分析以及机器学习方面的应用。

在DNA、RNA、蛋白质和代谢物定量分析方面,常用的方法有PCR(聚合酶链式反应)、qPCR(定量PCR)、NGS(测序)、微卫星遗传图谱分析、RAPD(随机引物序列扩增多样性) 。

在复杂生物信息数据的可视化方面,常用的方法有UMLS(Unified Medical Language System) 、Conceptual Graphs(CGs) 和Hierarchical display 等。而在机器学习方面应用的主要方法有SVM(Support VectorMachine) 和C4.5 decision tree learning algorithm 等等。

通过对大量生命科学数据的有效处理、分析以及可视化呈现,我们能够得出一些重要的结论或者是发现一些新的生命科学问题。