中华急诊医学杂志  2016, Vol. 25 Issue (9): 1216-1218
《中华急诊医学杂志》发表的系统评价/Meta分析的质量评价
郑辛甜, 何小军, 邵菊芳, 张斯龙, 沈惠云, 马岳峰     
310009 杭州,浙江大学医学院附属第二医院 中华急诊医学杂志编辑部
Quality evaluation of systematic reviews / Meta analysis published on Chinese Journal of Emergency Medicine
Zheng Xintian, He Xiaojun, Shao Jufang, Zhang Silong, Shen Huiyun, Ma Yuefeng     
Editorial Board of Chinese Journal of Emergency Medicine,The Second Affiliated Hospital,Zhejiang University College of Medicine,Hangzhou 310009,China

急诊医学是一门新兴的综合学科,自1986年急诊医学在我国正式成为一门独立学科以来,经过了30年的发展,中国急诊医学的临床科学研究水平不断提高[1]。系统评价/Meta分析是循征医学获得高质量证据的重要来源之一。随着循征医学的普及,急诊医学领域的系统评价/Meta分析文献数量日益增多。高质量的系统评价/Meta分析能够为临床工作者提供可靠的信息,而低质量的系统评价/Meta分析则会降低研究成果的价值,甚至会误导临床决策[2]。因此有必要对系统评价/Meta分析的质量进行评价。《中华急诊医学杂志》作为我国急诊医学领域的代表性期刊,刊载的论文体现了我国急诊医学的特色和发展水平,已被急诊医学及相关学科的读者、作者和专家广泛认同,拥有较高的学术影响力。本研究利用AMSTAR和PRISMA两种量表对《中华急诊医学杂志》发表的所有系统评价/Meta分析进行质量评价,以期明确本刊发表的系统评价/Meta分析的质量及其影响因素,为今后研究者规范化发表急诊医学领域的系统评价/Meta分析提供参考依据。

1 资料与方法 1.1 一般资料

通过万方数据库,以“期刊—来源(中华急诊医学杂志)及题名或关键词(系统评价 or Meta分析 or 荟萃分析 or 系统综述)”为检索式,检索时间截止2016年6月30日。并通过检索《中华急诊医学杂志》官网(www.cem.org.cn)期刊中心补充万方数据库收录延时的或题名未包含上述关键词的系统评价和Meta分析,最终获得本刊创刊至2016年公开发表的所有系统评价或Meta分析论文。

1.2 文献筛选

由两名研究者独立进行检索获得文献目录,并逐一阅读文献,再按照筛选文献目录逐篇下载获取全文,最终获得所有的系统评价/Meta分析,独立筛选后进行交叉核对。

1.3 资料提取

提取资料包括:纳入文献的发表年份、作者人数与单位、基金资助、纳入研究数量、被引频次,以及AMSTAR和PRISMA量表的各条目内容。由两名研究者分别独立进行资料提取,然后交叉核对,意见统一后再进行统计分析。

1.4 质量评价

采用AMSTAR[3]和PRISMA[4]量表对纳入研究的报告质量进行评价,AMSTAR量表包括11个条目,PRISMA 量表包括7 个方面27 个条目。根据文献对各个条目的报告符合程度进行打分,“符合”记1 分,“部分符合”记0.5 分,“不符合”记0 分。AMSTAR量表得分0~4分者为低质量,5~8分者为中等质量,9~11分者为高质量。PRISMA 量表文献评分21~27 分时,认为报告相对完全;15~21 分时,认为报告有一定缺陷;15 分以下时,认为有相对严重的信息缺失。由两位研究者独立评价文献质量并交叉核对,如遇分歧通过与第三方讨论解决。

1.5 统计学方法

采用Excel 建立资料提取表。统计评为“符合”、“部分符合”及“不符合”的条目百分率,整个文献的质量评分用均数±标准差(x ±s)表示。数据分析采用SPSS 16.0软件进行。计量资料采用成组t检验,以P<0.05为差异具有统计学意义。

2 结果 2.1 纳入文献的基本情况

通过数据库检索,经过下载阅读全文,最终纳入系统评价/Meta分析31篇,其中包括24篇Meta分析和7篇系统评价,最早一篇刊出于2005年。目前31篇系统评价/Meta分析总被引频次66次,平均每篇2.1次,单篇最高被引19次。作者人数2~9人不等,中位数5人。6篇(19.3%)论文由来自高校和医院的作者合作完成。31篇文献中,有16篇(51.6%)报告了基金资助。每篇系统评价/Meta分析纳入的研究数量从3~27项不等,中位数为8项。发表的系统评价/Meta分析主题包括:心肺脑复苏6篇,ARDS/急性肺损伤6篇,心血管重症4篇,脓毒症3篇,创伤失血性休克相关3篇,中毒1篇,其他主题2篇。

2.2 基于PRISMA评分的文献报告质量评价

31篇系统评价/Meta分析PRISMA评分为12.5~22.5分,(17.87±2.46)分。15分以下4篇(12.9%),15~21分25篇(80.6%),21分以上2篇(6%)。以PRISMA各条目报告完整度≤50%为报告信息缺失,如下7个条目存在缺失:条目5方案和注册、条目11资料提取条目、条目16其他分析、条目19研究内部偏倚、条目22研究间偏倚、条目23其他分析和条目24证据强度总结;其余20个条目报告完整度较好。

31篇系统评价/Meta分析中,无1篇文献完全符合PRISMA的27个条目要求。93.5%能从标题判断为系统评价或Meta 分析;无一研究摘要完全符合要求。方法部分31篇的研究方案和注册信息全部缺失,大多数研究纳入排除标准报道不够完整;许多研究分别在检索、研究筛选和资料提取、原始研究的质量评价、研究间偏倚及其他分析方法等条目存在报告不足的现象;结果部分对研究内部偏倚、研究间偏倚及其他分析结果报道不足;讨论部分研究证据强度报道不足。结果见表 1

表 1 31篇系统评价/Meta 分析的报告质量评价结果(篇,%)
PRISMA条目完整报告部分报告未报告
标题29(93.5)0(0.0)2(6.5)
结构式摘要21(67.7)0(0.0)10(32.3)
前言
理论基础27(87.1)4(12.9)0(0.0)
目的22(71.0)7(22.6)2(6.5)
方法
方案和注册0(0.0)0(0.0)31(100.0)
纳入标准26(83.9)5(16.1)0(0.0)
信息来源30(96.8)1(3.2)0(0.0)
检索14(45.2)17(54.8)0(0.0)
研究选择15(48.4)5(16.1)11(35.4)
资料提取方法19(61.3)2(6.5)10(32.3)
资料提取条目13(41.9)0(0.0)18(58.1)
单个研究存在的偏倚18(58.1)8(25.8)5(16.1)
概括效应指标20(64.5)0(0.0)11(35.5)
合并结果27(87.1)0(0.0)4(12.9)
研究偏倚18(58.1)0(0.0)13(41.9)
其他分析8(25.8)1(3.2)22(71.0)
结果
研究选择28(90.3)3(9.7)0(0.0)
研究特征16(51.6)13(41.9)2(6.5)
研究内部偏倚风险11(35.5)8(25.8)12(38.7)
单个研究结果27(87.1)4(12.9)0(0.0)
合并结果21(67.7)7(22.6)3(9.7)
研究间偏倚14(45.2)2(6.5)15(48.4)
其他分析5(16.1)2(6.5)24(77.4)
讨论
证据强度总结6(19.4)1(3.2)24(77.4)
局限性29(93.5)0(0.0)2(6.5)
结论29(93.5)0(0.0)2(6.5)
资金支持16(51.6)0(0.0)15(48.4)
2.3 基于AMSTAR评分的文献方法学质量评价

纳入31篇Meta分析中,AMSTAR评分为4.5~8分,(6.09±0.87)分,无一研究满足全部AMSTAR条目要求。几乎所有研究在前言部分均未能提供前期设计方案,仅交代了研究理论基础。文献检索方面,大部分研究检索了2种及以上中文和外文数据库,但64.5%的研究未进行手工补充检索其他文献来源,且在检索和筛选过程中,83.9%的研究未考虑发表状态,即没有涉及非公开出版的灰色文献;多数研究未能提供筛选流程图。纳入研究特征描述中,部分研究描述研究特征未给出具体表格;多数研究报道了质量评价方法并对纳入研究的质量进行了正确评价,常用的质量评价标准是Cochrane评价手册和Jadad量表;67.7%的研究在下结论之前未考虑纳入研究的方法学质量;合并结果部分,大部分研究提及了纳入研究存在的异质性,采用了随机效应模型进行数据合并,少数研究进行了敏感性分析或亚组分析等其他分析;51.6%考虑了纳入研究的发表偏倚对结果的影响,常用方法为漏斗图分析。但是无一研究说明了纳入研究的利益冲突。结果见表 2

表 2 31篇系统评价/Meta 分析的方法学质量评价结果(篇,%)
AMSTAR条目完整报告部分报告未报告
提供前期设计方案0(0.0)31(100.0)0(0.0)
研究筛选和数据提取可重复性7(22.6)24(77.4)0(0.0)
实施广泛全面文献检索11(35.5)20(64.5)0(0.0)
考虑文献发表情况5(16.1)24(77.4)2(6.5)
提供纳入排除文献清单0(0.0)31(100.0)0(0.0)
描述纳入研究特征15(48.4)15(48.4)1(3.2)
评估纳入研究的质量15(48.4)16(51.6)0(0.0)
纳入研究质量运用于结论推导1(3.2)18(58.1)12(38.7)
结果合并方法恰当28(90.3)3(9.7)0(0.0)
评估发表偏倚15(48.4)0(0.0)16(51.6)
声明利益冲突0(0.0)0(0.0)31(100.0)
2.4 与报告质量相关的其他因素分析

AMSTAR和PRISMA评价量表分别于2007年和2009年发布,在它们正式被循征医学研究者熟知后,对发表的系统评价/Meta分析研究质量是否有影响,笔者比较了我刊发表于2009年之前和2009年之后的系统评价/Meta分析研究的PRISMA和AMSTAR评价得分,分别为2009年之前的(16.33±2.73)和(5.50±1.00)vs. 2009年之后的(18.03±2.42)和(6.16±0.85),2009年之后发表的研究评分较高,差异有统计学意义(P<0.05)。有报道称,作者中如果包含来自高校的具有循征医学、统计学、公共卫生专业的研究人员,对于研究的质量有一定的帮助[5]。笔者比较了作者分别来自高校和医院的以及仅来自医院的系统评价/Meta分析研究的PRISMA和AMSTAR评价得分,分别为(17.71±1.80)和(5.93±0.61)vs.(17.92±2.92)和(6.15±0.94),差异无统计学意义(P>0.05)。笔者同时比较了有基金资助和无基金资助的系统评价/Meta 分析的PRISMA和AMSTAR评价得分,分别为(17.41±2.64)和(5.88±0.85)vs.(18.36±2.22)和(6.33±0.86),发现无基金资助的系统评价/Meta 分析的报告质量稍好,但差异无统计学意义(P>0.05)。

3 讨论

本研究结果显示循征医学的方法已逐渐在急诊医学领域受到重视和应用,我刊自2005年发表第1篇Meta分析以来,发表的系统评价/Meta分析论文数量总体呈逐年增加的趋势。发表的31篇文献的作者基本能够应用系统评价/Meta分析的方法对相关主题的不同研究结果进行定性/定量分析,但在方法学和报告完整度上还存在着各种问题,总体文献质量并不高。系统评价/Meta分析的产生如果只来自临床,可能影响其准确性和科学性,同样如果只来自于高校,也势必影响其结论的临床应用价值[5],因此研究人员在跨机构合作能力方面有待加强,虽然本研究的结果提示作者分别来自高校和医院对研究质量提高未有显著影响,可能是由于本研究纳入的文献数目较少。

从PRISMA 的评价结果看,评分在21分以上的高质量系统评价/Meta 分析只有2篇(6.4%),同时有4篇文献评分在15 分以下;而从AMSTAR评分结果来看,大部分文献得分都在5~7分之间,处于中等水平,表明我刊发表的系统评价/Meta 分析报告质量和方法学质量方面都还有待进一步提高,这与其他研究[6]的结果类似。

纳入的31篇文献均有不同程度的信息缺陷。其中主要存在的问题有:① 摘要部分 仅有21篇文献给出结构式摘要,且要求的研究背景、目的、资料来源、纳入研究标准、研究对象和干预措施、研究评价和综合方法、结果、局限性、结论和主要发现以及注册号均存在不同程度的缺失。这可能与中文期刊一贯以目的、方法、结果和结论四要素要求有关;此外注册号信息严重缺失是一个共同的问题,系统评价提前注册可以减少对于同一个选题进行重复系统评价的风险,也可在更新时提高透明度和可信度[7]。② 方法部分所有31篇文献均未报告注册和方案,可能导致研究的计划性和前瞻性受影响。同时还存在检索不全面的问题,制定合理、详细的检索策略,是提高文献的查全率和查准率及确保系统评价质量的首要前提,也是使检索结果得以重现的前提。我刊近3/5 的文献未报告完整的检索式,大部分研究缺乏对灰色文献纳入、追踪参考文献等的报告。系统评价作为对文献的二次评价,检索文献数据库偏倚、语种偏倚、查找性偏倚等,都会对结果产生较大影响[8]。此外,本刊发表的31篇文献对研究选择、资料条目(如PICOS)、其他分析(如敏感性分析、亚组分析,Meta回归分析)、研究偏倚(如发表偏倚和研究中的选择性报告偏倚)方法报告均较少。③ 结果部分不到一半的系统评价/Meta分析充分交代了研究间偏倚,反映出研究者对研究间偏倚未予重视;仅7篇文献使用了其他分析;④ 讨论部分部分研究忽略了对证据强度的总结,而直接得出结论,这势必影响结论的科学性。31篇研究均未报道潜在的利益相关性,资助者的经济利益冲突对临床试验及系统评价研究者的结论可能会产生影响。

综上所述,循证医学在国内虽起步较晚,但发展迅速,《中华急诊医学杂志》上发表的系统评价/Meta分析的质量属于中等,需要进一步加强系统评价撰写者临床专业知识、循证医学知识以及文献检索、计算机应用能力的提升。为保证系统评价/Meta分析的质量,作者可以参加系统、规范的方法学培训。撰写者在文献检索、筛选、资料提取、研究间偏倚评价和其他分析方面应当加强报告力度,同时规范、详细地进行报告,进一步提升国内系统评价/Meta分析的质量和国际影响力。此外,期刊编辑部也应该加强系统评价/Meta分析的审稿力度,建议在审稿专家中增加循征医学专家,以确保系统评价/Meta分析论文的质量。

参考文献
[1] 于学忠. 祈福中国急诊[J]. 中华急诊医学杂志 , 2016, 25 (1) : 2
Yu XZ. Blessing emgerncy medicine of China[J]. Chin J Emerg Med , 2016, 25 (1) : 2 DOI:10.3760/cma.j.issn.1671-0282.2016.01.002
[2] 李幼平. 循征医学 [M]. 北京: 人民卫生出版社, 2003 .
Li YP. Evidence-based medicine [M]. Beijing: People' s Health Publishing House, 2003 .
[3] Shea BJ, Bouter LM, Peterson J, et al. External validation of a measurement tool to assess systematic reviews(AMSTAR)[J]. PLoS One , 2007, 2 (12) DOI:10.1371/journal.pone.0001350
[4] Moher D, Liberati A, Tetzlaf J, et al. Preferred reporting items for systematic reviews and mata analyses:the PRISMA statement[J]. PLoS Med , 2009, 6 (7)
[5] 周为文, 葛龙, 徐俊峰, 等. 《中国循证医学杂志》发表的干预类系统评价/Meta分析报告质量评价[J]. 中国循证医学杂志 , 2013, 13 (4) : 482-488
Zhou WW, Ge L, Xu JF, et al. Quality evaluation on the systematic reviews/Meta-analyses related to interventions published in the Chinese Journal of Evidence-Based Medicine[J]. Chin J Evid-Based Med , 2013, 13 (4) : 482-488 DOI:10.7507/1672-2531.20130082.
[6] 安妮, 徐俊峰, 葛龙, 等. 《中国循证儿科杂志》发表的干预类系统评价/Meta分析报告质量评价[J]. 中国循证儿科杂志 , 2013, 8 (2) : 110-115
An N, Xu JF, Ge L, et al. Reporting quality assessment of systematic reviews or meta-analysis of interventions published in Chinese Journal of Evidence-Based Pediatrics[J]. Chin J Evid-Based Pediatr , 2013, 8 (2) : 110-115 DOI:10.3969/j.issn.1673-5501.2013.02.006
[7] Biondi-Zoccai GG, Lotrionte M, Abbate A, et al. Compliance with QUOROM and quality of reporting of overlapping meta analyses on the role of acetylcysteine in the prevention of contrast associated nephropathy:case study[J]. BMJ , 2006, 322 (7535) : 202-209 DOI:10.1136/bmj.38693.516782.7C
[8] 薛茜, 张茜. 浅谈系统评价常见的偏倚[J]. 循证医学 , 2006, 6 (2) : 105-108
Xue Q, Zhang Q. Brief introduction to common bias of systematic reviews[J]. J Evid-Based Med , 2006, 6 (2) : 105-108 DOI:10.3969/j.issn.1671-5144.2006.02.012.