청소년을 대상으로 한 메타분석 논문 고찰

Ⅰ. 서 론

1970년대 국내에서 청소년에 대한 학문적 관심이 시작된 이후 청소년을 대상으로 한 연구는 양적으로도 크게 증가하였고, 청소년복지 증진, 청소년기 일탈과 문제행동, 청소년을 대상으로 한 예방 및 치료 프로그램, 청소년을 둘러싸고 있는 가정·학교·지역사회 환경요인 등 주제 면에서도 다양하게 진행되고 있다.

또한 청소년을 대상으로 한 연구방법도 다각화되어 최근에는 ‘분석의 분석’(analysis of analyses)으로 불리는 메타분석 연구가 증가하고 있다. 메타분석은 낱낱의 연구결과들을 통합할 목적으로 많은 수의 개별적 연구나 결과들을 통계적 방법을 사용하여 분석하는 연구로서(Glass, 1976), 기존의 연구결과를 통합해 종합적인 결론에 이르게 함으로써 실천적 개입의 우선순위를 제공해 준다는 점에서 매우 유용한 방법론이다.

2017년 기준 국내 청소년 대상 메타분석 연구는 100여 편에 이르고 있으며, 지속적인 증가추세에 있다. 하지만 메타분석 개별 연구들을 살펴보면, 연구들마다 제시하는 항목들이 서로 달라서 연구의 타당성과 일관성에 대한 논쟁이 발생할 수 있다는 문제가 있다.

일반적으로 메타분석에는 연구의 질을 보장하기 위한 분석 절차와 기준이 존재하는데, 사회과학 분야의 대표적 기준은 APA(American Psychological Association)의 JARS 그룹이 만든 MARS(meta-analytic reporting standards)이다. APA의 보고 기준은 연구 제목부터 초록, 서론, 방법, 결과, 논의에 이르기까지 매우 상세한 기준을 제시해준다.

이처럼 메타분석 연구에서 보고기준이 중요한 이유는 연구의 타당성과 일관성을 높일 수 있을 뿐만 아니라, 연구자들에게는 메타분석이 어떻게 수행되어야 하고 무엇을 알아보아야 하는지에 대한 정보를 제공하며, 독자들에게는 메타분석 논문에서 무엇을 중점적으로 보아야 하는지 결정하는 데 도움을 줄 수 있기 때문이다(신인수, 박은영, 2011; 박성덕, 신인수, 2014).

국외에서는 이미 메타분석 보고 기준 마련에 대한 논의가 다양하게 이루어졌고(Cook et al., 1995; Moher et al., 2000; Biondi-Zoccai, 2006), 메타분석 연구들을 보고 기준으로 고찰한 많은 연구들이 있다(Valentine et al., 2009; Therrien et al., 2011). 국내에서도 2011년 의학 분야 연구단체인 한국보건의료연구원에서 보고 기준을 제시한 바 있으며, 서미옥(2011)은 메타분석 연구 고찰을 통해 연구방법론을 제안하기도 하였다. 더 나아가 여러 학문 분야에서 메타분석 보고기준을 적용한 연구들이 등장하였다. 노정순(2008)은 문헌정보학 분야에서 메타분석 연구를 고찰하였고, 신인수, 박은영(2011)은 특수교육 및 관련분야의 메타분석 논문을 검토하였으며, 노민정, 유진은(2015)은 교육분야 메타분석을 위한 50개 필수 보고 항목을 제시하였다.

이처럼 메타분석 연구들을 타당하고 일관된 보고기준에 따라 분석하는 연구가 늘어나고 있지만 청소년을 대상으로 한 연구에는 아직 별다른 연구가 보이지 않는다. 따라서 청소년을 대상으로 한 다수의 메타분석 연구가 진행된 현 시점에서 메타분석 연구물들의 동향과 보고기준을 검토하고, 메타분석 연구의 질적 향상을 위한 방안을 제시할 필요가 있다고 판단된다.

이에 본 연구는 지금까지 축적된 청소년을 대상으로 한 메타분석 연구의 동향을 살펴보고, 사회과학의 대표적인 보고기준인 APA의 보고 항목을 기준으로 청소년대상 연구물의 보고수준을 고찰하고자 한다. 이 같은 연구목적에 따라 설정한 연구문제는 다음과 같다.

첫째, 최근 국내 청소년 대상 메타분석 연구의 동향은 어떠한가?

둘째, APA 분석기준에 따른 국내 청소년 대상 메타분석 연구의 보고수준은 어떠한가?

Ⅱ. 이론적 배경

Ⅲ. 연구방법

2. 자료수집 및 선정과정

자료 수집은 국내 학술검색 데이터베이스와 검색된 논문의 참고문헌을 바탕으로 하였다. 분석에 포함된 모든 연구는 연구자가 독립적으로 검토하였으며, 메타분석 관련 전문가에게 검토를 의뢰하여 확인절차를 거쳤다.

검색기간은 1차적으로 2017년 5월 15일부터 5월 31일까지였으며, 추가적인 검색기간은 7월 3일부터 7월 7일까지로 하였고, 회당 2회 이상 검색하였다.

분석대상 논문은 1999년부터 2017년 7월 7일까지 발간된 연구물로서 학술연구정보서비스(RISS), 한국학술정보서비스(KISS), 학술데이터베이스서비스(Dbpia), 국립중앙도서관, 국가과학기술정보센터(NDSL), 국회전자도서관의 6개 데이터베이스를 중심으로 이용하였다. 검색어는 ‘메타분석’, ‘청소년’ 이었다.

검색 엔진을 통해 검색된 자료는 총 507편이었고, 중복 검색 및 제외된 자료 414편을 제외하고 총 93편을 대상으로 하였다. 제외된 자료(n=414)는 문헌선별과정에서 해당 없는 자료 67편, 중복자료 311편이었고, 선별된 129편 중에서는 청소년 대상이 아닌 유아, 대학생, 성인포함 연구 7편, 메타분석 내용이 불명확한 연구 5편, 메타경로분석 연구 6편을 제외하였다. 자료 선정과정은 PRISMA Flow Diagram(Moher et al., 2000)에 따라 <그림 1>과 같이 수행되었다.

<그림 1>

자료수집 및 선정과정

3. 분석틀

청소년대상 메타분석 논문을 분석, 고찰하기 위해 미국심리학회(American Psychological Association: APA)에서 제시한 메타분석 보고 기준을 활용하였다. APA에서 제시한 보고 기준은 <표 1>과 같다.

<표 1>

APA 메타분석 보고기준

Ⅳ. 연구 결과

청소년을 대상으로 한 국내 메타분석 연구물의 동향과 보고 수준을 분석하고 향후 메타분석 연구 보고 수준의 체계성을 높이기 위해 국내 청소년 대상 메타분석 연구를 분석하였다.

1. 청소년 대상 메타분석 연구 분석대상 논문

국내 6개 데이터베이스(RISS, KISS, Dbpia, 국립중앙도서관, NDSL, 국회전자도서관)를 중심으로 청소년 대상 메타분석 연구를 검색한 결과 총 507편이었고, PRISMA Flow Diagram에 따라 선정 준거에 맞지 않아 배제된 연구물 414편을 제외한 결과, 본 연구의 분석대상 논문은 93편이었다. 최종 분석에 사용된 논문 목록은 아래의 <표 2>와 같다.

<표 2>

청소년대상 메타분석 연구 분석대상 논문

2. 청소년 대상 메타분석 연구동향

1) 메타분석 연구물 출판현황

국내 청소년 대상 메타분석 연구의 출판 동향은 <그림 2>와 같다. 1999년 최초 메타분석 연구가 출판된 이후 2010년까지 매년 평균 1~2편정도 연구가 진행되었으나, 2011년 이후 다소 급증하였고 이후에도 꾸준히 증가하고 있는 것으로 나타났다. 년도별 출판 편수를 살펴보면, 2016년 22편으로 가장 많았고 2015년 11편, 2012년과 2014년 각 10편씩이었다.

<그림 2>

메타분석 연구물 출판현황

2) 청소년 대상 메타분석 연구주제

국내 청소년 대상 메타분석 연구물은 크게 프로그램 효과를 중심으로 살펴본 연구와 변인들간 관계를 살펴본 연구로 구분할 수 있는데, 이를 구분하여 보면, <표 3>과 같다.

<표 3>

청소년 대상 메타분석 연구의 구분

프로그램 효과 연구는 60.2%(56편)로 변인들 간 관계를 살펴본 연구 39.8%(37편)보다 많은 것으로 나타났다. <표 3>에서 살펴볼 수 있듯이, 프로그램 효과 연구(56편) 주제로는 집단미술치료, 음주예방, 인터넷 중독, 자기통제력, 우울예방, 음악치료, 현실치료, 진로지도, 또래상담, 멘토링 프로그램 등이 다루어졌으며, 변인들 간의 관계를 살펴본 연구(37편)의 주제는 청소년 자아존중감, 우울, 공격성, 스트레스, 흡연, 음주, 가출, 인터넷 중독, 사이버폭력, 비행, 자살생각 등이었다.

3. APA 보고기준에 따른 청소년 대상 메타분석 연구 분석결과

1) 제목

청소년 대상 메타분석 논문의 제목을 분석한 결과, 모든 연구물(93편, 100%)이 제목을 통해 메타분석 연구임을 명확히 밝히고 있는 것으로 나타났다.

2) 초록

초록에서의 APA 세부 항목별 분석결과는 <표 4>와 같다. 연구문제와 연구대상 유형, 주요결과에 대한 제시는 대부분의 연구들에서 보고하고 있는 것으로 나타났다. 선정기준의 경우, 72.0%(67편), 이론·정책·실제적 함의는 61.3%(57편)의 논문에서 보고하고 있어 양호한 것으로 보여 진다. 한편, 연구의 제한점을 포함하는 결론의 경우, 19.4%(18편)가 제시되었고 메타분석방법(고정/랜덤효과 모형)에 대해서는 7.5%(7편)만이 보고한 것으로 분석되었다.

<표 4>

초록 항목 분석

3) 서론

서론에서의 APA 세부 항목별 분석결과는 <표 5>와 같다. 역사적 배경과 연구문제 관련 이론･정책･실제적 이슈, 연구문제와 관련된 모집단 항목은 모든 논문에서 제시되었다. 또한 연구가설 또는 연구문제를 명확히 제시한 연구는 86.0%(80편)로 나타났으며, 조절변수 선택 및 코딩논리 기술에서는 분석대상 논문들 중 조절변수를 살펴본 연구는 72편이었고 이 중 조절변수로 분석하게 된 논리를 서론에 제시한 연구는 52.7%(38편)로 분석되었다. 하지만 개별연구의 연구 설계 유형과 그 장점과 단점에 대한 기술, 독립변수와 종속변수 유형 및 측정학적 특성에 관해 서론에서 밝히고 있는 논문은 6.5%(6편), 4.3%(4편)에 불과한 것으로 나타났다.

<표 5>

서론 항목 분석

4) 방법

방법에 대한 APA 세부 항목별 분석결과는 <표 6>과 같다. 먼저 포함 및 배제 준거의 세부항목들을 살펴보면, 독립 및 종속변수의 조작적 특징, 연구 참여모집단의 적정성, 연구가 실행된 기간은 대부분의 연구들에서 보고한 것으로 나타났으며, 지리･문화적 제한점을 밝힌 연구는 75.3%(70편)로 나타났다. 한편, 연구 설계 적절성 항목에서는 모든 연구들에서 연구 설계를 밝히고 있기는 하나 무선할당, 최소표본 크기와 같은 연구 설계의 적정성에 대해서는 9.8%(9편)가 제시되어 다소 부족한 것으로 나타났다.

<표 6>

방법 항목 분석

조절, 매개변수의 코딩 범주별 정의 항목에 해당되는 논문은 72편이었고, 모든 연구들에서 코딩범주로 포함하고 있는 것으로 나타났다.

문헌탐색 전략을 살펴보면, 데이터베이스 검색, 검색하는 방법에 대해서는 모든 연구들이 제시하고 있었으며, 연구가 실행된 기간의 경우 94.6%(88편)의 논문들에서 밝히고 있었다. 하지만 연구 선정 의사결정과정(48.4%)에 대한 충분한 설명을 제시하지 않은 논문들이 다수 있었으며, 모든 이용 가능한 검색 노력이(12.9%)나 미발행된 논문을 처리하는 방법(7.5%)에 대해서는 보고율이 매우 낮은 것으로 나타났다.

코딩절차로는 코딩하는 사람의 자격과 인원, 한명 이상의 코딩자 존재 여부 및 불일치 해결법은 각각 59.1%(55편), 50.5%(47편)의 논문들이 보고하였고 코딩자간 신뢰도와 일치도, 연구의 질 평가 항목을 제시한 논문들은 각각 33.3%(31편), 27.9%(26편)로 다소 적었으며, 결측치 처리방법을 보고한 연구는 부재하였다.

마지막으로 통계방법의 세부항목들에 대한 보고수준을 살펴보면, 효과크기에 관한 개념과 설명은 97.8%(91편)의 연구들에서 보고하고 있으나, 평균효과크기 계산 및 가중치 부여방법에 대해 기술한 논문들은 50.5%(47편)로 절반 수준이었고, 효과크기의 신뢰구간 계산방법(3.2%), 한 개 이상의 효과크기를 처리하는 방법(10.8%)에 대해 기술한 연구는 드물게 나타났다. 한편 확신구간을 계산하는 방법을 제시한 연구는 존재하지 않았다. 연구에서의 모델 선택의 기준과 적정성에 관해서는 분석대상 논문들 중 고정효과모형 또는 랜덤효과모형을 제시하고 모델선택의 정당화방법을 제시한 연구는 61.3%(57편)이었고, 동질성 평가 및 추정방법에 대해서는 76.3%(71편)가 보고하였다. 데이터 검사에 대한 적합성 검증 연구는 55.9%(52편)이었고, 이상치 검사에 대해서 보고한 논문은 2.2%(2편)에 불과하였다. 더욱이, 측정가공물의 평균, 표준편차 제시항목과 메타분석의 통계적 검증력에 대해서 밝힌 연구는 부재하였다. 연구에서 사용된 통계 프로그램이나 소프트웨어의 경우는 91.3%(85편)의 연구에서 밝히고 있는 것으로 나타났다.

5) 결과

결과에서의 APA 세부 항목별 분석결과는 <표 7>과 같다. 모든 연구들에서 표와 그래프 요약하기, 하위변인인 매개변인 분석에 대한 결과 제시는 이루어지고 있었다.

<표 7>

결과 항목 분석

관련성 검토를 위해 인용한 논문 수는 82.8%(77편)이었고, 메타분석에 포함된 논문 리스트를 제시한 연구, 관련되지만 맞지 않아 배제된 연구 수, 준거에 의해 배제된 연구 수는 각각 64.5%(60편), 49.5%(46편), 43.0%(40편)이었다. 또한 각 개별연구의 기술통계에 관한 보고비율은 18.3%(17편)이었고, 연구의 질 평가 항목을 보고한 연구는 3.2%(3편)로 상대적으로 매우 낮은 비율을 보였다.

6) 논의

메타분석 논문 논의에 대한 분석결과는 <표 8>과 같다. APA 세부 항목별 분석결과, 대부분의 세부항목들에서 보고기준에 따른 기술 비율은 80% 이상으로 양호한 것으로 나타났다. 주요 결과 기술과 결론에 대한 일반화의 경우, 모든 연구들에서 제시된 것으로 나타났고, 연구의 일반적 한계점, 함의와 해석, 후속연구를 위한 방향 제시 항목들 82%이상의 논문들에게 보고하고 있는 것으로 나타났다. 관찰된 결과에 대한 대안적 설명 고찰에 항목에서는 보고율이 9.7%(9편)로 분석되었다.

<표 8>

논의 항목 분석

Ⅴ. 결론 및 논의

청소년을 대상으로 한 국내 메타분석 연구물의 동향과 보고수준을 분석하기 위해 1999년부터 2017년 7월까지 국내에서 출판된 학술지 게재 논문을 대상으로 자료를 수집한 결과, 본 연구에서 분석된 연구물은 총 93편이었다.

먼저 메타분석 연구 동향을 살펴본 결과, 메타분석 연구물은 1999년 진행된 이후 2010년까지 연평균 1~2편 정도 연구가 이루어졌으나, 관련 연구물의 축적과 메타분석 연구방법론의 활용의 증대로 2011년 이후 지속적으로 증가하고 있는 것으로 나타났다. 또한 청소년 대상 메타분석 연구물의 주제는 지금까지 연구되어 온 분야를 잘 보여주듯이 청소년을 대상으로 한 각종 집단 예방 및 치료 프로그램과 자아존중감, 우울, 공격성과 같은 내재화 문제와 흡연, 인터넷 중독, 비행, 자살생각 등의 외현적 문제행동 등 매우 다양하게 나타났다.

다음으로 APA에서 제시한 보고 기준에 따라 메타분석 연구들의 보고수준을 살펴보고 향후 메타분석 연구물의 체계성과 질적 수준을 향상하기 위해 분석대상 논문을 분석한 결과를 각 영역별로 살펴보면 다음과 같다.

첫째, 메타분석 논문 제목의 경우 모든 연구물에서 메타분석 연구임을 밝히고 있는 것으로 나타났다.

둘째, 초록의 경우 메타분석의 연구주제, 연구대상 유형, 주요결과에 대해 대부분의 연구들이 보고하고 있었으며, 연구물의 선정기준과 이론·실천·정책적 함의 부분에서도 비교적 양호하게 보고되고 있었다. 하지만 고정효과모형 또는 랜덤효과모형과 같은 메타분석방법에 대해 보고한 연구는 7.5%에 불과하였다. 요약통계량 결합을 위한 메타분석의 통계적 모형은 메타분석의 결과에 영향을 미치게 된다. 본 연구의 분석결과 통계방법의 보고기준에서 61.3%의 연구물이 모형 선택과 정당화방법을 밝히고 있으나, 초록에서는 이를 언급한 것은 7.5%에 불과하였다. 초록은 독자에게 연구물 전체를 살펴보기 전 주요한 정보를 제공해주는 만큼 연구물에서 사용된 메타분석방법(고정효과모형 또는 랜덤효과모형)을 밝힐 필요가 있다.

셋째, 서론에서는 연구의 역사적 배경, 연구문제와 관련된 이슈, 모집단, 연구가설(문제) 항목들에서 대부분의 연구들이 보고하고 있었으며, 조절변수의 선택 및 코딩 논리의 경우, 52.7%(38편)의 연구물이 보고하고 있는 것으로 분석되었다. 메타분석 연구는 변수들의 평균효과크기와 조절변수의 검증이 매우 중요한 관심사이자 연구결과의 핵심 내용이라 할 수 있다. 이에 메타분석 연구에서 조절변수로 사용된 합리적 근거가 서론(이론적 배경을 포함)에서 필수적으로 제시할 필요가 있다. 범주형 또는 연속형 변수여서 조절변수로 사용한다는 것은 조절변수로 활용한 근거가 될 수 없으므로, 선행연구 및 이론적 근거를 바탕으로 조절변수에 대한 선택 논리를 합리적으로 제시하여야 할 것이다.

또한, 서론에서 보고 비율이 가장 낮은 세부 항목들은 개별연구의 연구 설계 유형과 장・단점, 독립변수와 종속변수 유형 및 측정학적 특성에 대한 기술 부분이었다. 1차 연구에서의 사용된 연구 설계 유형에 대한 요약과 척도의 종류, 측정도구, 검사도구의 신뢰도와 같은 측정학적 특성들은 1차 연구물의 질을 담보하는 주요한 요인이 된다. 이러한 1차 연구물의 절적 담보는 메타분석 연구결과의 질적 향상과 직결되는 부분이어서 이에 대한 언급은 중요하게 다루어져야 한다.

넷째, 분석대상 연구물을 전체적으로 보았을 때 가장 보고 수준이 낮은 영역은 연구방법이었다. 연구방법분야에서의 보고 수준이 낮은 것은 신인수, 박은영(2011)의 특수교육 및 관련분야의 메타분석 논문을 고찰한 연구와 유사한 결과이다.

먼저 메타분석 연구 포함 및 배제의 준거로서 독립・종속변수의 조작적 특징, 연구 참여모집단의 적정성, 연구가 실행된 기간, 지리・문화적 제한점은 대체적으로 양호하게 보고되고 있으나 연구 설계의 특징에 대해서 보고가 미흡한 것으로 나타났다. 연구 설계 특징과 무선할당, 최소표본크기 제시 등과 같은 연구 설계의 적절성을 고려하여 어떠한 연구 설계가 메타분석 연구에 포함되었는지 제시할 필요가 있다.

변수코딩에서는 조절변수의 범주별 정의는 제시되고 있는 것으로 나타났다. 문헌탐색 전략에서는 데이터베이스 검색, 검색하는 방법, 연구가 실행된 기간에 대해서는 보고가 되고 있었으나, 연구선정 의사결정, 모든 이용 가능한 검색노력, 미발행 된 논문의 처리 항목에서는 다소 부족한 것으로 나타났다. 메타분석에서 연구 선정 의사결정과정은 연구자와 독자로 하여금 연구의 신뢰도를 높이는 중요한 과정으로 반드시 보고되어야 할 부분이다. 최근 출판되는 다수의 논문들에서는 PRISMA Flow Diagram을 활용하여 의사결정과정을 보고하는 사례가 증가하고 있다(권은정, 장승옥, 2016; 조혜정, 황성동, 2016; 좌현숙, 2017). 또한 메타분석 문헌탐색에서 필요시 저자와의 접촉, 참고문헌 리스트를 조사하는 등의 모든 이용 가능한 검색 노력과 미발행 된 논문을 처리하는 방안에 대하여 문헌탐색 전략에서 기술할 필요가 있다.

다음으로 코딩절차에서는 코딩하는 사람의 자격과 인원, 코딩자간 신뢰도와 일치도, 한명 이상의 코딩자 존재여부 및 불일치 해결법의 항목이 있다. 이러한 항목들은 주의를 기울이면 다소 쉽게 제시될 수 있는 항목이므로 코딩절차 시 고려하여 기술하여야 할 것이다. 한편, 코딩절차에 있어 연구의 질 평가, 결측치 처리방법에 대한보고는 매우 부족한 것으로 나타났다. 연구설계 방법의 엄밀성이 결과에 미치는 영향을 고려하여 척도의 기준과 적용 절차 및 연구 설계 특징에 관해 주의를 기울여야 한다. 결측치의 경우에는 1차 연구가 연구대상 집단이나 결과 측정값 등에 대한 모든 정보를 보고하지 않는 경우, 결측치가 발생하여 전체 효과크기 평균 추정에 영향을 미치게 된다(노민정, 유진은, 2015; Matt & Cook, 2009). 따라서 결측치가 있었는지, 있었다면 어떻게 처리했는지 밝혀야 한다.

통계방법에서는 효과크기에 대한 설명, 사용된 통계 프로그램이나 소프트웨어에 대해 대부분의 연구들에서 제시되고 있으나, 평균효과크기, 신뢰구간, 확신구간 등의 계산방법을 제시하는 연구는 드물게 나타났다. 이는 통계 프로그램이나 소프트웨어를 활용해 평균효과크기 및 신뢰구간을 쉽게 보여주어 계산방법에 대한 논의를 소홀히 하는 경향이 있는 것으로 보인다. 또한 일부 연구들은 한개 이상의 효과크기에 대한 처리방법을 제시했는데, 이는 메타분석에서의 독립성 가정과 연관이 있으므로 한개 이상의 효과크기를 사용한 부분이 있는지 제시하고, 어떻게 처리하였는지 보고할 필요가 있다. 이상치의 존재의 경우에도 전체 분석에 영향을 줄 수 있는 요인으로 이상치 검사를 통해 이상치의 존재 여부 및 처리 과정에 대해 기술하여야 연구결과에 대한 타당성을 높일 수 있다. 한편, 구성개념상의 관계가 연구의 중심일 때 측정가공물의 평균과 표준편차 제시, 메타분석의 통계 검증력에 대한 보고는 매우 낮았는데, 메타분석의 내･외적 타당도를 확보하기 위한 방안을 고려해야할 필요가 있다.

메타분석에서 고정효과모형 또는 랜덤효과모형을 선택하느냐에 따라 그 결과는 달라진다. 연구의 기본가정에 근거한 모델선택은 필수적이며, 동질성 평가 및 추정방법에 대해서도 반드시 제시되어야 할 부분이다. 또한 출판편향, 선택보고의 데이터 검사에 대한 적합성 검증이 분석되어야 한다. 초기의 메타분석 연구에서는 출판편향과 선택보고와 관련하여 다루어지지 않은 경향이 있었으나 최근 연구들은 대부분 필수적으로 보고하고 있는 것으로 나타났다.

다섯째, 결과의 보고 기준에 따른 기술 정도를 살펴본 결과, 표와 그래프를 사용한 요약하기, 하위변인의 매개변인 분석에 대한 결과 기술, 관련성 검토를 위해 인용한 논문 수 제시는 대부분의 연구들에서 밝히고 있는 것으로 나타났다. 메타분석에 포함된 논문 리스트를 보고한 연구는 64.5%이었고, 배제된 연구 수 49.5%, 준거에 의해 배제된 연구 수 43.0%로 나타났는데, 메타분석 연구결과의 재생가능성을 확보하기 위해서는 자료선정절차와 기준에 따라 선정된 분석대상 목록과 배제된 연구 수를 본문에 명확하게 제시하여야 한다. 이러한 분석대상 목록, 배제된 연구 수에 관한 보고는 주로 2014년 이후 급격하게 증가하였는데, 이는 앞서 살펴본 문헌탐색 전략에서의 PRISMA Flow Diagram 활용이 증가한 것과 맥을 같이하고 있는 것이다. 한편, 메타분석에 포함된 리스트, 배제된 연구 수, 준거에 의해 배제된 연구물 수 항목들은 일부를 제외하고 결과 부분에 제시하기 보다는 주로 방법에서 보고된 경우가 대다수인 것으로 나타났다(조혜정, 2014; 강근모, 이준기, 2015; 박진희, 김현주, 2015; 나재은, 2016). 연구보고서의 체계성과 일관성을 위해 보고 기준에 따른 영역별 제시가 이루어진다면 더욱 연구자들 및 독자들에게 편의를 줄 수 있을 것으로 판단된다.

개별연구별 기초통계를 제공한 연구는 18.3%이었는데, 개별연구들의 효과크기 및 표본크기에 대한 정보는 평균효과크기의 계산과정과 결과의 투명성을 통한 메타분석 결과에 대한 신뢰도와 타당도를 보장할 수 있으므로(신인수, 박은영, 2011) 개별연구들의 효과크기, 표본크기가 제시되어야 한다.

여섯째, 논의에서의 세부 항목인 주요결과 기술, 결론에 대한 일반화, 일반적 한계점, 함의와 해석, 후속연구 방향 제시는 대체적으로 보고 수준이 양호한 것으로 분석되었다. 다만 관찰된 결과에 대한 대안적 설명(데이터 관측중단의 영향)에 대한 세부항목에서 9.7%만이 보고한 것으로 나타났다. 데이터 관측중단 검정은 데이터의 삭제나 추가가 메타분석 결과에 미치는 영향을 평가하는 것으로서, 출판편향을 대표적으로 들 수 있다(노민정, 유진은, 2015; Greenhouse & Iyengar 2009). 이에 논의 부분에서 관찰된 결과에 대한 대안적 설명을 제시할 필요가 있다.

마지막으로 본 연구의 함의와 제한점 및 후속연구를 위한 제언은 다음과 같다.

본 연구는 청소년 대상 메타분석 연구 동향과 메타분석 연구에서 중요하게 다루어져야 할 보고기준을 살펴보았다. 메타분석 결과 보고에서 부족한 부분을 고찰함으로써 향후 연구에서 주의를 기울여야 할 사항을 제시하여 메타분석 연구 질적 향상의 기반을 마련하였다는 데 의의가 있다.

그러나 본 연구는 APA 보고 기준에 따라 개별 연구물을 코딩할 때 기술(1), 비기술(0)로 구분하여 코딩하였기에 보고의 질적 수준을 모두 포괄하지 못한 한계가 있다. 또한 후속연구에서는 본 연구에서 논의되었던 APA 보고기준을 바탕으로 하여 청소년 분야 메타분석에서 필수적으로 보고해야할 항목이 마련될 필요가 있다.

References

• 강근모, 이준기, (2015), 청소년 가출관련변인의 메타분석, 한국청소년연구, 26(2), p115-144. [https://doi.org/10.14816/sky.2015.26.2.115]
• 권은정, 장승옥, (2016), 인터넷 중독 청소년을 위한 자기통제력 증진 프로그램 효과에 관한 메타분석, 사회과학연구, 55(1), p87-122. [https://doi.org/10.22418/JSS.2016.06.55.1.87]
• 김수영, 박지은, 서현주, 서혜선, 손희정, 신채민, 이윤재, 장보형, (2011), NECA 체계적 문헌고찰 매뉴얼, 한국보건의료연구원.
• 나재은, (2016), 학교폭력 사후개입 집단프로그램 메타분석, 학교사회복지, 35, p1-19.
• 노민정, 유진은, (2015), 교육 분야 메타분석을 위한 50개 필수 보고 항목, 교육평가연구, 28(3), p853-878.
• 노정순, (2008), 문헌정보학분야에서 메타분석 연구의 관한 고찰, 한국문헌정보학회지, 42(1), p45-61.
• 박성덕, 신인수, (2014), 유아교육 분야의 메타분석 논문에 대한 고찰, 유아교육연구, 34(2), p303-412.
• 박진희, 김현주, (2015), 학교폭력 가해행동에 영향을 미치는 요인에 대한 메타분석-학교와 지역사회요인의 부상-, 청소년시설환경, 13(4), p115-128.
• 서미옥, (2011), 메타분석 연구의 고찰과 연구방법론적인 제안, 한국교육학회, 49(2), p1-23.
• 신인수, 박은영, (2011), 특수교육 및 관련 분야의 메타분석 논문에 대한 고찰, 지체·중복·건강장애연구, 54(4), p157-176.
• 이성대, 김선주, 염동문, (2014), 사회복지분야의 메타분석 논문에 대한 고찰과 제안, 한국콘텐츠학회논문지, 14(1), p209-222. [https://doi.org/10.5392/JKCA.2014.14.01.209]
• 조혜정, (2014), 청소년 음주에 영향을 미치는 요인에 관한 메타분석: 1990년부터 2012년까지의 국내 연구, 청소년학연구, 21(6), p191-221.
• 조혜정, 황성동, (2016), 한국 학교기반 청소년 음주예방프로그램의 효과에 관한 메타분석, 청소년학연구, 23(3), p523-547. [https://doi.org/10.21509/KJYS.2016.03.23.3.523]
• 좌현숙, (2017), 청소년의 내재화 문제와 위험요인에 대한 메타분석, 청소년문화포럼, 49, p86-119. [https://doi.org/10.17854/ffyc.2017.01.49.8]
• 현영섭, 김우철, (2017), 평생교육분야 메타 연구의 동향: 국내 학술지 게재 논문을 대상으로, 교육종합연구, 15(4), p145-182. [https://doi.org/10.31352/jer.15.4.145]
• Ahn, S., Ames, A. J., & Myers, N. D., (2012), A Review of meta-analyses in education: methodological strengths and weaknesses, Review of Educational Research, 82(4), p436-476. [https://doi.org/10.3102/0034654312458162]
• APA publications and communications board working group on journal article reporting standards, (2008), Reporting standards for research in psychology: Why do we need them? What might they be?, American Psychologist, 63(9), p839-851. [https://doi.org/10.1037/0003-066x.63.9.839]
• Biondi-Zoccai, G. G., Lotrionte, M., Abbate, A., Testa, L., Remigi, E., Buizotta, F., Valgimigli, M., Romagnoli, E., Crea, F., Agostoni, P., (2006), Compliance with QUOROM and quality of reporting of overlapping meta-analyses on the role of acetylcysteine in the prevention of contrast associated nephropathy: Case study, British Medical Journal, 332(7535), p202-209. [https://doi.org/10.1136/bmj.38693.516782.7c]
• Chalmers, L., Hedges, L. V., and Cooper, H, (2002), A brief history of research synthesis, Evaluation & The Health professions, 25(1), p12-37. [https://doi.org/10.1177/0163278702025001003]
• Cook, D. J., Sackett, D. L., Spitzer, W. O., (1995), Methodilogic guidelines for systematic reviews of randomized controlled trials in health care from the Potsdam conference on meta-analysis, Journal of Clinical Epidemiology, 48, p17-71.
• Glass, G. V., (1976), Primary, secondary and meta-analysis of research, Educational Researcher, 10, p3-8. [https://doi.org/10.1016/0895-4356(94)00172-M]
• Greenhouse, J. B., Iyengar, S., (2009), Sensitivity analysis and diagnostics, In H. Cooper, Hedges, L. V., Valentine, J. C., (2009), The handbook of research synthesis and meta-analysis, (2nd ed., p417-433), New York, Russell Sage Foundation.
• Harwell, M., & Maeda, Y., (2008), Deficiencies of reporting in meta-analyses and some remedies, The Journal of Experimental Education, 76, p403-428. [https://doi.org/10.3200/jexe.76.4.403-430]
• Kepes, S., McDaniel, M. A., Brannick, M. T., & Banks, G. C., (2013), Meta-analytic reviews in th organizational sciences: Two meta-analytic schools on the way to MARS(the Meta-analytic Reporting Standards), Journal of Business and Psychology, 28, p123-143. [https://doi.org/10.1007/s10869-013-9300-2]
• Matt, G. E., Cook, T. D., (2009), Threats to the validity of generalized inferences, In H. Cooper, Hedges, L. V., Valentine, J. C., (2009), The handbook of research synthesis and meta-analysis, (2nd ed., p417-433), New York, Russell Sage Foundation.
• Moher, D., Liberati, A., Tetzlaff, J., Altman, D. G., and The PRISMA Group, (2000), Preferred reporting items for systematic reviews and meta-analysis: The PRISMA statement, Manuscript submitted for publication. [https://doi.org/10.1016/j.jclinepi.2009.06.005]
• Therrien, W. J., Zaman, M., Banda, D. R., (2011), How can meta-analysis guide practice? A review of the learning disability research base, Remedial and Special Education, 32(3), p206-218. [https://doi.org/10.1177/0741932510361266]
• Valentine, C. H., Cooper, H., Patall, E. A., Tyson, D., Robinson, C. R., (2009), A method for evaluating research synthesis: The quality, conclusions and consensus of 12 syntheses of the effects of after-school programs, Research Synthesis Methods, 1, p20-38. [https://doi.org/10.1002/jrsm.3]