Research Center for Korean Youth Culture
[ Article ]
Forum for youth culture - Vol. 57, pp.171-195
ISSN: 1975-2733 (Print)
Print publication date 31 Jan 2019
Received 28 Nov 2018 Revised 17 Dec 2018 Accepted 24 Dec 2018
DOI: https://doi.org/10.17854/ffyc.2019.01.57.171

청소년을 대상으로 한 메타분석 논문 고찰

진혜민1) ; 공정원2)
1)경북여성정책개발원 연구위원
2)동양대학교 사회복지학과 교수, 교신저자
A Review on Meta-Analysis for Adolescents
Jin, Hyemin1) ; Gong, Jeongwon2)
1)Researcher, Gyeongbuk Women’s Policy Development Institute
2)Jeongwon**Professor, Dept. of Social Welfare, Dongyang University, corresponding author

초록

본 연구의 목적은 청소년을 대상으로 한 메타분석 연구의 동향을 살펴보고, APA 보고기준에 따라 청소년 대상 메타분석 논문의 보고수준을 분석함으로써 향후 메타분석 연구에서 적절한 보고사항을 제공하고 메타분석 연구물의 일관성과 타당성을 높이는 데 있다. 이와 같은 연구목적을 달성하기 위하여 1999년부터 2017년 7월까지 청소년을 대상으로 한 메타분석 논문 93편을 분석하였다. 연구 결과는 다음과 같다.

첫째, 제목과 초록에 대한 분석 결과, 메타분석 방법 제시 항목을 제외하고는 양호한 것으로 나타났다. 둘째, 서론에 대한 분석 결과, 개별연구의 연구 설계 유형과 변수의 측정학적 특성이 대부분 보고되지 않은 것으로 나타났다. 셋째, 방법에 대한 분석 결과, 연구방법에 대한 보고가 부족한 것으로 나타났다. 넷째, 결과에 대한 분석 결과, 준거에 의해서 배제된 연구물의 숫자와 예, 연구의 질 평가 항목에 대한 보고가 낮은 것으로 나타났다. 다섯째, 논의에 대한 분석결과, 관찰된 결과에 대한 대안적 설명 고찰을 제외하고는 대체적으로 양호한 것으로 나타났다.

이와 같은 연구결과는 청소년을 대상으로 한 메타분석 연구자들에게 메타분석 보고 관점을 제공하였다는 데 의의가 있으며, 보고기준을 통해 타당한 연구결과를 제시할 수 있을 것으로 기대된다.

Abstract

The purpose of this study was to examine trends of meta-analysis research for adolescents and to analyze the reporting level of meta-analysis research for adolescents according to APA reporting standards. In order to achieve the purpose of this study, we analyzed 93 meta-analysis articles for adolescents from 1999 to July 2017.

The results of the study are as follows. First, the results of the analysis of the title and the abstract showed that the items except the meta-analysis method were good. Second, as a result of the analysis on the introduction, most of the research design types and metrics of variables were not reported. Third, as a result of the analysis of the method, it was found that there was a lack of reports on the research method. Fourth, as a result of the analysis of the results, the number of cases excluded by the criteria, examples, and the quality evaluation items of the research were low. Fifth, the results of the analysis of the discussion showed that the results were generally good except for the consideration of the alternative explanation of the observed results.

The results of this study are meaningful in that they provided a meta-analytic reporting viewpoint to the meta-analysis researchers targeting the adolescents, and it is expected that they will be able to present valid research results through the reporting standards.

Keywords:

meta-analysis, adolescents, meta-analytic reporting standards, validity in research

키워드:

메타분석, 청소년, 메타분석 보고 기준, 연구의 타당성

Ⅰ. 서 론

1970년대 국내에서 청소년에 대한 학문적 관심이 시작된 이후 청소년을 대상으로 한 연구는 양적으로도 크게 증가하였고, 청소년복지 증진, 청소년기 일탈과 문제행동, 청소년을 대상으로 한 예방 및 치료 프로그램, 청소년을 둘러싸고 있는 가정·학교·지역사회 환경요인 등 주제 면에서도 다양하게 진행되고 있다.

또한 청소년을 대상으로 한 연구방법도 다각화되어 최근에는 ‘분석의 분석’(analysis of analyses)으로 불리는 메타분석 연구가 증가하고 있다. 메타분석은 낱낱의 연구결과들을 통합할 목적으로 많은 수의 개별적 연구나 결과들을 통계적 방법을 사용하여 분석하는 연구로서(Glass, 1976), 기존의 연구결과를 통합해 종합적인 결론에 이르게 함으로써 실천적 개입의 우선순위를 제공해 준다는 점에서 매우 유용한 방법론이다.

2017년 기준 국내 청소년 대상 메타분석 연구는 100여 편에 이르고 있으며, 지속적인 증가추세에 있다. 하지만 메타분석 개별 연구들을 살펴보면, 연구들마다 제시하는 항목들이 서로 달라서 연구의 타당성과 일관성에 대한 논쟁이 발생할 수 있다는 문제가 있다.

일반적으로 메타분석에는 연구의 질을 보장하기 위한 분석 절차와 기준이 존재하는데, 사회과학 분야의 대표적 기준은 APA(American Psychological Association)의 JARS 그룹이 만든 MARS(meta-analytic reporting standards)이다. APA의 보고 기준은 연구 제목부터 초록, 서론, 방법, 결과, 논의에 이르기까지 매우 상세한 기준을 제시해준다.

이처럼 메타분석 연구에서 보고기준이 중요한 이유는 연구의 타당성과 일관성을 높일 수 있을 뿐만 아니라, 연구자들에게는 메타분석이 어떻게 수행되어야 하고 무엇을 알아보아야 하는지에 대한 정보를 제공하며, 독자들에게는 메타분석 논문에서 무엇을 중점적으로 보아야 하는지 결정하는 데 도움을 줄 수 있기 때문이다(신인수, 박은영, 2011; 박성덕, 신인수, 2014).

국외에서는 이미 메타분석 보고 기준 마련에 대한 논의가 다양하게 이루어졌고(Cook et al., 1995; Moher et al., 2000; Biondi-Zoccai, 2006), 메타분석 연구들을 보고 기준으로 고찰한 많은 연구들이 있다(Valentine et al., 2009; Therrien et al., 2011). 국내에서도 2011년 의학 분야 연구단체인 한국보건의료연구원에서 보고 기준을 제시한 바 있으며, 서미옥(2011)은 메타분석 연구 고찰을 통해 연구방법론을 제안하기도 하였다. 더 나아가 여러 학문 분야에서 메타분석 보고기준을 적용한 연구들이 등장하였다. 노정순(2008)은 문헌정보학 분야에서 메타분석 연구를 고찰하였고, 신인수, 박은영(2011)은 특수교육 및 관련분야의 메타분석 논문을 검토하였으며, 노민정, 유진은(2015)은 교육분야 메타분석을 위한 50개 필수 보고 항목을 제시하였다.

이처럼 메타분석 연구들을 타당하고 일관된 보고기준에 따라 분석하는 연구가 늘어나고 있지만 청소년을 대상으로 한 연구에는 아직 별다른 연구가 보이지 않는다. 따라서 청소년을 대상으로 한 다수의 메타분석 연구가 진행된 현 시점에서 메타분석 연구물들의 동향과 보고기준을 검토하고, 메타분석 연구의 질적 향상을 위한 방안을 제시할 필요가 있다고 판단된다.

이에 본 연구는 지금까지 축적된 청소년을 대상으로 한 메타분석 연구의 동향을 살펴보고, 사회과학의 대표적인 보고기준인 APA의 보고 항목을 기준으로 청소년대상 연구물의 보고수준을 고찰하고자 한다. 이 같은 연구목적에 따라 설정한 연구문제는 다음과 같다.

첫째, 최근 국내 청소년 대상 메타분석 연구의 동향은 어떠한가?

둘째, APA 분석기준에 따른 국내 청소년 대상 메타분석 연구의 보고수준은 어떠한가?


Ⅱ. 이론적 배경

1. 메타분석의 유용성

메타분석이란 낱낱의 연구결과들을 통합할 목적으로 많은 수의 개별적 연구나 결과들을 통계적 방법을 사용하여 분석하는 연구로서(Glass, 1976), 양적 연구에서 수집된 연구물의 결과를 하나의 결론으로 합쳐서 가설검증을 한다는 점에서 뛰어난 메타 연구 방법으로 평가된다(오성삼, 2002; 현영섭, 김우철, 2017 재인용). 즉 기존의 연구결과를 통합해 종합적인 결론에 이르게 함으로써 실천적 개입의 우선순위를 제공해 준다는 점에서 매우 유용한 방법론이라 하겠다.

메타분석의 등장배경은 과학적 연구의 양적 증가와 관련된다. 1950년대 이후 서구 학계에서 양적 연구가 크게 증가하면서 기존의 문헌연구로는 과학적 분석과 연구결과의 체계적 종합이 어려워졌기 때문이다(Chalmers et al., 2002). 노정순(2008)에 따르면, 사회과학분야에서 연구결과를 요약하고 통합하는 전통적인 방식인 문헌연구는 연구자의 관점에서 선행연구를 선별하고 연구결과를 주관적으로 평가하여 연구경향을 서술적으로 나열하는 특징으로 인해 연구전반에서 일치되거나 일치되지 않은 연구결과를 설명할 수 있는 연구특성을 밝히지 못한다는 한계가 있다.

이 같은 상황에서 정보화의 발전으로 데이터베이스의 확장과 데이터에 대한 접근성이 높아지면서 개별 연구들을 종합하려는 시도가 나타났다(Chalmers et al., 2002). 연구물의 양적 증가는 해당 분야의 전체적 이해를 오히려 어렵게 만들 수 있기 때문에(현영섭, 김우철, 2017) 연구 전체의 흐름을 파악하고 연구결과를 통합하여 종합적 결론에 이르게 하는 메타분석이 필요하게 된 것이다(Sandelowski et al., 1997; Zimmer, 2006).

문헌연구와 달리 메타분석은 여러 연구결과를 데이터로 간주하여 통계적으로 분석함으로써 연구결과들을 더욱 객관적으로 통합하여 결론내리는 데 기여하며(노정순, 2008), 이런 이유에서 메타분석은 ‘분석의 분석’(analysis of analyses)(Glass, 1976)으로 불리기도 한다. 그러나 메타분석을 수행하는 개별 연구결과가 제시하는 항목들이 서로 다르다면 연구의 타당성과 일관성에 대한 의문이 제기될 수 있다. 메타분석 연구의 타당도 확보를 위해서는 어떤 연구를 수행하고 어떤 결과를 도출 했는가 외에도 어떠한 보고기준에 따라 타당성 있고 일관성 있게 연구를 수행했는지도 중요하기 때문이다(박성덕, 신인수, 2014). 이러한 문제를 해결하기 위하여 메타분석 보고기준에 대한 연구가 활발하게 진행되었다.

2. 메타분석의 보고 기준

메타분석 연구의 보고 기준은 연구의 타당성과 일관성을 높일 수 있을 뿐만 아니라 연구자들에게 메타분석을 수행하는 방법이 어떻게 수행되어야 하고 무엇을 알아보아야 하는지에 대한 정보를 제공하며, 독자들에게는 메타분석 논문에서 무엇을 중점적으로 보아야 하는지 결정하는 데 도움을 줄 수 있기 때문에(신인수, 박은영, 2011; 박성덕, 신인수, 2014) 메타논문을 분석할 때 반드시 살펴봐야 할 기준으로 제시된다.

메타분석 연구의 보고기준에 대한 연구는 1995년 임상치료에서 메타분석의 보고 기준이 처음 마련되기 시작하면서 본격적으로 이루어졌고(Cook et al., 1995; Moher et al., 2000; Biondi-Zoccai, 2006), 이후 보고 기준을 적용하여 메타분석 연구들을 고찰한 연구들이 많이 시도되었다(Valentine et al., 2009; Therrien et al., 2011).

여러 연구들이 제시한 메타분석 보고 기준 가운데 APA(American Psychological Association)의 MARS(meta-analytic reporting standards)는 사회과학 분야의 대표적 메타분석 보고 기준으로 평가된다. APA의 보고 기준은 연구 제목, 초록, 서론, 방법, 결과, 논의에 이르기까지 연구 전범위에 걸쳐 매우 상세한 기준을 제시해준다는 장점이 있다. 이 같은 장점 때문에 국내·외에서는 APA가 제시한 보고 기준을 이용하여 메타분석 논문을 평가한 연구가 많이 진행되었다(서미옥, 2011; 신인수, 박은영, 2011; 박성덕, 신인수, 2014; 이성대 외 2명, 2014; 노민정, 유진은, 2015; Harwell, Maeda, 2008; Ahn et al., 2012; Kepes et al., 2013).

국내연구의 경우 노정순(2008)은 문헌정보학 분야에서 메타분석 연구를 고찰하였고, 신인수, 박은영(2011)은 특수교육 및 관련분야의 메타분석 논문을 검토하였으며, 서미옥(2011)은 메타분석 연구고찰과 연구방법론적 제안을 제시하기도 하였다. 또한 이성대 외 2명(2014)은 사회복지 분야의 메타분석 논문을 분석하였으며, 박선덕, 신인수(2014)는 유아교육 분야의 메타분석 연구에 대하여 고찰하였고, 노민정, 유진은(2015)은 교육 분야 메타분석을 위한 50개 필수 보고 항목을 제시한 바 있다.

이처럼 의학 분야는 물론이고 사회과학분야에서도 점차 메타분석 보고기준을 적용하여 개별 메타분석 논문을 분석하는 연구가 늘어나고 있으나, 청소년을 대상으로 한 연구물에 대한 메타분석 보고기준을 적용한 연구는 이루어지지 않았다. 따라서 본 연구에서는 사회과학분야에서 대표적으로 사용되는 APA 보고기준을 적용하여 청소년을 대상으로 한 메타분석 연구물을 분석하고자 한다.


Ⅲ. 연구방법

1. 분석대상

청소년 대상 메타분석 연구의 동향과 보고 수준을 살펴보기 위하여 본 연구에서 분석한 논문은 1999년부터 2017년 7월 7일까지 발간된 국내 출판논문(학술지 등재지 및 등재후보지) 가운데 청소년을 대상으로 한 메타분석 연구이다.

2. 자료수집 및 선정과정

자료 수집은 국내 학술검색 데이터베이스와 검색된 논문의 참고문헌을 바탕으로 하였다. 분석에 포함된 모든 연구는 연구자가 독립적으로 검토하였으며, 메타분석 관련 전문가에게 검토를 의뢰하여 확인절차를 거쳤다.

검색기간은 1차적으로 2017년 5월 15일부터 5월 31일까지였으며, 추가적인 검색기간은 7월 3일부터 7월 7일까지로 하였고, 회당 2회 이상 검색하였다.

분석대상 논문은 1999년부터 2017년 7월 7일까지 발간된 연구물로서 학술연구정보서비스(RISS), 한국학술정보서비스(KISS), 학술데이터베이스서비스(Dbpia), 국립중앙도서관, 국가과학기술정보센터(NDSL), 국회전자도서관의 6개 데이터베이스를 중심으로 이용하였다. 검색어는 ‘메타분석’, ‘청소년’ 이었다.

검색 엔진을 통해 검색된 자료는 총 507편이었고, 중복 검색 및 제외된 자료 414편을 제외하고 총 93편을 대상으로 하였다. 제외된 자료(n=414)는 문헌선별과정에서 해당 없는 자료 67편, 중복자료 311편이었고, 선별된 129편 중에서는 청소년 대상이 아닌 유아, 대학생, 성인포함 연구 7편, 메타분석 내용이 불명확한 연구 5편, 메타경로분석 연구 6편을 제외하였다. 자료 선정과정은 PRISMA Flow Diagram(Moher et al., 2000)에 따라 <그림 1>과 같이 수행되었다.

<그림 1>

자료수집 및 선정과정

3. 분석틀

청소년대상 메타분석 논문을 분석, 고찰하기 위해 미국심리학회(American Psychological Association: APA)에서 제시한 메타분석 보고 기준을 활용하였다. APA에서 제시한 보고 기준은 <표 1>과 같다.

APA 메타분석 보고기준

4. 분석절차 및 신뢰도

분석대상 논문을 선정한 후 APA기준을 통해 메타분석 연구들을 분석, 고찰하기 위해 엑셀시트를 활용해 APA 체크리스트와 코딩가이드를 마련하였다. 분석표는 크게 제목, 초록, 서론(이론적 배경 포함), 방법, 결과, 논의이고, 각 항목에 해당하는 세부항목을 모두 구분하여 기술 여부를 코딩하였다(기술 1, 미기술 0). 세부 항목들 중 본 연구의 분석대상에 맞지 않는 ‘자금 지원 출처 명시’와 ‘영어 외에 다른 문헌을 찾는 방법’ 기술 항목은 제외하였다. 연구자가 1차적으로 각 논문을 독립적으로 코딩하였고, 메타분석 관련 연구 전문가에게 코딩을 의뢰하여 일치도를 확인하였다. 코딩의 일치도는 94.6%이었고, 일치하지 않는 항목의 경우, 확인과 논의의 절차를 거쳐 합의에 도달하도록 하였다.


Ⅳ. 연구 결과

청소년을 대상으로 한 국내 메타분석 연구물의 동향과 보고 수준을 분석하고 향후 메타분석 연구 보고 수준의 체계성을 높이기 위해 국내 청소년 대상 메타분석 연구를 분석하였다.

1. 청소년 대상 메타분석 연구 분석대상 논문

국내 6개 데이터베이스(RISS, KISS, Dbpia, 국립중앙도서관, NDSL, 국회전자도서관)를 중심으로 청소년 대상 메타분석 연구를 검색한 결과 총 507편이었고, PRISMA Flow Diagram에 따라 선정 준거에 맞지 않아 배제된 연구물 414편을 제외한 결과, 본 연구의 분석대상 논문은 93편이었다. 최종 분석에 사용된 논문 목록은 아래의 <표 2>와 같다.

청소년대상 메타분석 연구 분석대상 논문

2. 청소년 대상 메타분석 연구동향

1) 메타분석 연구물 출판현황

국내 청소년 대상 메타분석 연구의 출판 동향은 <그림 2>와 같다. 1999년 최초 메타분석 연구가 출판된 이후 2010년까지 매년 평균 1~2편정도 연구가 진행되었으나, 2011년 이후 다소 급증하였고 이후에도 꾸준히 증가하고 있는 것으로 나타났다. 년도별 출판 편수를 살펴보면, 2016년 22편으로 가장 많았고 2015년 11편, 2012년과 2014년 각 10편씩이었다.

<그림 2>

메타분석 연구물 출판현황

2) 청소년 대상 메타분석 연구주제

국내 청소년 대상 메타분석 연구물은 크게 프로그램 효과를 중심으로 살펴본 연구와 변인들간 관계를 살펴본 연구로 구분할 수 있는데, 이를 구분하여 보면, <표 3>과 같다.

청소년 대상 메타분석 연구의 구분

프로그램 효과 연구는 60.2%(56편)로 변인들 간 관계를 살펴본 연구 39.8%(37편)보다 많은 것으로 나타났다. <표 3>에서 살펴볼 수 있듯이, 프로그램 효과 연구(56편) 주제로는 집단미술치료, 음주예방, 인터넷 중독, 자기통제력, 우울예방, 음악치료, 현실치료, 진로지도, 또래상담, 멘토링 프로그램 등이 다루어졌으며, 변인들 간의 관계를 살펴본 연구(37편)의 주제는 청소년 자아존중감, 우울, 공격성, 스트레스, 흡연, 음주, 가출, 인터넷 중독, 사이버폭력, 비행, 자살생각 등이었다.

3. APA 보고기준에 따른 청소년 대상 메타분석 연구 분석결과

1) 제목

청소년 대상 메타분석 논문의 제목을 분석한 결과, 모든 연구물(93편, 100%)이 제목을 통해 메타분석 연구임을 명확히 밝히고 있는 것으로 나타났다.

2) 초록

초록에서의 APA 세부 항목별 분석결과는 <표 4>와 같다. 연구문제와 연구대상 유형, 주요결과에 대한 제시는 대부분의 연구들에서 보고하고 있는 것으로 나타났다. 선정기준의 경우, 72.0%(67편), 이론·정책·실제적 함의는 61.3%(57편)의 논문에서 보고하고 있어 양호한 것으로 보여 진다. 한편, 연구의 제한점을 포함하는 결론의 경우, 19.4%(18편)가 제시되었고 메타분석방법(고정/랜덤효과 모형)에 대해서는 7.5%(7편)만이 보고한 것으로 분석되었다.

초록 항목 분석

3) 서론

서론에서의 APA 세부 항목별 분석결과는 <표 5>와 같다. 역사적 배경과 연구문제 관련 이론・정책・실제적 이슈, 연구문제와 관련된 모집단 항목은 모든 논문에서 제시되었다. 또한 연구가설 또는 연구문제를 명확히 제시한 연구는 86.0%(80편)로 나타났으며, 조절변수 선택 및 코딩논리 기술에서는 분석대상 논문들 중 조절변수를 살펴본 연구는 72편이었고 이 중 조절변수로 분석하게 된 논리를 서론에 제시한 연구는 52.7%(38편)로 분석되었다. 하지만 개별연구의 연구 설계 유형과 그 장점과 단점에 대한 기술, 독립변수와 종속변수 유형 및 측정학적 특성에 관해 서론에서 밝히고 있는 논문은 6.5%(6편), 4.3%(4편)에 불과한 것으로 나타났다.

서론 항목 분석

4) 방법

방법에 대한 APA 세부 항목별 분석결과는 <표 6>과 같다. 먼저 포함 및 배제 준거의 세부항목들을 살펴보면, 독립 및 종속변수의 조작적 특징, 연구 참여모집단의 적정성, 연구가 실행된 기간은 대부분의 연구들에서 보고한 것으로 나타났으며, 지리・문화적 제한점을 밝힌 연구는 75.3%(70편)로 나타났다. 한편, 연구 설계 적절성 항목에서는 모든 연구들에서 연구 설계를 밝히고 있기는 하나 무선할당, 최소표본 크기와 같은 연구 설계의 적정성에 대해서는 9.8%(9편)가 제시되어 다소 부족한 것으로 나타났다.

방법 항목 분석

조절, 매개변수의 코딩 범주별 정의 항목에 해당되는 논문은 72편이었고, 모든 연구들에서 코딩범주로 포함하고 있는 것으로 나타났다.

문헌탐색 전략을 살펴보면, 데이터베이스 검색, 검색하는 방법에 대해서는 모든 연구들이 제시하고 있었으며, 연구가 실행된 기간의 경우 94.6%(88편)의 논문들에서 밝히고 있었다. 하지만 연구 선정 의사결정과정(48.4%)에 대한 충분한 설명을 제시하지 않은 논문들이 다수 있었으며, 모든 이용 가능한 검색 노력이(12.9%)나 미발행된 논문을 처리하는 방법(7.5%)에 대해서는 보고율이 매우 낮은 것으로 나타났다.

코딩절차로는 코딩하는 사람의 자격과 인원, 한명 이상의 코딩자 존재 여부 및 불일치 해결법은 각각 59.1%(55편), 50.5%(47편)의 논문들이 보고하였고 코딩자간 신뢰도와 일치도, 연구의 질 평가 항목을 제시한 논문들은 각각 33.3%(31편), 27.9%(26편)로 다소 적었으며, 결측치 처리방법을 보고한 연구는 부재하였다.

마지막으로 통계방법의 세부항목들에 대한 보고수준을 살펴보면, 효과크기에 관한 개념과 설명은 97.8%(91편)의 연구들에서 보고하고 있으나, 평균효과크기 계산 및 가중치 부여방법에 대해 기술한 논문들은 50.5%(47편)로 절반 수준이었고, 효과크기의 신뢰구간 계산방법(3.2%), 한 개 이상의 효과크기를 처리하는 방법(10.8%)에 대해 기술한 연구는 드물게 나타났다. 한편 확신구간을 계산하는 방법을 제시한 연구는 존재하지 않았다. 연구에서의 모델 선택의 기준과 적정성에 관해서는 분석대상 논문들 중 고정효과모형 또는 랜덤효과모형을 제시하고 모델선택의 정당화방법을 제시한 연구는 61.3%(57편)이었고, 동질성 평가 및 추정방법에 대해서는 76.3%(71편)가 보고하였다. 데이터 검사에 대한 적합성 검증 연구는 55.9%(52편)이었고, 이상치 검사에 대해서 보고한 논문은 2.2%(2편)에 불과하였다. 더욱이, 측정가공물의 평균, 표준편차 제시항목과 메타분석의 통계적 검증력에 대해서 밝힌 연구는 부재하였다. 연구에서 사용된 통계 프로그램이나 소프트웨어의 경우는 91.3%(85편)의 연구에서 밝히고 있는 것으로 나타났다.

5) 결과

결과에서의 APA 세부 항목별 분석결과는 <표 7>과 같다. 모든 연구들에서 표와 그래프 요약하기, 하위변인인 매개변인 분석에 대한 결과 제시는 이루어지고 있었다.

결과 항목 분석

관련성 검토를 위해 인용한 논문 수는 82.8%(77편)이었고, 메타분석에 포함된 논문 리스트를 제시한 연구, 관련되지만 맞지 않아 배제된 연구 수, 준거에 의해 배제된 연구 수는 각각 64.5%(60편), 49.5%(46편), 43.0%(40편)이었다. 또한 각 개별연구의 기술통계에 관한 보고비율은 18.3%(17편)이었고, 연구의 질 평가 항목을 보고한 연구는 3.2%(3편)로 상대적으로 매우 낮은 비율을 보였다.

6) 논의

메타분석 논문 논의에 대한 분석결과는 <표 8>과 같다. APA 세부 항목별 분석결과, 대부분의 세부항목들에서 보고기준에 따른 기술 비율은 80% 이상으로 양호한 것으로 나타났다. 주요 결과 기술과 결론에 대한 일반화의 경우, 모든 연구들에서 제시된 것으로 나타났고, 연구의 일반적 한계점, 함의와 해석, 후속연구를 위한 방향 제시 항목들 82%이상의 논문들에게 보고하고 있는 것으로 나타났다. 관찰된 결과에 대한 대안적 설명 고찰에 항목에서는 보고율이 9.7%(9편)로 분석되었다.

논의 항목 분석


Ⅴ. 결론 및 논의

청소년을 대상으로 한 국내 메타분석 연구물의 동향과 보고수준을 분석하기 위해 1999년부터 2017년 7월까지 국내에서 출판된 학술지 게재 논문을 대상으로 자료를 수집한 결과, 본 연구에서 분석된 연구물은 총 93편이었다.

먼저 메타분석 연구 동향을 살펴본 결과, 메타분석 연구물은 1999년 진행된 이후 2010년까지 연평균 1~2편 정도 연구가 이루어졌으나, 관련 연구물의 축적과 메타분석 연구방법론의 활용의 증대로 2011년 이후 지속적으로 증가하고 있는 것으로 나타났다. 또한 청소년 대상 메타분석 연구물의 주제는 지금까지 연구되어 온 분야를 잘 보여주듯이 청소년을 대상으로 한 각종 집단 예방 및 치료 프로그램과 자아존중감, 우울, 공격성과 같은 내재화 문제와 흡연, 인터넷 중독, 비행, 자살생각 등의 외현적 문제행동 등 매우 다양하게 나타났다.

다음으로 APA에서 제시한 보고 기준에 따라 메타분석 연구들의 보고수준을 살펴보고 향후 메타분석 연구물의 체계성과 질적 수준을 향상하기 위해 분석대상 논문을 분석한 결과를 각 영역별로 살펴보면 다음과 같다.

첫째, 메타분석 논문 제목의 경우 모든 연구물에서 메타분석 연구임을 밝히고 있는 것으로 나타났다.

둘째, 초록의 경우 메타분석의 연구주제, 연구대상 유형, 주요결과에 대해 대부분의 연구들이 보고하고 있었으며, 연구물의 선정기준과 이론·실천·정책적 함의 부분에서도 비교적 양호하게 보고되고 있었다. 하지만 고정효과모형 또는 랜덤효과모형과 같은 메타분석방법에 대해 보고한 연구는 7.5%에 불과하였다. 요약통계량 결합을 위한 메타분석의 통계적 모형은 메타분석의 결과에 영향을 미치게 된다. 본 연구의 분석결과 통계방법의 보고기준에서 61.3%의 연구물이 모형 선택과 정당화방법을 밝히고 있으나, 초록에서는 이를 언급한 것은 7.5%에 불과하였다. 초록은 독자에게 연구물 전체를 살펴보기 전 주요한 정보를 제공해주는 만큼 연구물에서 사용된 메타분석방법(고정효과모형 또는 랜덤효과모형)을 밝힐 필요가 있다.

셋째, 서론에서는 연구의 역사적 배경, 연구문제와 관련된 이슈, 모집단, 연구가설(문제) 항목들에서 대부분의 연구들이 보고하고 있었으며, 조절변수의 선택 및 코딩 논리의 경우, 52.7%(38편)의 연구물이 보고하고 있는 것으로 분석되었다. 메타분석 연구는 변수들의 평균효과크기와 조절변수의 검증이 매우 중요한 관심사이자 연구결과의 핵심 내용이라 할 수 있다. 이에 메타분석 연구에서 조절변수로 사용된 합리적 근거가 서론(이론적 배경을 포함)에서 필수적으로 제시할 필요가 있다. 범주형 또는 연속형 변수여서 조절변수로 사용한다는 것은 조절변수로 활용한 근거가 될 수 없으므로, 선행연구 및 이론적 근거를 바탕으로 조절변수에 대한 선택 논리를 합리적으로 제시하여야 할 것이다.

또한, 서론에서 보고 비율이 가장 낮은 세부 항목들은 개별연구의 연구 설계 유형과 장・단점, 독립변수와 종속변수 유형 및 측정학적 특성에 대한 기술 부분이었다. 1차 연구에서의 사용된 연구 설계 유형에 대한 요약과 척도의 종류, 측정도구, 검사도구의 신뢰도와 같은 측정학적 특성들은 1차 연구물의 질을 담보하는 주요한 요인이 된다. 이러한 1차 연구물의 절적 담보는 메타분석 연구결과의 질적 향상과 직결되는 부분이어서 이에 대한 언급은 중요하게 다루어져야 한다.

넷째, 분석대상 연구물을 전체적으로 보았을 때 가장 보고 수준이 낮은 영역은 연구방법이었다. 연구방법분야에서의 보고 수준이 낮은 것은 신인수, 박은영(2011)의 특수교육 및 관련분야의 메타분석 논문을 고찰한 연구와 유사한 결과이다.

먼저 메타분석 연구 포함 및 배제의 준거로서 독립・종속변수의 조작적 특징, 연구 참여모집단의 적정성, 연구가 실행된 기간, 지리・문화적 제한점은 대체적으로 양호하게 보고되고 있으나 연구 설계의 특징에 대해서 보고가 미흡한 것으로 나타났다. 연구 설계 특징과 무선할당, 최소표본크기 제시 등과 같은 연구 설계의 적절성을 고려하여 어떠한 연구 설계가 메타분석 연구에 포함되었는지 제시할 필요가 있다.

변수코딩에서는 조절변수의 범주별 정의는 제시되고 있는 것으로 나타났다. 문헌탐색 전략에서는 데이터베이스 검색, 검색하는 방법, 연구가 실행된 기간에 대해서는 보고가 되고 있었으나, 연구선정 의사결정, 모든 이용 가능한 검색노력, 미발행 된 논문의 처리 항목에서는 다소 부족한 것으로 나타났다. 메타분석에서 연구 선정 의사결정과정은 연구자와 독자로 하여금 연구의 신뢰도를 높이는 중요한 과정으로 반드시 보고되어야 할 부분이다. 최근 출판되는 다수의 논문들에서는 PRISMA Flow Diagram을 활용하여 의사결정과정을 보고하는 사례가 증가하고 있다(권은정, 장승옥, 2016; 조혜정, 황성동, 2016; 좌현숙, 2017). 또한 메타분석 문헌탐색에서 필요시 저자와의 접촉, 참고문헌 리스트를 조사하는 등의 모든 이용 가능한 검색 노력과 미발행 된 논문을 처리하는 방안에 대하여 문헌탐색 전략에서 기술할 필요가 있다.

다음으로 코딩절차에서는 코딩하는 사람의 자격과 인원, 코딩자간 신뢰도와 일치도, 한명 이상의 코딩자 존재여부 및 불일치 해결법의 항목이 있다. 이러한 항목들은 주의를 기울이면 다소 쉽게 제시될 수 있는 항목이므로 코딩절차 시 고려하여 기술하여야 할 것이다. 한편, 코딩절차에 있어 연구의 질 평가, 결측치 처리방법에 대한보고는 매우 부족한 것으로 나타났다. 연구설계 방법의 엄밀성이 결과에 미치는 영향을 고려하여 척도의 기준과 적용 절차 및 연구 설계 특징에 관해 주의를 기울여야 한다. 결측치의 경우에는 1차 연구가 연구대상 집단이나 결과 측정값 등에 대한 모든 정보를 보고하지 않는 경우, 결측치가 발생하여 전체 효과크기 평균 추정에 영향을 미치게 된다(노민정, 유진은, 2015; Matt & Cook, 2009). 따라서 결측치가 있었는지, 있었다면 어떻게 처리했는지 밝혀야 한다.

통계방법에서는 효과크기에 대한 설명, 사용된 통계 프로그램이나 소프트웨어에 대해 대부분의 연구들에서 제시되고 있으나, 평균효과크기, 신뢰구간, 확신구간 등의 계산방법을 제시하는 연구는 드물게 나타났다. 이는 통계 프로그램이나 소프트웨어를 활용해 평균효과크기 및 신뢰구간을 쉽게 보여주어 계산방법에 대한 논의를 소홀히 하는 경향이 있는 것으로 보인다. 또한 일부 연구들은 한개 이상의 효과크기에 대한 처리방법을 제시했는데, 이는 메타분석에서의 독립성 가정과 연관이 있으므로 한개 이상의 효과크기를 사용한 부분이 있는지 제시하고, 어떻게 처리하였는지 보고할 필요가 있다. 이상치의 존재의 경우에도 전체 분석에 영향을 줄 수 있는 요인으로 이상치 검사를 통해 이상치의 존재 여부 및 처리 과정에 대해 기술하여야 연구결과에 대한 타당성을 높일 수 있다. 한편, 구성개념상의 관계가 연구의 중심일 때 측정가공물의 평균과 표준편차 제시, 메타분석의 통계 검증력에 대한 보고는 매우 낮았는데, 메타분석의 내・외적 타당도를 확보하기 위한 방안을 고려해야할 필요가 있다.

메타분석에서 고정효과모형 또는 랜덤효과모형을 선택하느냐에 따라 그 결과는 달라진다. 연구의 기본가정에 근거한 모델선택은 필수적이며, 동질성 평가 및 추정방법에 대해서도 반드시 제시되어야 할 부분이다. 또한 출판편향, 선택보고의 데이터 검사에 대한 적합성 검증이 분석되어야 한다. 초기의 메타분석 연구에서는 출판편향과 선택보고와 관련하여 다루어지지 않은 경향이 있었으나 최근 연구들은 대부분 필수적으로 보고하고 있는 것으로 나타났다.

다섯째, 결과의 보고 기준에 따른 기술 정도를 살펴본 결과, 표와 그래프를 사용한 요약하기, 하위변인의 매개변인 분석에 대한 결과 기술, 관련성 검토를 위해 인용한 논문 수 제시는 대부분의 연구들에서 밝히고 있는 것으로 나타났다. 메타분석에 포함된 논문 리스트를 보고한 연구는 64.5%이었고, 배제된 연구 수 49.5%, 준거에 의해 배제된 연구 수 43.0%로 나타났는데, 메타분석 연구결과의 재생가능성을 확보하기 위해서는 자료선정절차와 기준에 따라 선정된 분석대상 목록과 배제된 연구 수를 본문에 명확하게 제시하여야 한다. 이러한 분석대상 목록, 배제된 연구 수에 관한 보고는 주로 2014년 이후 급격하게 증가하였는데, 이는 앞서 살펴본 문헌탐색 전략에서의 PRISMA Flow Diagram 활용이 증가한 것과 맥을 같이하고 있는 것이다. 한편, 메타분석에 포함된 리스트, 배제된 연구 수, 준거에 의해 배제된 연구물 수 항목들은 일부를 제외하고 결과 부분에 제시하기 보다는 주로 방법에서 보고된 경우가 대다수인 것으로 나타났다(조혜정, 2014; 강근모, 이준기, 2015; 박진희, 김현주, 2015; 나재은, 2016). 연구보고서의 체계성과 일관성을 위해 보고 기준에 따른 영역별 제시가 이루어진다면 더욱 연구자들 및 독자들에게 편의를 줄 수 있을 것으로 판단된다.

개별연구별 기초통계를 제공한 연구는 18.3%이었는데, 개별연구들의 효과크기 및 표본크기에 대한 정보는 평균효과크기의 계산과정과 결과의 투명성을 통한 메타분석 결과에 대한 신뢰도와 타당도를 보장할 수 있으므로(신인수, 박은영, 2011) 개별연구들의 효과크기, 표본크기가 제시되어야 한다.

여섯째, 논의에서의 세부 항목인 주요결과 기술, 결론에 대한 일반화, 일반적 한계점, 함의와 해석, 후속연구 방향 제시는 대체적으로 보고 수준이 양호한 것으로 분석되었다. 다만 관찰된 결과에 대한 대안적 설명(데이터 관측중단의 영향)에 대한 세부항목에서 9.7%만이 보고한 것으로 나타났다. 데이터 관측중단 검정은 데이터의 삭제나 추가가 메타분석 결과에 미치는 영향을 평가하는 것으로서, 출판편향을 대표적으로 들 수 있다(노민정, 유진은, 2015; Greenhouse & Iyengar 2009). 이에 논의 부분에서 관찰된 결과에 대한 대안적 설명을 제시할 필요가 있다.

마지막으로 본 연구의 함의와 제한점 및 후속연구를 위한 제언은 다음과 같다.

본 연구는 청소년 대상 메타분석 연구 동향과 메타분석 연구에서 중요하게 다루어져야 할 보고기준을 살펴보았다. 메타분석 결과 보고에서 부족한 부분을 고찰함으로써 향후 연구에서 주의를 기울여야 할 사항을 제시하여 메타분석 연구 질적 향상의 기반을 마련하였다는 데 의의가 있다.

그러나 본 연구는 APA 보고 기준에 따라 개별 연구물을 코딩할 때 기술(1), 비기술(0)로 구분하여 코딩하였기에 보고의 질적 수준을 모두 포괄하지 못한 한계가 있다. 또한 후속연구에서는 본 연구에서 논의되었던 APA 보고기준을 바탕으로 하여 청소년 분야 메타분석에서 필수적으로 보고해야할 항목이 마련될 필요가 있다.

References

  • 강근모, 이준기, (2015), 청소년 가출관련변인의 메타분석, 한국청소년연구, 26(2), p115-144.
  • 권은정, 장승옥, (2016), 인터넷 중독 청소년을 위한 자기통제력 증진 프로그램 효과에 관한 메타분석, 사회과학연구, 55(1), p87-122.
  • 김수영, 박지은, 서현주, 서혜선, 손희정, 신채민, 이윤재, 장보형, (2011), NECA 체계적 문헌고찰 매뉴얼, 한국보건의료연구원.
  • 나재은, (2016), 학교폭력 사후개입 집단프로그램 메타분석, 학교사회복지, 35, p1-19.
  • 노민정, 유진은, (2015), 교육 분야 메타분석을 위한 50개 필수 보고 항목, 교육평가연구, 28(3), p853-878.
  • 노정순, (2008), 문헌정보학분야에서 메타분석 연구의 관한 고찰, 한국문헌정보학회지, 42(1), p45-61.
  • 박성덕, 신인수, (2014), 유아교육 분야의 메타분석 논문에 대한 고찰, 유아교육연구, 34(2), p303-412.
  • 박진희, 김현주, (2015), 학교폭력 가해행동에 영향을 미치는 요인에 대한 메타분석-학교와 지역사회요인의 부상-, 청소년시설환경, 13(4), p115-128.
  • 서미옥, (2011), 메타분석 연구의 고찰과 연구방법론적인 제안, 한국교육학회, 49(2), p1-23.
  • 신인수, 박은영, (2011), 특수교육 및 관련 분야의 메타분석 논문에 대한 고찰, 지체·중복·건강장애연구, 54(4), p157-176.
  • 이성대, 김선주, 염동문, (2014), 사회복지분야의 메타분석 논문에 대한 고찰과 제안, 한국콘텐츠학회논문지, 14(1), p209-222.
  • 조혜정, (2014), 청소년 음주에 영향을 미치는 요인에 관한 메타분석: 1990년부터 2012년까지의 국내 연구, 청소년학연구, 21(6), p191-221.
  • 조혜정, 황성동, (2016), 한국 학교기반 청소년 음주예방프로그램의 효과에 관한 메타분석, 청소년학연구, 23(3), p523-547.
  • 좌현숙, (2017), 청소년의 내재화 문제와 위험요인에 대한 메타분석, 청소년문화포럼, 49, p86-119.
  • 현영섭, 김우철, (2017), 평생교육분야 메타 연구의 동향: 국내 학술지 게재 논문을 대상으로, 교육종합연구, 15(4), p145-182.
  • Ahn, S., Ames, A. J., & Myers, N. D., (2012), A Review of meta-analyses in education: methodological strengths and weaknesses, Review of Educational Research, 82(4), p436-476.
  • APA publications and communications board working group on journal article reporting standards, (2008), Reporting standards for research in psychology: Why do we need them? What might they be?, American Psychologist, 63(9), p839-851. [https://doi.org/10.1037/0003-066x.63.9.839]
  • Biondi-Zoccai, G. G., Lotrionte, M., Abbate, A., Testa, L., Remigi, E., Buizotta, F., Valgimigli, M., Romagnoli, E., Crea, F., Agostoni, P., (2006), Compliance with QUOROM and quality of reporting of overlapping meta-analyses on the role of acetylcysteine in the prevention of contrast associated nephropathy: Case study, British Medical Journal, 332(7535), p202-209. [https://doi.org/10.1136/bmj.38693.516782.7c]
  • Chalmers, L., Hedges, L. V., and Cooper, H, (2002), A brief history of research synthesis, Evaluation & The Health professions, 25(1), p12-37.
  • Cook, D. J., Sackett, D. L., Spitzer, W. O., (1995), Methodilogic guidelines for systematic reviews of randomized controlled trials in health care from the Potsdam conference on meta-analysis, Journal of Clinical Epidemiology, 48, p17-71.
  • Glass, G. V., (1976), Primary, secondary and meta-analysis of research, Educational Researcher, 10, p3-8.
  • Greenhouse, J. B., Iyengar, S., (2009), Sensitivity analysis and diagnostics, In H. Cooper, Hedges, L. V., Valentine, J. C., (2009), The handbook of research synthesis and meta-analysis, (2nd ed., p417-433), New York, Russell Sage Foundation.
  • Harwell, M., & Maeda, Y., (2008), Deficiencies of reporting in meta-analyses and some remedies, The Journal of Experimental Education, 76, p403-428. [https://doi.org/10.3200/jexe.76.4.403-430]
  • Kepes, S., McDaniel, M. A., Brannick, M. T., & Banks, G. C., (2013), Meta-analytic reviews in th organizational sciences: Two meta-analytic schools on the way to MARS(the Meta-analytic Reporting Standards), Journal of Business and Psychology, 28, p123-143. [https://doi.org/10.1007/s10869-013-9300-2]
  • Matt, G. E., Cook, T. D., (2009), Threats to the validity of generalized inferences, In H. Cooper, Hedges, L. V., Valentine, J. C., (2009), The handbook of research synthesis and meta-analysis, (2nd ed., p417-433), New York, Russell Sage Foundation.
  • Moher, D., Liberati, A., Tetzlaff, J., Altman, D. G., and The PRISMA Group, (2000), Preferred reporting items for systematic reviews and meta-analysis: The PRISMA statement, Manuscript submitted for publication. [https://doi.org/10.1016/j.jclinepi.2009.06.005]
  • Therrien, W. J., Zaman, M., Banda, D. R., (2011), How can meta-analysis guide practice? A review of the learning disability research base, Remedial and Special Education, 32(3), p206-218. [https://doi.org/10.1177/0741932510361266]
  • Valentine, C. H., Cooper, H., Patall, E. A., Tyson, D., Robinson, C. R., (2009), A method for evaluating research synthesis: The quality, conclusions and consensus of 12 syntheses of the effects of after-school programs, Research Synthesis Methods, 1, p20-38.

<그림 1>

<그림 1>
자료수집 및 선정과정

<그림 2>

<그림 2>
메타분석 연구물 출판현황

<표 1>

APA 메타분석 보고기준

항목 세부항목
출처: APA Publication and Communications Board Working Group on Journal Article Reporting Standards(2008)
제목 - 연구물이 메타분석 연구임을 명확히 기술
- 자금 지원 출처 명시
초록 - 연구주제(연구문제), 선정기준, 연구대상 유형, 메타분석방법(고정효과모형 또는 랜덤효과모형 명시), 주요결과(평균효과크기와 조절변수), 결론(연구의 제한점 포함), 이론적, 정책적, 실제적 함의
서론 - 명확한 연구문제의 진술: 역사적 배경, 연구문제와 관련된 이론적 정책적 실제적 이슈, 결과의 중재변인, 조절 및 매개변인을 선택하고 코딩한 논리, 개별연구의 연구설계 유형과 이들의 장점과 단점, 독립변수, 종속변수의 유형 및 측정학적 특징(측정도구), 연구문제와 관련된 모집단, 연구가설(연구문제)
방법 - 배제 또는 선정 기준: 독립변수, 종속변수의 조작적 특징, 연구참여 모집단의 적정성, 연구설계의 적절성(무선할당, 최소 표본크기), 연구가 실행된 기간(연구발행년도), 지리적 또는 문화적 제한
- 조절변수 분석: 조절변수 또는 매개변수의 코딩 범주별 정의
- 문헌탐색전략: 참고문헌과 관련된 DB 검색, 검색하는 방법(키워드 검색, 검색 소프트웨어 이용), 연구가 실행된 기간(연구발행년도), 모든 이용 가능한 검색노력(저자와 접촉, 참고문헌 리스트 조사), 영어 이외의 다른 외국문헌을 찾는 방법, 연구선정 의사결정 과정(연구를 점검하는 관점_검토한 부분, 연구의 질과 양을 판단, 일치도 언급, 불일치를 해결하는 방법,) 미발행된 논문의 처리
- 코딩절차: 코딩하는 사람의 자격과 인원(관련 영역 내 경험의 수준, 훈련), 코딩자간 신뢰도와 일치도(채점자간 신뢰도), 한 명이상의 코딩자 존재여부 및 불일치 해결법, 연구의 질 평가(질적 척도가 적용되었다면 적용된 절차와 기준 기술, 연구 설계의 특징 코딩되었다면, 코딩내용 명시), 결측치를 처리하는 방법
- 통계방법: 효과크기(효과크기를 산출하는 공식, 효과크기 교정 방법), 평균효과크기 계산 및 가중치 부여 방법, 효과크기의 신뢰구간 계산 방법, 확신구간이 사용되었다면 계산방법, 한 개 이상의 효과크기를 포함하는 경우 처리방법, 고정효과모형 또는 랜덤효과모형 중 어느 것이 적용되는지 그 모델선택의 정당화방법, 동질성평가 및 추정방법, (구성개념상의 관계가 연구의 중심이라면)측정가공물의 평균과 표준편차, 데이터 검사에 대한 적합성 검증(출판된 연구물 편향, 선택보고), 이상치 검사, 메타분석의 통계검증력, 분석에 사용된 통계프로그램이나 소프트웨어
결과 - 관련성을 검토하기 위해 인용한 논문 숫자
- 메타분석에 포함한 논문리스트
- 메타분석에서 관련되지만 선정준거에 맞지 않아 배제된 연구물의 수
- 각 배제준거에 의해 배제된 연구물의 숫자와 예(계산할 수 없는 효과크기)
- 각 개별연구별 효과크기, 표본크기, 연구결과를 포함한 표 제공
- 연구의 질 평가
- 표와 그래프 요약하기: DB의 전체적 특징(서로 다른 연구 설계를 사용한 연구의 수 등), 전체효과크기, 신뢰구간 및 확신구간 등의 불확실성 포함)
- 연구 하위변인의 조절변수 분석에 대한 결과: 각 조절변수 분석별 연구수와 샘플의 수, 조절변수로 사용된 변수들간 상호관련성 평가
논의 - 주요 결과를 진술
- 관찰된 결과에 대한 대안적 고찰: 데이터 검사의 영향
- 결론에 대한 일반화: 관련 모집단, 처치의 다양성, 종속변수, 연구설계
- 일반적인 한계점(연구의 질에 대한 평가를 포함)
- 이론적, 정책적, 실제적 함의와 해석
- 후속연구에 대한 방향 제시

<표 2>

청소년대상 메타분석 연구 분석대상 논문

ID 년도 저자 구분 주제 ID 년도 저자 구분 주제
1 2017 변성원 외 효과 중재프로그램 2 2017 좌현숙 관계 내재화문제
3 2017 김현민 외 효과 집단미술치료 4 2017 이가경 효과 명상
5 2017 송아영 외 효과 음주예방중재 6 2017 강윤경 외 효과 진로상담
7 2017 김신아 외 관계 사이버불링 8 2017 김한나 외 효과 교복우사업
9 2016 김세경 관계 자기조절과 내재화 10 2016 나재은 효과 학교폭력
11 2016 홍세희 외 관계 자살생각 12 2016 김현실 외 효과 스마트폰중독
13 2016 권은정 외 효과 인터넷중독 14 2016 이현정 외 관계 스마트폰중독
15 2016 권은정 외 효과 자기통제력 16 2016 김영옥 외 효과 복합운동효과
17 2016 하지연 외 효과 금연집단상담 18 2016 양지훈 외 효과 멘토링프로그램
19 2016 조영화 외 효과 집단미술치료 20 2016 홍세희 외 관계 자살생각
21 2016 하지연 외 관계 인터넷중독 22 2016 정미나 외 관계 진로성숙
23 2016 조혜정 외 효과 음주예방 24 2016 정선아 외 효과 자아탄력성
25 2016 정문주 외 관계 학습된무기력 26 2016 좌현숙 관계 내재화문제
27 2016 원재순 외 관계 학교적응 28 2016 김영아 외 효과 진로집단상담
29 2016 서봉언 관계 사이버폭력 30 2016 조영미 외 효과 미술치료
31 2015 권태연 효과 우울예방 32 2015 박진희 외 관계 학교폭력
33 2015 문은주 효과 행복집단상담 34 2015 이준기 외 효과 또래상담
35 2015 이준기 외 관계 스마트폰 중독 36 2015 이금진 효과 멘토링프로그램
37 2015 채선화 외 관계 학교적응 38 2015 이윤희 외 효과 우울개선
39 2015 강근모 외 관계 청소년가출 40 2015 김희영 외 효과 인터넷중독
41 2015 이준기 외 효과 인터넷중독 42 2014 조수연 외 효과 용서집단상담
43 2014 조혜정 관계 청소년음주 44 2014 김동민 외 관계 학교폭력
45 2014 이지언 외 관계 친·반사회 행동 46 2014 김동일 외 효과 다중지능
47 2014 김도일 외 효과 문제해결력 48 2014 서봉언 외 효과 비행참여
49 2014 정슬기 외 관계 문제음주 50 2014 원재순 외 관계 학교적응
51 2014 조혜정 관계 청소년음주 52 2013 백종림 외 관계 우울
53 2013 권경인 외 효과 스트레스 54 2013 박미애 외 관계 심리적안녕감
55 2013 김수진 외 효과 자기결정중재 56 2013 강용규 효과 운동프로그램
57 2013 김미정 외 관계 정서학대발생 58 2013 안지선 외 효과 집단상담
59 2012 박선영 외 관계 성취동기와 양육태도 60 2012 문동규 외 관계 자살생각
61 2012 김선미 외 관계 우울 62 2012 제미영 외 관계 우울
63 2012 구훈정 외 효과 심리치료효과 64 2012 이정미 효과 현실치료
65 2012 진혜민 외 관계 청소년비행 66 2012 이성대 외 관계 휴대폰중독
67 2012 정경은 외 관계 가출 원인 68 2012 황은영 효과 그룹 음악치료
69 2011 문동규 외 관계 자살생각 70 2011 유수정 효과 공격성감소
71 2011 서미정 관계 공격성 72 2011 김이지 외 관계 리더십
73 2011 이혜숙 효과 사회정서발달 74 2011 조한익 외 효과 집단상담
75 2010 조윤지 외 효과 집단상담 76 2010 홍은주 외 효과 음악치료
77 2010 홍은주 외 효과 미술치료 78 2009 오익수 외 효과 인터넷 중독
79 2009 김보영 외 관계 자살생각 80 2009 이송이 외 효과 에니어그램
81 2009 박혜정 외 효과 미술치료 82 2009 박승민 효과 인터넷중독
83 2008 김윤경 외 효과 금연프로그램 84 2008 신선인 관계 청소년비행
85 2006 이명자 관계 자아정체감 86 2006 박인혜 외 효과 흡연예방
87 2005 최운선 관계 학교폭력 88 2004 조성은 효과 집단상담
89 2004 강진령 외 효과 잡단상담 90 2003 임은미 외 효과 진로지도상담
91 2002 변미희 효과 상담효과 92 2001 홍경자 외 효과 자아존중감
93 1999 권지은 외 관계 비행

<표 3>

청소년 대상 메타분석 연구의 구분

구분 논문 수 비율
프로그램 효과 연구 56 60.2
변인들간 상관관계 연구 37 39.8

<표 4>

초록 항목 분석

초록 세부 항목 논문 수 %
연구주제(연구문제) 93 100.0
선정 기준 67 72.0
연구대상 유형 92 98.9
메타분석방법(고정/랜덤효과모형 명시) 7 7.5
주요 결과(평균효과크기, 조절변수) 93 100.0
결론(제한점 포함) 18 19.4
이론적, 정책적, 실제적 함의 57 61.3

<표 5>

서론 항목 분석

서론 세부 항목 논문 수 %
역사적 배경 93 100.0
연구문제 관련 이론적, 정책적, 실제적 이슈 93 100.0
조절변수 해당논문 수 /
조절 및 매개변수 선택 및 코딩 논리
72 / 38 52.7
개별연구의 연구설계 유형, 장점과 단점 6 6.5
독립변수와 종속변수 유형 및 측정학적 특징 4 4.3
연구문제와 관련된 모집단 93 100.0
연구가설(연구문제) 80 86.0

<표 6>

방법 항목 분석

방법 세부 항목 논문 수 %
포함·배제의 준거 독립변수, 종속변수의 조작적 특징 92 98.9
연구 참여 모집단의 적정성 93 100.0
연구 설계 특징의 적절성(무선할당, 최소표본크기) 9 9.8
연구가 실행된 기간(연구발행년도) 93 100.0
지리적, 문화적 제한점 70 75.3
조절, 매개변수의 코딩 범주별 정의 72 100.0
문헌탐색
전략
참고문헌과 관련된 데이터베이스 검색 93 100.0
검색하는 방법 93 100.0
연구가 실행된 기간(연구발행년도) 88 94.6
모든 이용 가능한 검색 노력
(저자와 접촉, 참고문헌 리스트 조사)
12 12.9
연구선정 의사결정과정 45 48.4
미발행된 논문의 처리 7 7.5
코딩
절차
코딩하는 사람의 자격과 인원 55 59.1
코딩자간 신뢰도와 일치도 31 33.3
한명 이상의 코딩자 존재여부 및 불일치해결법 47 50.5
연구의 질 평가 26 27.9
결측치 처리방법 0 0.0
통계
방법
효과크기 91 97.8
평균효과크기 계산 및 가중치부여방법 47 50.5
효과크기의 신뢰구간 계산방법 3 3.2
효과크기 확신구간 계산방법 0 0.0
한 개 이상의 효과크기 처리방법 10 10.8
고정효과모형 또는 랜덤효과모형 57 61.3
모델선택의 정당화방법 57 61.3
동질성 평가 및 추정 방법 71 76.3
(구성개념상의 관계가 연구의 중심일 때)
측정가공물의 평균, 표준편차
0 0.0
데이터 검사에 대한 적합성 검증 52 55.9
이상치 검사 2 2.2
메타분석의 통계 검증력 0 0.0
사용된 통계 프로그램이나 소프트웨어 85 91.3

<표 7>

결과 항목 분석

결과 세부 항목 논문 수 %
* 항목은 방법의 항목에서 제시된 것을 포함하여 제시하였음
관련성 검토 위해 인용한 논문 숫자 77 82.8
메타분석에 포함된 논문 리스트* 60 64.5
관련되지만 맞지 않아 배제된 연구물 수* 46 49.5
준거에 의해 배제된 연구물 숫자와 예* 40 43.0
각 개별연구별 효과크기, 표본크기, 연구결과를 포함한 표 제공 17 18.3
연구의 질 평가 3 3.2
표와 그래프 요약하기 93 100.0
하위변인의 매개변인 분석에 대한 결과 93 100.0

<표 8>

논의 항목 분석

논의 세부 항목 논문 수 %
주요 결과 진술 93 100.0
관찰된 결과에 대한 대안적 설명 고찰 9 9.7
결론에 대한 일반화 93 100.0
일반적인 한계점 77 82.8
이론, 정책, 실제에 대한 함의와 해석 92 98.9
후속연구에 대한 방향 제시 81 87.1