청소년의 내재화 문제와 위험요인에 대한 메타분석

Ⅰ. 서 론

청소년기는 아동기에서 성인기로 이행하는 과도기이다. 급격한 신체발달과 더불어 심리사회적으로 다양한 질적 변화가 일어나며, 발달과업의 수행에 따른 도전에 직면하게 된다. 성공적인 과업수행의 결과로 자아정체감 형성, 독립 과업 성취 등 긍정적 발달을 이루기도 하지만(Havighurst, 1972; 조흥식・김혜래・신은주・우국회・오승환・성정현・이지수, 2010 재인용), 개인 내‧외적인 요구에 부응하는 과정에서 정서적 불균형이나 문제행동 같은 부적응 문제도 발생한다. 이와 같은 청소년기 심리사회적 부적응은 시간이 지남에 따라 자연스럽게 해결되거나 완화되는 것도 많지만 성인기까지 지속되기도 하므로‘청소년기에 흔히 나타나는 단순한 증상’이라고 간과해서는 안 된다.

일반적으로 아동 및 청소년기의 심리사회적 부적응 문제는 내재화 문제와 외현화 문제로 범주화된다(Achenbach & Edelbrock, 1978). 내재화 문제는 사회적 위축, 신체적 호소, 불안이나 우울 등 사회적으로 위축된 행동, 신체적인 증상 등 과통제 된 행동을 의미한다. 반면 외현화 문제는 공격적인 행동이나 비행 등 통제가 부족하고 부적응적인 행동이 타인을 향해 밖으로 드러나는 것을 의미한다(강지현‧오경자, 2011). 외현화 문제는 내재화 문제에 비해 현상적으로 표현되는 경우가 많기 때문에 임상에서 뿐만 아니라 실증연구에서도 관심의 대상이 되어 왔지만 내재화 문제는 겉으로 표현되지 않는 경우가 많기 때문에 외현화 문제에 비해 상대적으로 관심을 덜 받게 되었다. 1970년대에 시작된 내재화 문제연구는 성인기 내재화 문제의 특징과 개입에 초점이 맞춰졌으며 1980년대 들어 아동 및 청소년의 내재화 문제 관련 연구가 이루어졌다(Bolme-lake, 2007). 그러나 외현화 문제와 내재화 문제는 다른 범주로 구분되지만 동시에 발생하기도 하고 한 영역의 문제가 다른 영역의 문제 발생에 영향을 미치는 등 서로 관련성이 높다는 것이 밝혀지고 있기 때문에(이은주, 2010; 이주리, 2008; 이주영‧오경자, 2011; Gilliom & Shaw, 2004; Lilienfeld, 2003), 내재화 문제에 대한 체계적 연구를 통해 청소년기 심리사회적 문제에 대한 통합적이고 균형 잡힌 이해를 도모해야 할 필요성이 높아지고 있다.

우리나라에서 2005년부터 전국의 중・고등학생을 대상으로 실시하는 청소년건강상태 온라인 조사에 의하면 우울감 경험률이 23.6%부터 41.4%까지 매우 높게 나타나고 있다(교육부・보건복지부・질병관리본부, 2015). 청소년의 우울 같은 내재화 문제는 다양한 측면에서 발달에 부정적 영향을 미치는데, 청소년기에 중요한 또래 관계의 손상 및 학교부적응(김명식, 2009; 안윤정・현진희, 2015), 자살과 같은 극단적인 문제의 원인이 되기 때문에(김미애, 2009; 오승환, 2009; 조인숙・채철균, 2016; 진혜민・배성우, 2016; 홍세희・정송・노언경, 2016; Houston & Hawton, 2001), 청소년 내재화 문제의 예방을 위한 다각적인 노력과 대책마련이 절실하다.

청소년의 내재화 문제와 관련된 기존의 연구들은 내재화 문제를 예방하고 감소시키는데 영향을 미치는 요인 및 내재화 문제의 발생 가능성을 높이는 요인을 규명하거나 특정 변인과의 관련성 및 구조적 관계를 규명하고 있다(권정아, 2002; 백진옥・염시창, 2007). 또한 최근 연구방법론의 발달로 종단적 분석이 수행되고 국내‧외 패널 데이터가 구축됨으로써 내재화 문제가 어떠한 변화양상을 보이는지 발달궤적에 대한 규명(오영진, 2010; 조정아, 2009; 좌현숙, 2010; Lansford et al., 2006)뿐 아니라 내재화 문제와 외현화 문제의 두 영역간 상호 종단적 관계들에 대한 규명도 이루어지고 있다(이은주, 2010; 이주리, 2008; 이주영‧오경자, 2011; 최정아, 2012; Gilliom & Shaw, 2004; Lilienfeld, 2003). 그러나 최근까지 국내에서 이루어진 청소년 내재화 문제 관련 연구들은 개인이나 가족같은 미시적 체계 중심으로 편중된 경향이 있다. 이에 본 연구는 인간의 발달은 개인적 특성과 개인의 성장에 영향을 미치는 상황적・환경적 맥락 및 이들 간 상호작용의 결과로 나타난다는 발달-맥락주의 관점(Lerner & Kauffman, 1985)에 근거하여 청소년의 발달에 중요한 영향을 미치는 개인과 가족, 또래 및 학교, 지역사회 요인을 고려하고자 한다.

한편, 청소년의 내재화 문제 관련 연구들이 축적됨에 따라 상반된 결과를 보고하는 개별 연구들을 종합하여 통합된 연구결과를 제시할 필요성이 대두된다. 왜냐하면 동일한 주제에 대한 연구임에도 불구하고 비일관 된 보고가 계속됨으로써 변인간 관계에 대한 종합적 결론을 내리기 어렵거나 특정 개입의 효과에 대한 일반적인 결론을 이끌어내기가 어려워지고 있기 때문이다(Rubin & Babbie, 2009). 어떤 특정 분야에서 동일한 주제에 대해 연구된 다양한 분석 결과를 종합하는 방법으로 화술적 종합법과 투표법을 들 수 있다. 화술적 종합법(narrative syntheses)은 전문가의 문헌검토를 통해 도출된 결과들을 종합해가는 기법이며, 투표법(vote counting)은 연구결과들을 하나로 통합하는 가장 단순한 방법으로서, 개별 연구들을 검토하여 유의한 결과를 산출한 연구의 수를 세어 최종적으로 결론을 내리는 방법이다(Cooper, 2010). 화술적 종합법은 분석대상의 선정에서부터 분석에 이르기까지 과정과 절차가 불투명하고 주관적이어서 기존 연구결과들을 과학적으로 이해하는데 많은 한계가 있으며(장덕호‧신인수, 2011), 연구자에 따라 동일한 자료에 대해 상반된 결과를 도출하는 등의 제한점이 있다(홍세희‧정성‧노언경, 2016). 또한 투표법은 각 연구의 표본 크기(sample size)를 고려하여 가중치를 부여하지는 못하며, 관계의 방향(direction)만을 고려하기 때문에 관계의 크기(magnitude)는 반영하지 못한다는 한계가 있다(Cooper, 2010).

이에 반해 메타분석은 다양한 결과들이 산출되는 개별 연구들을 양적으로 통합하고 질적으로 종합함으로써 변인간의 방향에 대한 결론을 도출하는데 도움을 주며, 관계의 크기를 결정함으로써 증거에 기반을 둔 의사결정을 가능케 해준다(박은영・신인수, 2011; Borenstein, Hedges, Higgins, & Rothstein, 2009). 메타분석의 이러한 특징은 현재까지 수행된 다양한 연구결과들을 정리해서 의사결정을 내리는데 도움을 제공하며 향후 어떤 연구가 필요한지를 알려준다는 점에서 전통적으로 연구들을 종합하는 방법들이 내포한 한계를 극복한다고 할 수 있다.

최근 청소년 연구 분야에서 다양한 메타분석 연구가 시도되고 있는데 현재까지는 프로그램의 효과성에 대한 분석이 주를 이루고 있으며(안지선・김정남, 2013; 조혜정・황성동, 2016; 하지연・신성만, 2016), 자살생각과 관련 요인들의 메타분석(문동규・김영희, 2012; 홍세희・정송・노언경, 2016) 등이 이루어지고 있을 뿐 청소년의 내재화 문제관련 메타분석은 미흡한 실정이다. 이에 본 연구는 메타분석방법을 활용하여 그동안 다양한 맥락과 특성 속에서 수행된 청소년 내재화 문제 위험요인의 평균 효과크기를 추정하고, 내재화 문제 위험요인을 개인수준, 가족수준, 또래 및 학교, 지역사회 수준으로 구분하여 청소년의 발달에 중요한 영향을 미치는 수준별 효과크기를 추정하고자 한다. 또한 연구의 특성에 따라 효과크기가 달라질 수 있으므로 평균 효과크기에 영향을 미치는 조절변인에 따른 효과크기 차이를 검증하고자 한다. 이를 통해 청소년 내재화 문제를 예방할 수 있는 실천적 함의를 도출하고자 하며 다음과 같은 연구문제를 설정했다

• 연구문제 1. 청소년 내재화 문제에 영향을 미치는 위험요인의 평균효과크기는 어떠한가?
• 연구문제 2. 청소년 내재화 문제에 영향을 미치는 위험요인을 개인수준, 가족수준, 또래 와 학교수준, 그리고 지역사회 수준으로 구분했을 때 각 수준별 효과크기는 어떠한가?
• 연구문제 3. 조절변인에 따라 청소년 내재화 문제 위험변인의 효과크기는 어떻게 달라지는가?

Ⅱ. 이론적 배경

Ⅲ. 연구방법

2. 분석대상 선정 및 자료검색

본 연구는 다음과 같은 절차와 기준으로 분석대상을 선정하고 자료를 검색하였다. 첫째, 선행연구를 참고하여 청소년의 범위를 중학생부터 고등학생까지로 한정하였다. 둘째, 효과크기를 산출하기 위하여 내재화 문제와 이에 영향을 미치는 위험요인 간 상관계수를 제시한 연구를 포함하였다. 셋째, 동일한 자료를 사용한 연구의 경우 하나만 선택하였는데, 학위논문을 요약하거나 수정하여 학술지에 발표한 경우 본 연구에서는 학술지만을 포함하였다. 마지막으로, 검색대상 기간은 2001년부터 2015년까지 약 15년간이며, 연구물의 종류는 국내에서 발표된 학술지와 석・박사 학위논문이다.

문헌 수집을 위해 국내 학술데이터베이스 검색을 하였다. 국회도서관, 한국학술정보원에서 제공하는 학술연구정보서비스(RISS4U), 한국교육학술정보에서 제공하는 학술데이터베이스(KISS), 국회전자도서관 데이터베이스를 이용하여 자료를 검색하고 수집하였다. 일차적으로‘청소년’과‘내재화’를 주요 검색어로 하여 데이터베이스 검색을 한 결과 총 446편의 연구가 수집되었다. 2차 단계에서는 문헌선정 기준에 따라 중복으로 검색된 논문을 제외하였다. 3차단계에서는 중・고등학생을 대상으로 하지 않은 연구, 상관관계 값이 제시되지 않은 논문, 내재화 문제를 다루지 않은 논문 등을 제외시켰으며, 최종 55개의 연구물이 분석대상으로 선정되었다. 관련 문헌을 검색하고 선정하는 과정을 PRISMA flowchart(Moher, Liberati, Tetzlaff, & Alman, 2009)로 제시하면 <그림 1>과 같다.

<그림 1>

분석대상 선정 및 자료검색과정에 대한 PRISMA flowchart

Ⅳ. 연구결과

내재화 문제 위험요인의 메타분석에 사용된 최종 연구물은 55편이며 이 중에서 학술지는 21편, 학위논문은 34편이었다. 내재화 문제의 발생 위험을 증가시키는 위험요인에 대한 메타분석 연구결과를 순서대로 제시하면 다음과 같다.

1. 청소년 내재화 문제에 영향을 미치는 위험요인의 효과크기

청소년의 내재화 문제 위험요인의 전체 효과크기를 산출하기 위해 개별연구들의 효과크기에 대한 동질성 검정을 먼저 실시하였다. <표 1>에 제시된 바와 같이 동질성 검정 결과 각 효과크기들의 관찰된 분산을 의미하는 Q값은 3360.829(p<.001)으로 유의하였다. I² 값을 이용하여 이질성 정도를 분석한 결과 I² 값이 98.393으로 산출되었다.

<표 1>

내재화 위험요인의 전체 상관효과크기

Higgins와 Green(2008)의 기준에 의하면 I² 값이 75% 이상은 개별 연구물들의 효과크기가 ‘상당히 이질적’이라고 할 수 있다. 이에 본 연구에서는 전체 효과크기를 산출하기 위해 무선효과모형을 사용하였으며, 이질성에 대한 원인 분석 및 추가적인 설명을 위해 조절효과분석을 실시하였다.

무선효과모형으로 내재화 문제와 위험요인의 상관관계 메타분석 연구의 분석대상이 된 총 55편의 연구물에 대하여 전체 상관효과크기를 산출하였다. 내재화 문제와 위험 요인들과의 전체 상관효과크기는 0.306으로 나타났다. 이는 중간 수준의 효과크기이며(Cohen, 1988), 95% 신뢰구간에서 하한값 .268, 상한값 .342로 효과크기는 유의하다고 할 수 있다.

2. 개인, 가족, 또래 및 학교, 지역사회 수준별 위험요인의 효과크기

내재화 문제에 영향을 미치는 위험요인의 전체 상관효과크기를 분석한 이후에는 내재화 문제 위험요인을 청소년의 발달에 영향을 미치는 맥락을 고려하여 개인수준, 가족수준, 또래 및 학교수준, 지역사회 수준으로 나누어 분석하였다. <표 2>에 제시된 바와 같이 개인수준 변인군의 효과크기는 0.378, 가족수준 변인군의 효과크기는 0.231, 또래 및 학교수준 변인군의 효과크기는 0.310, 지역사회수준 변인의 효과크기는 0.091로 나타났다.

<표 2>

내재화 위험요인의 하위유목에 따른 효과크기

네 가지 하위 변인 군 가운데 효과크기가 가장 큰 것은 개인수준 변인군이며(0.378), 그 다음으로 또래 및 학교수준 변인군(0.310), 가족수준 변인군(0.231), 지역사회수준 변인군(0.091)의 순서로 상관관계 효과크기가 산출되었으며, 개인수준, 가족수준, 또래 및 학교수준 변인군의 경우 신뢰구간이 0을 포함하지 않으므로 95% 신뢰구간에서 유의하였다. 그러나 지역사회수준변인의 경우 신뢰구간이 0을 포함하므로 통계적으로 유의하지 않았다.

Cohen(1988)의 효과크기 기준에 비추어 볼 때, 개인수준 변인군의 경우 효과크기가 0.378로 나타나 비교적 큰 효과크기를 보였으며 또래 및 학교 수준 변인군의 경우도 상관관계 효과크기가 0.310로 중간정도의 효과크기를 나타났다. 네 개의 변인군 가운데 효과크기가 가장 큰 것은 개인수준 변인군인데 이는 청소년 내재화 문제에 개인수준 변인들이 상대적으로 영향을 많이 미친다는 것을 의미한다. 개인수준 변인군 다음으로는 또래 및 학교수준 변인군의 효과크기가 컸는데 이는 가족의 영향력이 점자 줄어들고 또래와의 상호작용이 증가하면서 또래의 영향력이 중요해진다는 것을 보여주는 결과라고 할 수 있다.

다음으로는 내재화 문제 위험요인을 개인수준 변인군, 가족수준 변인군, 또래 및 학교수준 변인군, 지역사회 변인군의 네 가지 변인군으로 나눈 후 그에 따른 세부변인의 효과크기를 분석하였다(<표 3>). 개인수준 변인군에서 세부변인의 효과크기는 부주의 및 과잉행동 외현화 문제행동 0.645, 섭식문제 0.480, 충동 0.423, 부정적 인지 0.409, 부정적 정서 0.381, 부정적 기질 0.379, 스트레스 0.360, 분노 0.357, 불안 0.328, 인터넷중독 0.294 순으로 나타났다.

가족수준 변인군에서 세부변인의 효과크기는 부정적 양육태도 0.259, 가족갈등 0.247, 가정폭력 0.190, 가정환경 0.145 순으로 나타났다. 또래 및 학교수준 변인군에서 세부변인의 효과크기는 부정적 대인관계 0.498, 진로문제 0.449, 학업문제 0.449, 부정적 또래관계 0.309, 비행친구 0.211, 또래 괴롭힘 0.188 순으로 나타났다. 지역사회 변인군에서는 사회무질서의 효과크기가 0.091로 나타났으나 신뢰구간이 0을 포함하고 있어 효과크기가 유의하지 않았다. 상관관계 효과크기가 0.4를 상회하는 변인은 대인관계, 외현화 문제행동, 부정적 인지, 섭식문제, 진로문제, 충동, 학업문제인 것으로 나타났다.

<표 3>

내재화 위험요인의 세부변인에 따른 효과크기

3. 조절변인에 따른 내재화 위험요인의 효과크기

전술한 바와 같이 내재화 위험요인의 전체 효과크기는 부적 상관을 보였고, .306으로 나타났다. 이는 중간 정도의 크기라고 할 수 있다(Cohen, 1988). 또한 개별연구간 효과크기의 이질성 지수 I² 값이 98.393으로서 상당히 효과크기는 이질하다고 할 수 있다. 이는 연구들간에 이질성이 존재하며 이러한 이질성에 대한 원인을 분석하기 위해 추가적인 분석이 필요함을 시시하는 것이다. 따라서 본 연구에서는 개별 연구간 이질성의 원인을 분석하기 위해 연구특성에 따른 효과크기를 검증하였다. 내재화 문제의 세부 유형, 성별, 출판연도를 연구특성 변수로 설정하여 조절효과분석을 실시하였다.

첫째, 내재화 문제의 세부유형에 따른 효과크기를 분석하였다. 내재화 문제를 사회불안, 신체화, 우울불안, 위축 등 세부유형에 따른 집단 간 이질성을 살펴본 결과, Q(6)=19.229 (p<0.05)로 나타나 집단 간 평균효과 크기의 차이가 통계적으로 유의하였다. <표 4>와 같이, 내재화 문제의 세부유형에 따른 분석 결과 가장 상관관계 효과크기가 높은 변인은 사회불안인 것으로 나타났으며 효과크기는 0.481로 나타났다. 다음으로 자살생각의 경우 0.384의 효과크기가 나타났다. 우울불안의 경우 상관관계 효과크기가 0.346으로 나타났으며 우울의 경우도 0.332의 상관관계 효과크기가 나타나 비교적 높은 수준의 효과크기가 나타났다. 또한 내재화 세부유형에 따른 효과크기는 모두 유의미한 것으로 나타났다.

<표 4>

내재화 변인의 유형에 따른 효과크기

두 번째로 성별에 따른 효과크기를 분석하였다. <표 5>에 제시된 바와 같이, 내재화 문제와 위험요인의 상관관계 메타분석 결과, 남자의 상관관계 효과크기는 0.356, 여자의 상관관계 효과크기는 0.273으로 산출되어 남자가 여자보다 상관관계 효과크기가 더 컸다. 성별에 따른 효과크기의 집단 간 이질성을 살펴본 결과, Q(2)=2.788(p>0.05)로 집단 간 평균효과 크기의 차이가 유의미하지 않은 것으로 나타났다.

<표 5>

성별에 따른 효과크기

다음으로 연속형 조절변수인 연구물의 출판연도가 내재화 문제와 위험요인 간 효과크기에 어떠한 영향을 미치는지 분석하여 <그림 2>와 <표 6>에 제시하였다.

<그림 2>

출판년도에 따른 내재화 문제 위험요인 효과크기

분석결과 회귀선의 기울기 계수는 0.00232였으며, 하한선은 0.00059, 상한선은 0.00405으로 기울기 계수는 통계적으로 유의하였다(p<.05). 따라서 출판연도가 최근인 연구물의 효과크기가 다소 커지는 경향이 있었는데, 이는 최근 연구물일수록 내재화 문제와 위험요인간의 관련성이 더 크다는 것을 의미한다.

<표 6>

출판연도가 효과크기에 미치는 영향

개별 연구물들의 전체적인 분포를 통해 출판편향 여부를 보기 위하여 X축을 효과크기로 하고 Y축을 표준오차로 하는 funnel plot을 살펴보았다. <그림 3>에서 보는 바와 같이 중심을 기준으로 비교적 좌우대칭을 이루고 있으므로 출판편향이 없다고 할 수 있다. 순위 상관을 활용하여 표본오차와 효과크기의 관계를 분석한 결과 Kendall의 tau값은 0.073, p-value는 0.429로 유의한 상관관계가 존재하지 않았다(Begg & Mazumdar, 1994). 따라서 본 연구의 분석대상 연구물들이 출판편향이 존재하지 않음을 예측할 수 있다. 아울러 Duvall과 Tweedie(2000)의 trim & fill 방법을 통하여 분석한 결과 관측값이 0.306으로 산출되었으며 보정값 또한 0.306으로 산출되어 관측값과 보정값이 동일하므로 보정할 연구물이 없는 것으로 나타났다. 그러므로 출판편향이 존재하지 않는다고 할 수 있다.

<그림 3>

내재화 문제 위험요인의 효과크기에 대한 funnel plot

Ⅳ. 논의 및 결론

청소년의 내재화 문제가 심각해짐에 따라 내재화 문제의 이해와 대책마련을 위해 다양한 연구들이 수행되어 오고 있다. 방대한 연구물이 축적되고 있는 이 시점에서 상이한 연구결과들에 대한 종합적 결론을 내릴 필요가 있다. 본 연구는 이러한 필요성에 따라 2001년부터 2015년 사이에 우리나라에서 수행된 청소년의 내재화 문제에 영향을 미치는 위험요인에 관한 연구를 대상으로 내재화 문제에 영향을 미치는 위험요인의 효과크기를 파악하는 것을 목적으로 수행되었다. 선행연구 검토를 통해 청소년의 내재화 문제의 발생을 감소시키는 보호요인을 개인수준 요인, 가족수준 요인, 또래 및 학교수준 요인, 지역사회수준 요인으로 나누어 분석하였으며, 연구결과별로 결과를 요약하고 논의하면 다음과 같다.

첫 번째 연구문제인‘청소년 내재화 문제에 영향을 미치는 위험요인의 평균 효과크기는 어떠한가?’에 답하기 위해 개별연구들의 효과크기에 대한 동질성 검정을 먼저 실시하였다. 개별연구들이 이질하다는 분석결과에 따라 무선효과모형을 적용하여 전체 효과크기를 산출하였다. 청소년의 내재화 문제에 영향을 미치는 위험요인의 전체 상관효과크기는 .306로 나타 났으며, 중간 수준의 효과크기를 보였다. 이는 중학생을 대상으로 우울관련 위험요인 메타분석을 실시한 제미영‧신인수‧최지은(2012)의 연구에서 우울 위험변인의 상관계수 효과크기가 .281로 중간크기로 나타난 결과와 비슷하다.

두 번째 연구문제는‘청소년 내재화 문제에 영향을 미치는 위험요인을 개인, 가족, 또래 및 학교, 지역사회 수준으로 구분했을 때 각 수준별 효과크기는 어떠한가?’이다. 위험요인을 개인, 가족, 또래 및 학교, 지역사회 수준으로 구분하여 각 수준별 효과크기를 산출하였다.

네 가지 수준별로 효과크기가 상이하게 나타났는데 개인수준 변인군의 효과크기가 가장 컸으며, 그 다음으로 또래 및 학교수준, 가족수준, 지역사회수준의 순서로 나타났다. 이는 개인수준 변인군의 효과크기가 가장 크게 나타났는데 이는 청소년 내재화 문제에 개인수준 변인들이 상대적으로 영향을 많이 미친다는 것을 의미하는 것이다. 또한 청소년을 둘러싼 다양한 요인들이 청소년의 내재화 문제 발달 및 유지에 영향을 미친다는 것으로서 내재화 문제의 예방을 위해서는 다양한 체계에 개입해야 할 필요성을 다시 한 번 강조하는 것이다. 또한 생태체계관점의 다중인과성 개념으로 볼 때, 한 체계에 대한 개입이 용이하지 않을 때, 다른 체계에 개입함으로써 긍정적 변화를 일으킬 수 있다(박현선‧이상균, 2008)는 점에서 유연하고 융통성 있는 접근이 가능함을 시사 하는 것이다.

개인수준 요인에서 세부변인별 효과크기를 보면 부주의 및 과잉행동 등의 외현화 문제행동 변인은 가장 큰 효과크기를 보였다. 이는 내재화 문제와 외현화 문제가 관련이 매우 크다는 것을 의미하는 것이다. 내재화 문제와 외현화 문제의 공존 발달에 관한 연구들은 내재화 문제와 외현화 문제는 서로 영향을 미치는 양방향의 관계가 있어 비행이나 공격성이 높은 아동의 경우 우울이나 불안과 같은 내재화 문제도 있을 가능성이 크며(Gilliom & Shaw, 2001), 한 영역의 문제는 다른 영역의 문제에 유의한 영향을 미침을 보고한다(이봉주‧민원홍, 2015; 이주리, 2010: 최정아, 2010). 따라서 내재화 문제에 대한 접근에 있어 외현화 문제를 함께 고려해야 하며, 청소년에 대한 내재화 문제를 효과적으로 예방하고 치료하기 위해서는 내재화 문제뿐만 아니라 외현화 문제까지도 포함한 통합적 접근이 이루어져야 할 것이다.

또한 부정적 인지도 중간 정도의 효과크기를 가졌는데(0.409), 이는 부정적 인지를 포함하는 인지적 왜곡은 우울과 같은 내재화 문제의 예측 요인으로 보고되는 선행연구의 결과와도 일치하였다(하은혜‧송동호, 2005). 중학생의 우울 위험요인 메타분석을 실시한 제미영 외(2012)의 연구에서도 부정적 자동 사고는 효과크기가 0.531로 나타나 본 연구의 결과와 유사하였다. 청소년의 정신병리 관련 연구에서 인지요인의 중요성이 강조되면서 인지내용에 관한 연구가 증가하고 있는데, 특히 우울과 같은 내재화 문제는 상실이나 실패, 손상과 관련된 사고내용과 높은 상관이 있으며, 불안장애의 경우에도 위협이나 불확실성과 같은 사고내용과 관련되는 것으로 나타나고 있다(Ambrose & Rholes, 1993; 하은혜, 2006 재인용). 이와 같이 우울과 불안 등을 포함하는 내재화 문제는 부정적 사고 등의 인지왜곡이 영향을 많이 미치므로 내재화 문제에 대한 개입에 있어 인지치료 시행은 매우 적절하며, 이러한 본 연구의 결과는 증거기반 실천의 근거가 될 수 있다.

가족수준요인에서는 부정적 양육태도와 가족갈등의 효과크기가 가장 크게 나타났다.

청소년기에는 또래집단의 영향력이 커진다고는 하지만 여전히 가족은 청소년에게 중요한 일차적 준거집단이 됨을 본 연구 결과는 지지하고 있다. 특히 부모의 부정적 양육태도나 성원간 갈등 같은 부정적 요소는 청소년의 내재화 문제를 위협하는 요인이 되고 있음을 알 수 있다. 또래 및 학교수준에서 세부 변인별 효과크기는 부정적 대인관계, 진로문제 학업문제, 부정적 또래관계, 비행친구, 또래 괴롭힘 순으로 나타났다. 중학생의 우울관련 위험요인 메타분석 연구에서도 교우관계 스트레스의 효과크기는 중간수준으로 나타났으며(제미영‧신인수‧최지은, 2012), 청소년의 자살생각 위험요인에 관한 메타분석 연구에서도 따돌림은 자살사고와 정적 관계가 있었고 중간수준의 효과크기를 보였다(홍세희‧정송‧노언경, 2012). 청소년기는 애착의 대상이 부모에서 또래로 전환되는 시기이니 만큼 또래와 정서적이고 안정적인 애착관계를 맺는 것은 청소년의 발달에 중요한 영향을 미친다. 최정아(2012)등의 연구에서도 불안정한 또래 애착관계는 우울을 비롯한 다양한 심리사회적 부적응을 일으켰으며, 많은 선행연구에서도 또래로부터 따돌림을 당한 경우 우울 수준이 높아지는 것으로 나타났다(김원정, 2004, 김재은, 2007; 이지언‧정익중, 2013). 본 연구는 이와 같은 연구결과와 일맥상통하는 것으로서 청소년기 또래관계를 비롯한 긍정적 대인관계 형성의 중요성을 뒷받침한다고 할 수 있다.

지역사회 수준에서는 사회무질서의 효과크기가 0.091로 나타났으나 효과크기 수가 한 개이며 신뢰구간이 0을 포함하고 있지 않아 효과크기가 유의하지 않았다. 청소년의 발달에는 청소년 자신의 특성 뿐 아니라 가족, 학교, 또래, 지역사회 등 다양한 체계가 영향을 미친다고 알려져 왔고 이의 중요성에 대해 강조되고 있지만 본 연구를 통해 확인된 바에 의하면 청소년의 내재화 문제에 영향을 미치는 지역사회수준의 변인관련 연구는 극히 제한적이었다. 중학생과 고등학생을 대상으로 청소년의 우울관련 위험요인을 메타분석한 제미영(2014)의 연구에서는 사회문화적 요인으로 인터넷 사용태도, 게임폭력성 등을 상정했고, 청소년의 자살생각 유발변인의 메타분석을 실시한 문동규‧김영희(2011)의 연구에서도 대중매체문제나 환경문제스트레스를 변인으로 설정했으나 다른 수준 혹은 체계에 대해 상대적으로 효과크기 수는 적었다. 즉, 지역사회 차원의 변인을 분석한 개별 연구가 부족하였는데 이는 청소년의 내재화 문제 관련 변인을 규명하는 대부분의 연구가 개인 및 가족을 중심으로 하는 미시체계 중심으로 편중되었으며, 지역사회와 문화 등 환경적 수준의 요인에 대해서는 제한적으로 다루어졌음을 반증하는 것이다. 인간발달에 개인을 비롯하여 가까운 환경이 많은 영향을 미치지만 환경이 개인에게 미치는 영향, 그리고 개인과 환경 간 상호작용의 영향도 고려되어야 하므로 청소년의 발달에 대한 입체적인 이해를 위해서는 지역사회수준에서 청소년의 발달에 영향을 미치는 보다 다양한 변수들이 규명되어야 할 필요가 있다고 하겠다.

마지막 연구문제는 조절변인에 따른 청소년 내재화 문제 위험변인의 효과크기는 어떠한가?’이다. 내재화 문제 하위 유형, 성별, 출판년도 등 조절변인에 따른 위험변인의 효과크기 차이를 분석한 결과, 내재화 문제의 세부유형에 따른 분석 결과 가장 상관관계 효과크기가 높은 변인은 사회불안, 자살생각, 우울불안 순으로 나타났으며 그 차이는 통계적으로 유의하였다. 내재화 문제의 다양한 증상 중 사회불안의 경우 다른 증상에 비해 위험요인이 미치는 영향이 더 크다는 것을 의미한다. 청소년의 자기조절과 내재화 문제 관계의 메타분석을 실시한 김세경(2016)의 연구에서는 내재화 유형에 따라 집단 간 효과크기의 차이가 유의하지 않은 것으로 나타났지만 본 연구에서는 내재화 유형에 따라 위험요인의 효과크기가 집단 간에 차이가 나타났다. 그러나 본 연구에서 사회불안의 효과크기 수가 2개이기 때문에 추가적인 분석을 통해 내재화 문제 세부유형에 효과크기의 차이가 심층적으로 규명되어야 하며, 내재화 문제 하위 유형별로 위험요인도 구체적이고 세부적으로 규명되어야할 필요가 있다.

성별에 따른 효과크기를 분석한 결과 남자가 여자보다 상관관계 효과크기가 더 큰 것으로 나타났으며, 집단 간 평균효과 크기의 차이가 통계적으로 유의했다. 일반적으로 내재화 문제는 남자보다 여자가 더 취약한데(장휘숙, 2005), 내재화 문제는 남자보다 여자에게서 발생률과 유병률이 높고 문제의 수준도 여자에게 더 높게 나타나며(Nolen-Hoeksema & Girgus, 1994), 시간이 지날수록 내재화 문제의 격차는 더욱 커진다(서미정, 2008; 오영진, 2010). 그러나 본 연구에서 내재화 문제를 발생 가능성을 높이는 위험요인의 효과크기가 여자집단보다는 남자집단에서 상대적에서 더 크게 나타났다. 따라서 성별에 따른 내재화 문제 위험요인의 효과크기에 대한 추후 분석이 이루어져야 할 것이다. 마지막으로 출판연도가 내재화 문제와 위험요인 간 효과크기를 분석한 결과 출판연도가 최근일수록 효과크기가 다소 커졌다.

본 연구는 청소년의 내재화 문제에 효과적인 개입을 위한 함의를 제공하기 위한 목적으로 내재화 문제와 위험요인 간 관련성을 다룬 연구의 효과크기를 청소년의 발달에 영향을 미치는 요인별로 종합하여 결론을 내렸다는 점에서 의의를 갖는다. 또한, 개인요인, 가족 요인, 또래 및 학교요인, 지역 환경 요인 모두 청소년의 내재화 문제의 발생가능성을 높이는 중요한 요인이며 따라서 다양한 수준에서 통합적으로 개입해야 함을 확인하였으며, 마지막으로 효과적이고 실천적인 개입 방안을 모색하는데 필요한 실질적인 자료를 제공함으로써 근거기반실천을 촉진하였다는 의의가 있다.

끝으로 본 연구의 한계 및 후속연구 방향은 다음과 같다. 첫째, 내재화 문제는 아동 및 청소년기 동안 증가하고 이러한 양상은 성인기까지 지속된다. 그러나 본 연구는 연구대상을 중학생과 고등학생으로 중심으로 한정하였기 때문에 후속 연구에서는 초등학생을 포함하여 아동기 내재화 문제 보호요인에 대한 규명으로 확대하여 내재화 문제의 위험요인에 대한 보다 포괄적 연구가 수행되어야 할 것이다. 둘째, 내재화 문제와 외현화 문제는 다른 문제로 분류되어 임상현장과 연구 분야에 활용되고 있지만 발생 기제 및 발달양상에 있어 공통점이 많고 상호영향을 미치며 공존발달 한다는 연구들이 증가하고 있다. 향후 연구에서는 내재화 문제뿐만 아니라 내재화 문제와 외현화 문제 공존 발달에 영향을 미치는 요인에 대한 메타분석이 이루어짐으로써 청소년기 심리사회적 부적응 문제에 대한 종합적이고 통합적인 이해를 도모해야 할 것이다.

Acknowledgments

이 논문은 2014년 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2014S1A5A8018846).

REFERENCES

• 강신애, (2010), 주관적인 학대경험이 청소년의 문제행동에 미치는 영향에서 또래애착의 조절효과, 한신대학교, 석사학위 논문, *.
• 강지현, (2014), 후기 아동기 내재화 및 외현화 문제행동의 발달경로에 미치는 아동의 성별, 지각된 학업성적, 또래, 부모의 영향, 초등상담연구, 13(1), p155-173.
• 강지현, 오경자, (2011), 유아기 내재화 및 외현화 문제행동에 대한 연령, 기질과 양육행동의 영향에 있어서 성차, 한국심리학회지: 여성, 16(1), p1-21.
• 교육부, 보건복지부, 질병관리본부, (2015), 제11차(2015년) 청소년건강행태온라인조사통계, 질병관리본부.
• 구미란, (2008), 청소년기 우울증상의 성차에 대한 부정적 인지의 매개효과, 숙명여자대학교, 석사학위논문, *.
• 권부남, (2009), 가정폭력 경험 청소년의 심리ㆍ사회적 적응정도에 영향을 미치는 요인 : 지역사회의 가정폭력 경험 청소년을 중심으로, 석사학위논문, 충남대학교 행정대학원, *.
• 권정아, (2002), 아내폭력 노출이 청소년의 내재화 및 외현화 문제에 미치는 영향, 연세대학교, 석사학위논문, *.
• 김계수, (2015), 빅데이터 분석과 메타분석, 한나래 아카데미.
• 김광혁, (2006), 빈곤이 아동의 학구적 성취에 영향을 미치는 과정분석, 한국사회복지학, 58(4), p265-289.
• 김명식, (2009), 청소년의 지각된 스트레스와 우울이 학교적응에 미치는 영향, 한국심리치료학회지, 1(2), p53-67.
• 김미애, (2008), 우울이 청소년의 자살생각에 미치는 영향, 연세대학교, 석사학위논문.
• 김미영, 조윤정, 박병금, (2012), 가족, 교사 및 친구관계와 청소년의 문제행동, 학교사회복지, 22, p49-77, *.
• 김민주, (2013), 부모의 양육태도가 청소년의 문제행동에 미치는 영향; 목표불안정성 및 생애목표의 매개효과를 중심으로, 경북대학교, 석사학위논문, *.
• 김민혜, (2013), 어머니의 자아분화 수준에 따른 청소년 자녀의 문제행동에 대한 지각, 가톨릭대학교 상담심리대학원, 석사학위논문, *.
• 김빛나, 박주희, (2013), 청소년의 학업 스트레스가 우울증상에 미치는 영향과 반응양식의 조절효과, 아동학회지, 34(3), p113-128.
• 김성수, (2011), 청소년의 내재화와 외현화 문제행동에 관한 연구, 대구가톨릭대학교, 석사학위논문, *.
• 김세경, (2016), 청소년의 자기조절과 내재화 문제의 관계에 대한 메타분석, 상담학연구, 17(3), p251-274.
• 김세원, (2009), 지역사회특성이 청소년의 심리사회적 적응에 미치는 영향: 3수준 다층성장모형을 적용하여, 한국아동복지학, 28, p101-135.
• 김세원, (2010), 청소년 우울의 이질적 발달궤적 및 예측요인에서의 성별 차이, 한국청소년연구, 21(1), p171-192.
• 김영림, (2015), 청소년의 괴롭힘 참여자 행동과 심리사회적 부적응과의 관계에서 정서지능의 매개효과, 광운대학교, 석사학위논문, *.
• 김원정, (2004), 청소년 개인특성, 부모-자녀관계, 또래관계가 심리사회적 적응에 미치는 영향, 충남대학교, 석사학위논문.
• 김재은, (2007), 중학생의 성별에 따른 또래관계와 또래동조성이 문제행동에 미치는 영향, 계명대학교, 석사학위논문, *.
• 김재철, 최지영, (2010), 청소년의 외현적 공격성 및 내면화된 문제행동의 개인별 변화에 대한 친한 친구 관련 변수의 영향, 한국청소년연구, 21(1), p123-147.
• 김진경, (2008), 아동의 일상적 스트레스에 따른 불안 우울: 매개변인 탐색을 중심으로, 『제5회 한국청소년패널 학술대회 자료집』, p37-59, 한국청소년정책연구원.
• 김태옥, (2011), 청소년의 부모-자녀갈등과 용서, 문제행동과의 관계, 국민대학교 교육대학원, 석사학위논문, *.
• 김형모, 이숙진, 서해정, 최은정, 김은정, 문순희, (2007), 가정폭력 노출 청소년의 내재화 및 외현화 문제에 미치는 영향, 한국청소년연구, 18(1), p53-77, *.
• 남정민, 성현란, 권선영, (2014), 지각된 부모의 심리적 통제와 애정적 양육이 남녀 중학생의 내재화 및 외현화 문제 행동에 미치는 영향, 한국심리학회지: 발달, 27(3), p147-167, *.
• 문동규, & 김영희, (2011), 청소년의 자살생각과 관련된 유발변인의 메타회귀분석, 상담학연구, 12(3), p945-964.
• 문동규, 김영희, (2012), 청소년 자살생각과 관련된 억제변인의 메타회귀분석, 청소년학연구, 19(1), p59-83.
• 문영주, 좌현숙, (2008), 청소년의 학업스트레스와 정신건강에 있어 정서적 조절능력의 조절효과, 사회복지연구, 38(3), p353-379.
• 민자경, & 오경자, (2013), 시설양육 청소년의 양육장소 변경과 문제행동의 관계, 한국심리학회지: 일반, 32(3), p591-607, *.
• 박새와, (2012), 청소년의 문제행동에 영향을 미치는 일상적 스트레스와 자아탄력성, 희망감 및 사회적 지지의 관계, 이화여자 대학교, 석사학위 논문, *.
• 박선영, (2013), 남자 중학생의 정서조절방략 및 자기조절 능력과 행동문제의 관계, 이화여자대학교, 석사학위논문, *.
• 박윤조, 김성현, (2012), 청소년 자녀의 스트레스 대처방식과 부자유친성정이 자녀의 문제행동에 미치는 영향, 한국교육문제연구, 30(3), p1-18, *.
• 박은영, 신은수, (2011), 발달장애 학생의 적응행동에 대한 전환교육 프로그램의 효과: 메타분석, 장애와 고용, 21(2), p59-78.
• 박정훈, (2014), 위험회피기질과 자극추구기질이 청소년의 정신건강에 미치는 영향; 정서조절곤란의 매개효과검증, 연세대학교, 석사학위논문, *.
• 박종효, (2007), 초·중·고등학생의 정신건강 수준과 변화 추이 분석: 내면화와 외현화 문제행동, 제4회 한국청소년패널 학술대회 자료집, p209-230, 한국청소년정책연구원.
• 박지민, (2013), 가족기능이 청소년의 문제행동에 미치는 영향: 소외감과 역기능적 분노의 매개효과, 대구가톨릭대학교 교육대학원, 석사학위논문, *.
• 박지선, (2009), 부정적 정서표현에 대한 아동기경험이 청소년의 정서표현 갈등과 심리적 적응에 미치는 영향, 스트레스연구, 17(4), p425-434, *.
• 박지혜, (2013), 중학생의 일상적 스트레스와 자아탄력성이 청소년기의 문제행동에 미치는 영향, 동국대학교 교육대학원, 석사학위논문, *.
• 박현선, (1998), 빈곤청소년의 학교적응유연성, 서울대학교, 박사학위논문.
• 박현선, 이상균, (2008), 청소년기 비행친구의 영향에 대한 보호요인의 조절효과, 사회복지연구, 37, p399-427.
• 백미영, (2011), 부모의 공감과 청소년의 내재화 및 외현화 문제행동 간의 관계, 계명대학교 교육대학원, 석사학위논문, *.
• 백진옥, 염시창, (2007), 청소년의 자기애 성향과 내재화,외현화 문제의 관계, 교육연구, 30, p65-88, *.
• 서미정, (2008), 초기 청소년의 내재화 행동문제 변화에 대한 성별 및 학업성취감의 영향력 검증: 우울/불안을 중심으로, 한국청소년연구, 19(4), p115-138.
• 설경옥, 백상은, 이선아, 박지은, (2014), 빈곤 청소년의 양육자 변경 빈도와 내재화 및 외현화 문제의 관계에서 부모 및 친구관계의 매개효과, 한국심리학회지: 발달, 27(2), p75-98, *.
• 송화진, (2015), 실존적 영적안녕과 위험요인이 청소년의 문제행동에 미치는 영향 : 자동적 사고, 실행기능의 매개효과, 한양대학교, 박사학위논문, *.
• 신현숙, (2006), 낙관주의, 비관주의, 방어적 비관주의는 입시스트레스와 내재화 문제의 관계를 매개하는가?, 상담학연구, 7(2), p485-503, *.
• 심은정, 홍주현, (2013), 정서인식의 명확성과 청소년의 정신건강: 정서조절곤란의 매개효과, 한국심리학회지: 일반, 32(1), p195-212.
• 안윤송, 장문선, (2014), 남자중학생의 ADHD 증상과 부모양육행동, 자기개념, 내재화 및 외현화 문제행동 간의 관계, 교육치료연구, 6(2), p173-191, *.
• 안윤정, 현진희, (2015), 청소년의 우울 및 가족기능이 학교적응에 미치는 영향: 성별차이를 중심으로, 학교사회복지, 31, p111-135.
• 안지선, 김정남, (2013), 비행 청소년을 대상으로 한 집단상담 프로그램의 효과에 대한 메타분석, 청소년학연구, 20(8), p147-174.
• 오경자, (1991), 아동·청소년 문제행동의 분류 및 진단, 한국아동학회 추계워크샵 자료집, p5-20, 한국아동학회.
• 오미정, (2015), 한부모 가정과 일반 가정의 부모-자녀 의사소통과 청소년 문제행동의 관계, 아주대학교, 석사학위논문, *.
• 오성삼, (1995), 메타분석에 대한 고찰, 교육논총, 25, p33-62.
• 오성삼, (2002), 메타분석의 이론과 실제, 건국대학교 출판부.
• 오승환, (2009), 고등학생의 자살생각에 대한 스트레스의 영향: 우울, 자아존중감, 생활만족도의 매개효과분석, 학교사회복지, 16, p52-73.
• 오영경, 이형실, (2010), 청소년의 문제행동에 영향을 미치는 요인, 한국가정과교육학회지, 22(4), p51-64, *.
• 오영진, (2010), 청소년기 내면화 및 외현화 문제행동의 발달궤적 변화와 유형화 예측변인, 충북대학교, 박사학위논문.
• 유창민, 강상경, 김성용, (2014), 청소년기 학업스트레스가 내재화, 외현화에 미치는 영향: 자기효능감의 매개역할과 성별차이, 사회복지연구, 45(3), p237-262, *.
• 유혜경, (2011), 여자청소년의 스트레스와 내면화 문제에서 성역할고정관념의 매개효과, 미래청소년학회지, 8(1), p67-85, *.
• 윤명숙, 조혜정, 이현희, (2009), 청소년의 학업스트레스 및 또래애착이 우울에 미치는 영향: 인터넷 사용과 음주행위의 매개효과를 중심으로, 사회과학연구, 25(2), p131-156.
• 윤혜미, 박병금, (2005), 청소년의 내재화 및 외현화 문제행동 관련요인 - 생태체계적 관점을 중심으로, 사회복지연구, 28(3), p133-164.
• 이경숙, 김정호, (2000), 학업 스트레스 대처훈련이 고등학생의 학업스트레스와 학업성취에 미치는 효과, 한국심리학회지: 임상, 5(1), p43-59.
• 이근영, 최수찬, 공정석, (2011), 부모-자녀간 역기능적 의사소통과 학업 스트레스가 청소년의 자살생각에 미치는 영향: 우울감의 매개효과와 성별 차이를 중심으로, 청소년학연구, 18(5), p83-107.
• 이미지, (2015), 청소년의 문제행동과 상담에 대한 신념의 관계 : 부정적 평가에 대한 두려움의 조절효과, 서강대학교, 석사학위논문, *.
• 이봉주, 민원홍, (2015), 아동·청소년기 내재화 문제와 외현화 문제 간의 종단적 인과관계, 청소년학연구, 22(8), p335-361.
• 이선아, (2013), 가정환경 불안정성과 청소년 부적응 문제와의 관계: 양육자변경 및 거주지 이전 경험을 중심으로, 이화여자대학교 교육대학원, 석사학위논문, *.
• 이소희, (2001), 청소년의 애착 상태와 문제행동과의 관계 : 내재화 및 외현화 문제 행동을 중심으로, 한양대학교, 석사학위논문, *.
• 이숙자, (2014), 부부갈등, 부모자녀갈등이 청소년의 문제행동에 미치는 영향, 동신대학교, 석사학위논문, *.
• 이은주, (2010), 내재화 행동문제와 외현화 행동문제의 종단적 공동발달: 잠재성장모델의 적용, 한국청소년연구, 21(4), p171-200.
• 이응택, (2011), 청소년이 지각한 부모 양육태도가 청소년 문제행동에 미치는 영향, 명지대학교, 석사학위논문, *.
• 이인순, (2005), 가정폭력경험이 청소년의 정서적 문제에 미치는 영향에 관한 연구, 경남대학교, 석사학위논문, *.
• 이주리, (2008), 청소년의 내면화와 외현화 문제행동의 발달궤적: 잠재성장모형을 중심으로, 한국가정관리학회지, 26(5), p51-60.
• 이주영, 오경자, (2011), 자기회귀 교차지연 모형을 적용한 청소년기 우울과 비행의 시간적 발달관계 검증: 성별간 다집단 분석, 한국심리학회지: 임상, 30(2), p497-518.
• 이지언, 정익중, (2013), 따돌림 피해경험이 우울과 자살생각에 미치는 영향: 성별차이를 중심으로, 학교사회복지, 24, p219-239.
• 이찬숙, 김경윤, (2008), 유아의 내재화・외현화 문제행동 관련변인 분석, 미래유아교육학회지, 15(2), p162-184.
• 이해경, (2013), 비행 청소년들의 내재화 외현화 문제에 미치는 생활부적응문제들의 영향력과 성차, 청소년복지연구, 15(3), p295-319, *.
• 임미옥, 송민경, 김청송, (2012), 청소년의 분노표현방식과 심리적 부적응에 대한 사회적 지지의 중재모형 연구, 청소년학연구, 19(4), p247-270, *.
• 임성택, 김진호, 정의석, (2011), 청소년의 생활스트레스와 우울의 관계에 대한 완벽성향의 조절효과, 청소년복지연구, 13(3), p243-260.
• 임정하, 이유정, 강현지, 이상미, (2014), 청소년의 정서인식 부족 및 정서조절 전략과 내재화 문제간의 관계, 인간발달연구, 21(2), p179-199, *.
• 임진현, 이훈진, (2006), 우울·품행장애성향 청소년의 정서인식 및 정서조절, 한국심리학회지: 임상, 25(4), p1141-1151.
• 장덕호, 신인수, (2011), 교육학 연구방법으로서 메타분석의 발전과정 고찰, 교육과정평가연구, 14(3), p309-332.
• 장혜인, (2014), 남녀 초기 청소년의 부모-자녀 간 갈등과 갈등해결능력이 문제행동에 미치는 영향, 연세대학교, 석사학위논문, *.
• 장휘숙, (2005), 발달정신병리, (제2판), 서울, 창지사.
• 정다혜, (2014), 초기 부적응도식과 문제해결능력이 청소년의 문제행동에 미치는 영향, 대구대학교, 석사학위논문, *.
• 정연옥, (2007), 이혼가정자녀의 부모자녀관계가 심리적 적응에 미치는 영향, 아주대학교, 박사학위논문, *.
• 제미영, 신인수, 최지은, (2012), 중학생 우울관련 변인에 관한 메타분석, 청소년상담연구, 20(2), p361-385.
• 제미영, (2014), 청소년 우울관련 변인에 관한 메타분석, 전주대학교 대학원.
• 조미정, 김민주, (2014), 청소년 내재화/외현화 문제행동에 미치는 영향요인에 관한 성별 차이분석: 부모의 부부갈등과 부모애착을 중심으로, 비판사회정책, 45, p267-303, *.
• 조인숙, 채철균, (2016), 대도시 청소년의 자살생각과 영향요인에 관한 연구: 청소년 정신건강 관련 시설을 중심으로, 청소년시설환경, 14(2), p45-55.
• 조정아, (2009), 선형모형을 적용한 청소년의 우울 변화에 관한 종단연구: 변화경향과 개인차에 대한 성별・부모・또래・교사 요인 검증, 한국청소년연구, 20(3), p167-192.
• 조혜정, 황성동, (2016), 한국 학교기반 청소년 음주예방 프로그램의 효과에 관한 메타분석, 청소년학연구, 23(3), p523-547.
• 조흥식, 김혜래, 신은주, 우국희, 오승환, 성정현, 이지수, (2010), 인간행동과 사회환경, 학지사.
• 좌현숙, (2010), 청소년 내재화 문제의 발달궤적에 영향을 미치는 위험요인과 보호요인: 발달-맥락주의 관점을 적용하여, 청소년학연구, 17(10), p105-133.
• 좌현숙, 변귀연, (2010), 아동기에서 청소년기로의 전환과정에서 내재화 문제의 변화양상과 예측요인, 학교사회복지, 19, p113-150.
• 진혜민, 배성우, (2016), 청소년 자살생각에 관한 메타경로분석-스트레스 과정모델을 중심으로, 청소년복지연구, 18(2), p85-113.
• 최정아, (2010), 초기 청소년기 비행과 우울의 상호 인과관계: 자기회귀 교차지연 모형을 통한 검증, 한국청소년연구, 21(4), p143-169.
• 최정아, (2012), 청소년 내재화 및 외현화 문제에 대한 잠재프로파일 분석 및 개인, 부모, 또래 영향요인 검증, 한국가족치료학회지, 20(3), p413-455.
• 하선애, (2007), 부모와 청소년 자녀의 성격의 차이와 문제행동 간의 관계, 경남대학교 교육대학원, 석사학위논문, *.
• 하승수, (2012), 청소년의 성격강점과 기질이 정신건강에 미치는 영향, 서울대학교, 박사학위논문, *.
• 하은혜, (2006), 청소년기 부정적 자동적 사고의 내용특수성 검증: 내재화 장애와 외현화 장애를 변별하는가?, 한국심리학회지: 임상, 25(2), p429-447, *.
• 하은혜, 송동호, (2005), 청소년기 부정적 자동적 사고가 우울증상에 미치는 영향, 신경정신의학, 44(1), p89-97.
• 하지연, 신성만, (2016), 청소년 인터넷중독 집단상담 프로그램 효과에 관한 메타분석, 한국심리학회지: 일반, 35(1), p191-216.
• 하채리, (2015), 청소년이 지각한 스트레스와 문제행동의 관계에서 스트레스 대처방식의 조절효과, 숙명여자대학교 사회교육대학원, 석사학위논문, *.
• 하태정, (2012), 빈곤이 지역사회환경 부모 우울을 통해 청소년의 심리사회적 적응에 미치는 영향, 숙명여자대학교, 석사학위논문, *.
• 하태정, 강현아, (2012), 가족빈곤이 청소년의 심리사회적 적응에 미치는 영향-지역사회 환경과 부모 우울의 매개효과를 중심으로, 한국아동복지학, 40, p139-166.
• 한연희, (2009), 청소년의 불안정 애착과 문제행동: 접촉경계혼란과 문제해결양식의 매개효과, 경남대학교 교육대학원, 석사학위논문, *.
• 허경은, (2014), 청소년이 지각한 부모의 갈등이 청소년의 내재화 및 외현화 문제행동에 미치는 영향-자기조절능력의 매개효과 검증, 성균관대학교, 석사학위논문, *.
• 홍나미, (2012), 청소년 자살생각에 대한 부모학대와 또래괴롭힘의 영향에서 대인관계내재화와 절망감의 매개효과, 한국사회복지학, 64(1), p151-175, *.
• 홍세희, 정성, 노언경, (2016), 청소년의 자살생각과 위험요인에 대한 메타분석, 청소년학연구, 23(5), p153-179.
• 황성동, (2014), 알기 쉬운 메타분석의 이해, 학지사.
• 황혜원, (2007), 청소년의 내재화 및 외현화 문제행동 관련 요인, 한국사회과학연구, 29(1), p1-16, *.
• Achenbach, T. M., Edelbrock, S. C., (1978), The classification of child psychology. A review and analysis of empirical efforts, Psychological Bulletin, 85, p1275-1301. [https://doi.org/10.1037/0033-2909.85.6.1275]
• Achenbach, T. M., & McConaughy, S. H., (1996), Relations between DSM-Ⅳ and empirically based assessment, School Psychology Review, 25(3), p329-342.
• Ambors, E., & Rholes, W. S., (1993), Automatic cognitions and the symptoms of depression and anxiety in children and adolescents: An examination of the content specificity hypothesis, Cognitive Therapy and Research, 17-, p289-307. [https://doi.org/10.1007/BF01172963]
• Barber, B. K., (1996), Parental psychological and behavioral control: Revisiting a neglected construct, Child Development, 67(6), p3296-3319. [https://doi.org/10.2307/1131780]
• Begg, C. B., & Mazumdar, M., (1994), Operating characteristics of a rank correlation test for publication bias, Biometrics, 50, p1088-1101. [https://doi.org/10.2307/2533446]
• Beyers, J. M., Bates, J. E., Petit, G. S., & Dodge, K. A., (2003), Neighborhood structure, parenting processes, and the developmental of youths’ externalizing behaviors: A multilevel analysis, American Journal of Community Psychology, 31, p35-53. [https://doi.org/10.1023/A:1023018502759]
• Bolme-Lake, T. L., (2007), Predicting internalizing problems in at-risk children and adolescents, Doctoral dissertation, Capella University.
• Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R., (2009), Introduction to meta-analysis, West Sussex, UK, John Wiley & Sons. [https://doi.org/10.1002/9780470743386]
• Caron, C., & Rutter, M., (1991), Comorbidity in child psychopathology: concepts, issues and research strategies, Journal of Child Psychology and Psychiatry, 32, p1063-1080. [https://doi.org/10.1111/j.1469-7610.1991.tb00350.x]
• Cole, D. A., Nolen-Hoeksema, S., Girus, J., & Paul, G., (2006), Stress exposure and stress generation in child and adolescent depression: A latent trait-state-error approach to longitudinal analysis, Journal of Abnormal Psychology, 115(1), p40-51. [https://doi.org/10.1037/0021-843X.115.1.40]
• Compas, B. E., Hinden, B. R., & Gerhardt, C. A., (1995), Adolescent development: pathways and processes of risk and resilience, Annual Review Psychology, 46, p265-293. [https://doi.org/10.1146/annurev.ps.46.020195.001405]
• Connolly, N. P., Eberhart, N. K., Hammen, C. L., & Brennan, P. A., (2010), Specificity of stress generation: A comparison of adolescents with depressive anxiety, and comorbid diagnosis, Internal Journal of Cognitive Therapy, 3(4), p368-379. [https://doi.org/10.1521/ijct.2010.3.4.368]
• Cooper, H., (2010), Research Synthesis and Meta-Analysis: A Step-by-Step Approach, (4th edition), Thousand Oaks, CA, Sage Publications.
• Creed, P. A., Patton, W., & Batrum, D., (2002), Multidimensional properties of the LOT-R: effects of optimism and pessimism on career and well-bing related variables in adolescents, Journal of Career Assessment, 10(1), p42-61. [https://doi.org/10.1177/1069072702010001003]
• Davies, P. T., Cummings, E. M., (1994), Marital Conflict and Child Adjustment: An Emotional Security Hypothesis, Psychological Bulletin, 116(3), p387-412. [https://doi.org/10.1037/0033-2909.116.3.387]
• de Wolff, M. S., Vogels, A. G. C., & Reijneveld, S. A., (2014), The empirical versus DSM-orientaed approach of the child behavior checklist: similarities and dissimilarities, European Journal of Psychological Assessment, 30(1), p22-30. [https://doi.org/10.1027/1015-5759/a000164]
• Duvall, S. J., & Tweedie, R. L., (2000), Trim and fill: A simple funnel-plot-based method of testing and adjusting for publication bias in meta-analysis,  Biometrics, 56(2), p455-463. [https://doi.org/10.1111/j.0006-341X.2000.00455.x]
• Fischer, J., (1990), Problems and issues in meta-analysis, p297-32, In Lynn Videka-Sherman, & William J. Reid (eds.), Advances in Clinical Social Work Research, Silver Spring, MD, NASW Press.
• Galss, G. V., (1976), Primary, secondary and meta-analysis of research, Educational Researcher, 10, p3-8. [https://doi.org/10.3102/0013189X005010003]
• Gilliom, M., Shaw, D. S., (2004), Codevelopment of externalizing and internalizing problems in early childhood, Development and Psychopathology, 16(2), p313-333. [https://doi.org/10.1017/S0954579404044530]
• Goodvin, R., Meyer, S., Thompson, R. A., & Hayes, R., (2008), Self-understanding in early childhood: Associations with attachment security, maternal perceptions of the child, and maternal emotional risk, Attachment & Human Development, 10(4), p433-450. [https://doi.org/10.1080/14616730802461466]
• Havighurst, R. J., (1972), Developmental Tasks and Education, NY, David McKay.
• Higgins, J. P. T., & Green, S. Ed., (2008), Cochrane handbook for systematic reviews of interventions, Chichester, West Sussex, John Wiley & Sons, Ltd. [https://doi.org/10.1002/9780470712184]
• Houston, K., & Hawton, R. S., (2001), Suicide in young people aged 15-24: A psychological autopsy study, Journal of Affective Disorders, 63, p159-170. [https://doi.org/10.1016/S0165-0327(00)00175-0]
• Ingoldsby, E. M., & Shaw, D. S., (2002), Neighborhood contextual factors on early-starting antisocial pathways, Clinical Child and Family Psychology Review, 5, p21-55. [https://doi.org/10.1023/A:1014521724498]
• Kashani, J. H., & Sherman, D. D., (1988), Childhood depression: Epidemiology, etiological models, and treatment implications, Integrative Psychiatry, 6(1), p1-21.
• Kobak, R. R., Sudler, N., & Gamble, W., (1991), Attachment and depressive symptoms during adolescence: A developmental pathways analysis, Development and Psychopathology, 3, p461-474. [https://doi.org/10.1017/S095457940000763X]
• Lansford, J. E., Malone, P. S., Pettit, G. S., Castellino, D. R., & Dodge, A. K., (2006), Trajectories of Internalizing, Externalizing and Grades for Children Who Have and Have Not Experineced Their Parents' Divorce or Separation, Journal of Mamily Psychology, 20(2), p292-301.
• Lerner, R. M., & Kauffman, M. B., (1985), The concept of development in contextualism, Developmental Review, 5, p309-333. [https://doi.org/10.1016/0273-2297(85)90016-4]
• Lilienfeld, S. O., (2003), Comorbidity between and within childhood externalizing and internalizing disorders: Reflections and directions, Journal of Abnormal Child Psychology, 31, p285-291. [https://doi.org/10.1023/A:1023229529866]
• Masten, A. S., (2001), Ordinary Magic: Resilience processes in development, American Psychologist, 56(3), p227-238. [https://doi.org/10.1037/0003-066X.56.3.227]
• Medley, A., & Sachs-Ericsson, N., (2009), Predictors of parental physical abuse: the contribution of internalizing and externalizing disorders and childhood experience of abuse, Journal of Affective Disorders, 113, p244-254. [https://doi.org/10.1016/j.jad.2008.05.020]
• Moher, D., Liberati, A., Tetzlaff, Alman, D., (2009), Methods of systematic reviews and meta-analysis preffered reporting items for systematic reviews and meta-analyses: the PRISMA statement, Journal of Clinical Epidemiology, 62(10), p1006-1012. [https://doi.org/10.1016/j.jclinepi.2009.06.005]
• Nolen-Hoeksema, S., & Girgus, J, S., (1994), The emerge of gender differences in depression during adolescence, Psychological Bulletin, 115(3), p424-443. [https://doi.org/10.1037/0033-2909.115.3.424]
• Rubin, A., Babbie, E. R., (2008), Research Methods for Social Work, 6th, CENGAGE Learning, 김기덕, 김용석, 유태균, 이기영, 이선우, 정슬기 옮김, 사회복지조사방법론, CENGAGE Learning.
• Sterba, S. K., Prinstein, M. J., & Cox, M. J., (2007), Trajectories of internalizing problems across childhood: Heterogeneity, external validigy, and gender differences.”, Development and Psychopathology, 19, p345-366. [https://doi.org/10.1017/S0954579407070174]
• Undlheim, A. M., & Sund, A. M., (2005), School factors and the emergence of depressive symptoms among young Norwegian adolescents, European Child and Adolescence Psychiatry, 14, p446-453. [https://doi.org/10.1007/s00787-005-0496-1]