개념도 방법론을 활용한 SW·AI 교육 프로그램 효과성에 대한 청소년의 인식
초록
본 연구는 한국창의과학재단에서 주관한 2022년 동계 디지털새싹 캠프의 SW·AI 교육 프로그램에 참여한 청소년들이 인식하는 효과를 개념도 방법론을 적용하여 탐색하는 것을 목적으로 하였다. 발달단계에 따른 교육 효과 차이를 고려하여 학교급을 구분하여 모집하였으며, 그 결과 중학생 23명, 고등학생 1-2학년 16명, 예비대학생 21명이 본 연구에 참여하였다. 연구 결과에 따르면, 중학생들이 인식한 주요 효과는 ‘협업활동의 경험’, ‘신기술에 대한 이해 및 새로운 적용 가능성의 발견’, ‘도전 경험을 통한 성취감’, ‘SW·AI 관심의 심화’ , ‘체험을 통한 SW·AI 원리의 이해’였으며, 고등학교 1-2학년 학생들은 ‘SW·AI 교육 프로그램 구성에 대한 만족’, ‘상호작용을 통한 학습’, ‘긍정적 자기평가 향상’, ‘진로 탐색’, ‘흥미 및 성취감’, ‘SW·AI 교육 프로그램에 대한 이해 및 친근감’, ‘지식의 확장과 적용에 대한 의지’를 주요 효과로 인식하였다. 예비대학생(고등학교 3학년 학생들)의 경우, ‘SW·AI 교육 프로그램 구성에 대한 만족’, ‘예비 대학생활 적응’, ‘SW·AI 프로그램에 대한 지식과 기술의 향상, ‘상호작용을 통한 학습’, ‘성취 경험을 통한 관심의 심화’를 효과로 보고하였다. 본 연구 결과는 SW·AI 교육 프로그램의 효과가 다양한 영역에 걸쳐 나타나며, 특히 발달단계에 따라 공통적인 효과와 특수한 효과가 공존하고 있음을 시사한다.
Abstract
The purpose of this study is to explore the effects perceived by teenagers who participated in the SW·AI education programs of the 2022 Winter ‘Digital Saessak Camp’ hosted by the Korea Foundation for the Advancement of Science & Creativity by using a concept-mapping approach. Participants were recruited by different developmental stages. As a result, 23 junior high school students, 16 1st- and 2nd-year high school students, and 21 pre-college students (3rd-year high school students who were admitted to a university) participated in this current study. The results are as follows; The major outcomes reported by junior high school students were ‘experience of collaborative activities,’ ‘understanding of new technologies and discovering new applications,’ ‘sense of accomplishment through challenging experiences,’ ‘deepening of interest in SW·AI,’ and ‘understanding of SW·AI principles through experience’ while high school freshmen and sophomores perceived ‘satisfaction with the organization of the SW·AI education program,’ ‘learning through interaction,’ ‘enhanced positive self-evaluation,’ ‘career exploration,’ ‘interest and achievement,’ ‘understanding and familiarity with the SW·AI education program,’ and ‘willingness to expand and apply knowledge’ as important outcomes. Pre-college students reported ‘satisfaction with the organization of the SW·AI training program,’ ‘adjustment to pre-college life,’ ‘improvement in knowledge and skills in the SW·AI program,’ ‘ learning through interaction,’ and ‘deepening of interest through achievement experiences’ as significant ones. The findings of this study indicate that SW and AI education programs are effective across a wide range of domains, and common and special effects coexist across the developmental stages.
Keywords:
Adolescents, Software, Artificial Intelligence, Effectiveness, Concept mapping method키워드:
청소년, 소프트웨어, 인공지능, 프로그램, 효과성, 개념도 연구Ⅰ. 서 론
코로나19를 기점으로 세계는 급격한 4차 산업혁명 시대를 맞이했다. 국내에서도 매장에서 CCTV까지 AI가 접목되어있고, 개인들도 앱을 통해서 인증을 하는 등 소프트웨어(이하 SW)와 인공지능(이하 AI)은 일상의 모든 분야에서 활약하고 있다 해도 과언이 아니다. 이처럼 무서운 속도로 발전한 SW와 AI는 우리 일상생활에서 협업하고 공존해야 하는 존재가 되어(손원성, 2020), 전 연령을 아울러 새로운 기술과 문화를 받아들이고 익혀나가는 것이 변화하는 시대에 발맞추기 위한 하나의 과제가 되었다. 이러한 의미에서 예상되는 가장 큰 변화 중의 하나는 교육 분야(최연구, 2017)일 것이다. 즉, 사람들이 첨단 기술과 함께 살아가는 것에 익숙해지도록 SW와 AI에 대한 교육을 받아야 하는 상황이 된 것이다.
이에 정부에서는 2015년부터 꾸준히 AI 교육과 관련된 전략을 제시하고 모든 학생들에게 의무적으로 SW와 AI의 활용 방법을 가르칠 것을 제안하였다(송의성, 임화경, 2021). 구체적으로, 2020년 8월에 발표된 ‘전 국민 AI·SW 교육 확산 안’은 전 국민이 SW와 AI를 체험하고 접근할 수 있도록 AI 교육 플랫폼을 구축하고 맞춤형 학습을 제공하여 학습 소외계층이 생기는 것을 방지하는 것을 목적으로 하였다(관계부처합동, 2020). 특히 이 안에서는 초, 중, 고, 대학 및 대학원 전 학년 범위에 걸쳐 SW·AI 교육을 증대하고 인재 양성을 도모하여 모든 학생들이 SW·AI를 활용할 수 있도록 하는 것을 강조하였다. 이에 더하여 최근 2023년 4월 과학기술정보통신부에서는 ‘초거대 AI 산업 도약 방안’과 ‘소프트웨어 진흥 전략’을 제시하여 SW와 AI 교육의 중요성을 다시금 강조하였다. 이는 일상생활 전반에 단계적으로 AI를 접목하여 누구나 AI를 활용할 수 있도록 AI 교육을 강화하고, AI의 이해와 활용에 기초가 되는 소프트웨어를 진흥하는 방안을 모색하여 구현하는 것을 주요 내용으로 한다. 이러한 노력에도 불구하고 아직은 국내 SW 및 AI 교육은 여전히 제한적이라고 할 수 있다. 미국, 중국, 일본 등 주요 주변국들은 초, 중, 고등교육 동안 평균 약 300시간의 수업시수를 확보하고 있는데 반해 한국은 약 51시간에 불과한 것으로 알려져 있다. 따라서 국내에서 SW와 AI에 관한 교육 기회를 증가시키기 위한 노력이 요구되고 있다(소프트웨어 정책연구소, 2020).
이러한 필요에 따라 최근 한국창의과학재단에서는 대단위의 초, 중, 고교 학생들이 보다 전문성 있는 SW와 AI 교육을 받을 수 있도록 디지털새싹 캠프 사업을 진행하였다. 디지털새싹 캠프는 교육부에서 17개 시도교육청과 한국과학창의재단과 함께 2022년 겨울 방학 중 운영한 SW·AI 교육 프로그램으로(교육부, 2023), 전국 단위의 학생들에게 SW·AI 교육 및 체험 기회, 디지털 역량 함양 기회를 제공하는 것을 목적으로 하였다. 운영 방식은 기관에 따라 기관소재지 외의 학교에 방문하여 진행하는 방문형과 특정 장소나 기관에 방문하는 집합형, 그리고 사회적 배려형 세 가지로 구분된다. 프로그램의 과정은 1회 과정에서 15인 내외 구성, 1일 6시간 내외, 8차시 이상으로 구성을 하도록 권장되었으며 약 300명의 인원이 총 90개의 주관기관에서 교육을 제공했다. 교육을 제공하는 참여 인력의 전공은 컴퓨터 공학, 경영학, 교육학, 컴퓨터교육 등으로 다양했으며 캠프 참여 대상별 학년은 초, 중, 고등학생으로 구성되었다.
디지털새싹 캠프에 포함된 개별 프로그램은 제공자가 자율적으로 구성 및 운영하여 다양한 내용을 다루고 있다. 이러한 프로그램들의 특징을 살펴보면, 프로그램의 내용의 경우 컴퓨팅시스템, 데이터, 알고리즘과 프로그래밍, 인공지능, 디지털 문화 등이 포함되었으며, 활용 기기로는 노트북을 사용한 교육의 빈도가 높았으나 엔트리, 블록코딩류, 키트류, 태블릿 등을 사용한 경우도 있었다. 또한, 파이썬, 스크래치, 마이크로비트 등 코딩과 관련된 교구도 사용이 되었으며 생성형 AI 활용 빈도도 높았던 것으로 나타났다. 대다수의 학년 군에서는 컴퓨팅시스템과 인공지능 비율이 약 60-70%를 차지했지만 예비대학생인 고등학교 3학년 학생들을 대상으로 하는 프로그램에서는 컴퓨팅시스템 다음으로 데이터의 비율이 높았다. 이는 예비대학생을 위한 데이터의 처리와 분석 등의 이론 및 실습을 다루는 데 더 도움을 주기 위한 것으로 보인다(한국과학창의재단, 2023).
디지털새싹 캠프의 교육 프로그램을 통해 알 수 있듯이 AI 교육은 다양한 요소를 포괄한다. AI 교육이란 AI의 기초가 되는 컴퓨터 과학의 원리인 SW를 포함하여 AI의 기초 지식과 원리를 이해하는 것이다. 또한, AI를 학습의 도구로 활용하며 사회의 문제에 대해 고민하고 해결할 수 있도록 적용하는 교육이다(김현철 등, 2020; 한국과학창의재단, 2019). 이제까지의 교육은 단순 반복적인 인간의 인지적인 작업을 자동화시켜 생산성과 효율성을 향상시켰다면 AI 교육이란 인간의 지능적이고 창조적인 인지 작업까지 자동화시켜 기존의 교육과는 차원이 다른 생산성과 효율성을 제공할 수 있다(김수환 등, 2020). AI 교육은 크게 세 가지로 나뉠 수 있는데, AI 원리교육, AI 활용교육, AI 융합교육으로 유형화할 수 있다(임다미 등, 2021). 첫 번째, AI 원리교육은 기본적으로 갖추어야 할 인공지능의 기본적인 개념과 기초적인 코딩교육을 포함하는 동시에 윤리의식을 가르치는 것이다. 두 번째로 AI 활용교육은 SW와 AI를 학습의 도구로 활용하여 학생들에게 개개인 맞춤형 학습을 제공하는 것을 의미한다. 특히, OECD 통계에 따르면 우리나라의 저출산과 고령화, 학령인구의 감소 및 교육격차가 심해지고 있기 때문에 전 국민이 변화하는 시대에 빠르게 잘 적응할 수 있기 위해서는 맞춤형 교육이 더욱 필요하다 할 수 있다. 마지막으로, AI 융합교육이란, 여러 학문 및 산업에 SW와 AI를 접목시켜 창의적인 해결책을 제시하는 것으로, 새로운 가치를 창출하는 것을 목표로 세분화된 교육을 제공하는 것이다. 이와 같이 SW와 AI 교육은 다양한 목적을 가지고 개발되어왔다.
SW·AI 교육이 실제로 의도한 목적을 달성하는지를 알아보기 위해서는 이에 대한 효과성 연구가 필수적이다. SW·AI 교육을 시행한 선행연구를 살펴보면, AI 교육 유형에 상관없이 공통적으로 나타나는 효과가 있다(김민자, 김현철, 2018; 김민재 등, 2021; 김재경, 손의성, 2021; 손경진, 한정혜, 2018; 오경선, 권정인, 2019; 오미자, 김미량, 2018; 유지원, 2022; 이성희, 2019; 이정민, 고은지, 2018; 전형기, 김영식, 2022; 홍원준 등, 2020). 선행연구에서 제시된 공통적인 효과성 요인들을 요약하면, 첫째, 익숙하지 않던 SW·AI에 대해 알아가며 인식과 태도가 긍정적으로 변화되는 것, 둘째, 문제를 해결하는 데 다양한 방법으로 생각해볼 수 있는 창의적인 문제해결력을 갖게 되었다는 것, 셋째, 컴퓨팅시스템을 활용하여 일상생활 및 다양한 학문에 적용해서 효율적이고도 창의적인 방법을 생각해 내는 컴퓨팅 사고력을 키워주었다는 것이다.
한편, 공통적으로 나타나는 효과 외에도 AI 교육의 유형에 따라 나타나는 효과성의 차이도 존재한다. AI 원리에 더 집중한 경우, SW·AI에 대한 가치를 인식하고 이해도가 높아지며 흥미와 효능감을 더 갖게 되었다는 보고가 있다(김현정, 오경선, 2020; 박정인, 김성백, 2022; 이성혜, 2020). 또한, AI를 사용하면서 가져야 할 태도 즉, 책임성, 투명성, 안정성, 고용, 차별금지, 사람중심 서비스, 허용과 한계, 로봇의 권리 등(이재호 등, 2021)을 배웠다는 결과도 나타났다. 반면, AI 융합에 더 초점을 맞춘 교육 프로그램을 진행한 경우, 앞서 언급한 공통적으로 나온 결과들과 대부분 일치하였고 이 외에도 지식정보 활용 역량, 협업역량, 의사소통능력을 키우는 데 효과가 있었던 것으로 나타났다(김성원, 이여준, 2021; 허희정, 천재순, 2022; 신진선, 조미헌, 2021). 이에 더하여, 교과 수업의 일부로 SW·AI 교육을 함께 제공할 때 수업만족도가 높아지고 예비 교수자들도 기회가 주어진다면 AI 도구를 활용해 수업할 의향이 있다고 응답하여 참가자뿐만 아니라 제공자 또한 SW·AI의 효능성이 높다고 보고하였다(서주영, 신승훈, 2020; 김진옥, 2021). 이러한 선행연구들은 SW·AI 교육 프로그램의 효과성이 다양하고 포괄적일 수 있음을 시사한다.
그럼에도 불구하고 SW와 AI 교육 프로그램의 효과성을 알아보기 위한 선행연구들에는 제한점이 존재한다. 먼저, 연구자가 사전에 설정한 영역만을 대상으로 효과를 검증하여, 실제 참가자인 학생들의 효과성 경험을 모두 반영하지 못하였을 수 있다. 앞서 기술한 바와 같이 SW와 AI 교육은 원리, 활용, 융합과 관련된 다양한 역량을 포괄하고 있기에, 개별 교육 프로그램은 내용이나 운영에 있어서 서로 이질적인 특징을 보일 수 있다. 실제로 한국과학창의재단의 디지털새싹 캠프 사업에서 운영한 교육 프로그램들을 살펴보면 운영 주체가 대학과 기업으로 다양할 뿐 아니라, 프로그램 운영 기간 역시 8회차부터 15회차까지 큰 차이를 나타내고 있다. 교육과정의 내용 역시 컴퓨팅시스템, 인공지능, 알고리즘과 프로그래밍, 데이터, 디지털 문화 등 프로그램별로 상이하였다(한국과학창의재단, 2023). 따라서 이와 같이 다양한 교육 프로그램들이 포함되는 SW·AI 교육 과정을 평가하기 위해서는 참여자들의 다양한 경험을 개방적으로 탐색할 수 있는 방법이 필요하다.
또 다른 제한점으로 발달단계에 따른 AI 교육의 효과의 차이가 적극적으로 고려되지 않았다는 점이 있다. 초, 중, 고등학생을 대상으로 2004-2015년 사이에 수행된 로봇 교육의 효과 관련 연구 24편을 메타분석한 결과, 초등학생에 비해 중·고등학생을 대상으로 하는 로봇 교육이 더 효과적이었다(김민웅 등, 2016). 또한, 학년이 높아질수록 로봇 기반 교육이 더욱 효과적이었다(양창모, 2014). 이와 같은 결과는 발달단계에 따른 사고의 이해도나 문제해결능력의 차이에서 기인할 수 있다. 피아제(Piaget)의 인지발달 이론에 의하면 아동기에서 청소년기로의 발달은 논리적인 사고가 어느 정도 형성되어 구체적인 문제를 해결할 수 있으나 추상적인 사고는 논리적인 사고를 적용하지 못하는 구체적 조작기에서 논리적이고 추상적인 사고가 가능해지며 기억력, 사고력, 판단력 등 사고기능을 담당하는 전두엽이 더욱 활성화되는 형식적 조작기로의 발달로 특징 지어진다(정은숙 등, 2009; 허민 등, 2010). 실제 선행연구 결과에서도 중학교에서 고등학교로 학년이 증가함에 따라 구체적 조작기에 해당하는 인지적 특징을 보이는 청소년이 감소하고 형식적 조작기의 인지적 특징을 보이는 경우가 증가한다는 결과가 보고되었다(최영준 등, 1985). 이와 같이 발달적 단계는 AI 교육의 효과를 평가하는 데 중요한 요인이 될 수 있으나, 양적 도구를 사용하여 이러한 발달적 차이를 살펴보는 것은 어려울 수 있다. 양적 검사의 경우 검사 개발에 사용된 준거 집단과 다른 발달적 단계의 집단에 적용하는 것은 타당도에 문제를 야기할 수 있기 때문이다. 따라서 발달적 차이를 검증하되 연구 도구로 인한 오류를 최소화할 수 있는 방안의 모색이 필요하다.
이와 같은 선행연구의 제한점을 고려하여, 본 연구에서는 연구 참가자인 학생들의 의견을 반영하는 개념도 방법론을 활용해 연구를 진행하고자 한다. 개념도 방법론은 질적자료를 양적으로 분석하는 연구 방법으로 연구 참가자가 경험하는 현상의 영역과 구성 요소 및 잠재 구조 등을 밝히는 데 유용하다(Paulson et al., 1999; Trochim, 1989). 이 연구 방법은 연구 참가자가 연구 질문에 대한 자신의 자유로운 경험과 생각에 대해 서술하고 이를 핵심 문장으로 분류 및 군집화하여 수집된 질적자료를 양적인 통계처리 과정을 통해 분석해(Bedi & Williams, 2005) 참가자들의 발달수준에 따른 효과를 볼 수 있다는 장점이 있다. 이는 특정 현상에 대한 연구 참가자의 개인적인 경험과 관점을 탐구하고 그들의 의미를 활용하여 범주화하는 것으로 연구자의 편견이 최소화되며 인식 구조의 탐색을 더욱 명료하게 알아보게 한다(민경화, 최윤정, 2007; Paulson & Worth, 2002). 즉 개념도 방법론은 가시적으로 특정 경험과 관련한 인지 특성을 포괄적으로 이해할 수 있게 하며 기존 선행연구에서 보고되지 않은 효과들을 나타내는 데 용이하기 때문에 개념도 방법론을 적용하는 것이 적절하다. 이에 더하여 양적 측정도구를 사용하는 경우 집단에 따라 타당도와 신뢰도가 다르게 나타날 수 있다는 문제점이 있는데, 개념도 방법론은 서로 다른 발달단계에 속한 참여자들이 보고하는 이질적인 경험들을 동일한 방법론을 사용하여 살펴볼 수 있다는 장점이 있다. 개념도 연구법은 특정 현상에 대한 인식을 다루는 다양한 연구에 적용될 수 있으며, 특히 심리상담(김윤정, 양은주, 2020; 정찬석, 이은경, 김현주, 2004)이나 교육기부(김윤정 외, 2016)와 같은 특정 프로그램을 평가하는 데 효과적으로 사용될 수 있다(Rosas & Ridings, 2017).
본 연구는 개념도 방법론을 활용해 디지털새싹 캠프에서 운영된 다양한 SW·AI 교육 프로그램들의 효과성을 연구 참가자들의 경험에 기초하여 살펴보고자 하였다. 본 연구의 목적은 SW·AI 교육 프로그램들을 통해 나타날 수 있는 효과에는 어떤 요인들이 있으며, 이러한 요인들에 있어서 두드러지는 발달적 차이가 무엇인지 탐색하고자 하는 것이다. 이를 위하여, 되도록 다양한 경험을 추출하고 발달적 차이를 살펴볼 수 있도록 중학생, 고등학생 1-2학년, 예비대학생(고등학생 3학년)을 기준으로 발달단계를 구분하고, 각 발달단계별로 서로 상이한 두 개의 교육 프로그램들을 선정하여 이에 참여한 학생들을 대상으로 연구하고자 하였다. 이를 통해 향후 SW·AI 교육 프로그램의 효과성을 검증하는 연구들에서 효과성 요인을 결정할 때 참고할 수 있는 기초 자료를 제공하고자 하였다. 본 연구의 연구 문제는 다음과 같다.
- • SW·AI 교육 프로그램에 참여한 중학생, 고등학생, 예비대학생 청소년 집단은 무엇을 교육의 효과로 인식하고 있는가?
Ⅱ. 연구 방법
1. 연구 대상
본 연구의 대상은 한국과학창의재단 주관으로 진행되는 2022 동계(겨울방학) 디지털새싹 캠프에 참가 중인 중, 고등학생들이었다. 연구참여자 모집 기준은 중학생, 고등학생 1-2학년, 예비대학생(고등학생 3학년) 집단별로 상이한 두 개의 프로그램에 참여한 학생들이었으며, 참여자 모집과 선정은 한국과학창의재단의 협조를 통해 이루어졌다. 예비대학생의 경우, 수능을 마친 고등학생 3학년이기 때문에 고등학생 1-2학년 집단과 이질적이라고 판단되어 집단을 구분하였다. Trochim(1989)은 개념도 분석을 위한 초점 집단 구성에 엄격한 기준이 없으므로 최대 75명에서 80명까지 가능하다고 보았으며, Kane과 Trochim(2007)의 후속 연구에서는 참가자의 수가 최소 8명에서 40명 이하가 적합한 것으로 보았다. 이에 본 연구에서는 각 집단별로 20명 내외의 참여자를 모집하고자 하였다.
본 연구의 참여자는 중학생 23명, 고등학생 1-2학년 16명, 예비대학생(고등학생 3학년) 21명이었다(<표 1>).
본 연구의 대상이 된 중학생 및 고등학생 1-2학년 집단은 소속 학교에서 프로그램을 운영하는 방문형 캠프였으며, 예비대학생(고등학생 3학년)의 경우 예비 신입생을 대상으로 대학에서 운영하는 집합형 캠프였다. 참여자들이 경험한 교육 프로그램의 내용은 아두이노 기판을 이용한 스마트 화분 만들기, 관광 앱 개발하기, 자율주행 자동차 조립 및 조종하기 및 프로젝트 기반 파이썬 학습 및 코딩 문제 풀이 등으로 다양하였다.
2. 연구 절차 및 자료 분석
본 연구에서는 SW와 AI 교육 프로그램에 참가한 청소년들이 어떤 부분에서 도움을 받았는지 살펴보기 위해 개념도 방법론을 사용하였다. 기본적인 연구 절차는 Kane과 Trochim(2007)의 개념도 연구법 6단계에 따라 초점 질문 선정, 문장 산출, 문장 구조화, 자료 분석, 결과 해석 및 활용의 단계로 진행하였으며 구체적인 절차는 다음과 같다. 첫 번째 단계는 연구자가 연구 아이디어를 구체화하고 대상을 선정하여 적절한 초점 질문을 선정하는 단계이다. 본 연구에서는 SW·AI 교육 프로그램에 참가한 청소년들의 긍정적 경험에 초점을 맞추었으며, 심리학전공 대학원생 5인과 교수 2명이 함께 논의하여 “SW·AI 교육 프로그램에 참가하여 도움이 되었던 점은 무엇인가요?”라는 초점 질문을 선정하였다.
두 번째 단계는 연구 참가자들로부터 의견을 산출하고 이를 연구자가 분석, 종합 및 편집하는 단계이다. 본 연구에서는 연구자가 직접 SW·AI 교육 프로그램 장소에 가서 참가자들을 만나 연구의 목적과 절차를 설명한 후, 60분간 1차 포커스그룹 인터뷰를 실시하였다. 이때 사전 동의 후 인터뷰를 녹음하였고 참가자들의 인터뷰 자료를 모두 취합한 후 연구자 7인이 연구의 목적에 부합하는 의미 있는 문장들을 추출하였다. 한 문장에 두 가지 의미가 있는 경우 두 문장으로 분리하였고 중복되는 문장들은 하나의 문장으로 정리하였으며 문장의 구체성 수준을 맞추고자 의미를 손상하지 않는 범위에서 보편적인 표현으로 바꾸었다. 그 결과 중학생 집단의 문장은 50개, 고등학생 1-2학년 집단의 문장은 51개, 예비대학생 집단의 문장은 61개가 최종 추출되었다.
세 번째 단계는 문장 구조화 단계로, 산출된 문장들을 참가자들이 이해할 수 있는 방식으로 분류하고 평정하였다. 최종적으로 산출된 핵심 문장들은 카드형식으로 제작되었으며 이후 참가자들은 2차 인터뷰로 약 40분간의 면담을 통해 각자 문장 카드들을 분류 및 평정하였다. 이때 분류기준은 핵심 문장들을 ‘유사한 것으로 보이는 문장끼리 모으는 것이었으며, 이들의 인지적 특성을 가능한 있는 그대로 이끌어내기 위해서 하나의 범주는 두 개 이상의 문장으로 이뤄져야 하며 핵심 문장 전체의 1/3개 이상은 한 범주로 모으지 말라는 두 가지 조건을 제시하였다(Paulson, & Worth, 2002; Paulson et al., 1999). 분류 작업이 끝난 다음에는 참가자들이 각 핵심 문장에 대해 얼마나 중요하다고 생각하는지를 5점 리커트 척도(1=전혀 중요하지 않다 ~ 5=매우 중요하다)로 평정하도록 하였다. 1차 인터뷰 시 후속 인터뷰가 있음을 공지하고 사전 동의를 받았으나 참가자들의 개인 사정에 의하여 중학생 집단 중 2명이 2차 인터뷰에 참가하지 못하였다. 또한, 시간과 거리상의 제약으로 인하여 일부 참가자는 온라인 화상회의를 통한 비대면 방법으로 2차 인터뷰를 실시하였다.
네 번째 단계는 개념도 분석 단계로, SPSS 27.0을 사용하여 다차원 척도법(Multi-dimensional scaling)과 위계적 군집분석(Hierarchical cluster analysis)을 실시하였다. 참가자들이 2차 인터뷰를 통해 분류하고 평정한 결과가 분석을 위한 원자료로 사용되었다. 이때 불성실 응답으로 결과를 신뢰하기 어려운 총 2명(중학생 1명, 고등학생 2학년 1명)의 참가자를 제외하고 최종 분석을 실시하였다. 최종적으로 분석에 사용된 참가자 인원은 <표 2>와 같다. 다차원 척도법을 사용하기 위해 각 집단 참가자들이 유사성에 따라 분류한 결과 중 동일 범주로 묶인 문장을 0, 다른 범주로 묶인 문장을 1로 코딩하여 개인 유사성 행렬표(Similarity matrix)를 만들었다. 모든 참가자들의 파일을 합산한 집단 유사성 행렬표(Group similarity matrix)를 바탕으로 다차원 척도법을 사용해 가로축과 세로축의 좌표값을 산출하였다. 이후 지도상에 위치한 점(문장)을 내적으로 일관된 군집으로 묶는 위계적 군집분석을 실시하였다. 이때 거리를 기반으로 하는 자료를 의미 있게 해석하는 데 유용한 Ward의 방법을 사용하였다(Kane & Trochim, 2007). 이후 연구자들은 군집 분류 가능성을 보여주는 덴드로그램과 군집화 일정표를 기준으로 적절한 군집의 수를 결정하였다.
다섯 번째 단계는 개념도 해석 단계에 해당하며, 참가자들의 답변을 기반으로 구성된 핵심 문장과 군집목록, 그리고 개념도를 가지고 핵심 문장들이 가까이 있고 멀리 있는 정도에 따라 그 관계를 설명하고 차원에 따라 군집화된 범주를 명명하고 해석한다. 개념도에서 핵심 문장들의 거리는 연구참여자들이 이들 문장들을 함께 범주화한 빈도를 반영하는 것으로, 서로 가까이에 위치한 핵심 문장들은 동일한 범주로 분류되며 서로 먼 곳에 위치한 문장들은 다른 범주로 구분된다. 즉, 개념도 상에 가까이 위치한 문장들은 연구 참가자들이 유사하게 인식하고 있는 개념으로 볼 수 있다. 본 연구에서는 연구자 5인과 개념도 연구를 다수 수행한 심리학과 교수 2인이 같은 군집으로 묶인 문항들의 공통성을 중심으로 군집 명을 도출했고 각 차원의 극단에 위치한 군집 및 군집 내 진술문의 근접성을 근거로 차원을 명명하였다(김선경, 2011; Kunkel & Newsom, 1996).
마지막 단계는 개념도 활용 단계로 개념도 해석 결과를 연구 목적에 맞게 논의하고 활용하는 작업이 포함된다. 본 연구에서는 청소년들이 SW·AI 교육 프로그램의 참여를 통해 무엇을 효과로 인식하고 있는지를 학교급별로 탐색하고 비교하는 것이 목적이었으므로, 이를 논의에서 제시하였다.
Ⅲ. 연구 결과
본 연구에서는 SW·AI 교육 프로그램에 참가 하면서 도움이 되었던 경험이 무엇인지에 대해 집단별로 각각 구현된 개념도를 바탕으로 핵심 문장들의 관계를 해석하였다. 발달단계에 따른 집단별 결과는 다음과 같다.
1) 중학생
최종 선정된 23명의 중학생 참가자들에게 초점 질문을 사용한 결과, 총 50개의 핵심 문장이 도출되었다. 스트레스 값(stress value)은 .335로, 다차원 척도 분석에 적합한 범위(.205~.365)를 충족하였으며(Gol & Cook, 2004; Kane & Trochim, 2007), 2차원이 가장 적절한 것으로 나타났다. SW·AI 교육 프로그램에 참가한 중학생 참가자들의 긍정적 경험은 ‘지식-사회 및 정서’와 ‘학습의 일차적 효과-학습의 이차적 효과’라는 2개의 차원으로 나타났다. 위계적 군집분석을 통해 도출된 덴드로그램과 군집화 일정표, 해석의 용이성을 바탕으로 논의한 결과 적절한 범주의 수는 5개로 결정되었다. 구체적으로는 ‘협업활동의 경험’, ‘신기술에 대한 이해 및 새로운 적용 가능성의 발견’, ‘도전 경험을 통한 성취감’, ‘SW·AI 관심의 심화’, ‘체험을 통한 SW·AI 원리의 이해’였다. 각 범주와 범주의 중요도 평균값, 범주에 포함된 핵심 문장과 문장의 중요도 평균값은 <표 3>에, 개념도는 <그림 1>에 제시하였다.
가로축의 ‘지식-사회 및 정서’ 차원에 따라 살펴보면, 범주 2, 범주 4, 범주 5는 SW·AI 교육 프로그램 실습을 통한 지식 및 인식을 포함한 지적 성장에 대한 내용이다. 범주 1과 범주 3은 SW·AI 교육 프로그램을 통해 사회 및 정서적인 측면에서 도움이 된 경험을 의미한다. 세로축의 ‘학습의 일차적 효과-학습의 이차적 효과’ 차원으로 살펴보면, 범주 1, 범주 4, 범주 5는 SW·AI를 익혀보며 원리를 이해하고 친근해졌으며 다른 학생들과 협업활동을 했던 내용으로, 프로그램 내에서 참가자들이 즉각적으로 경험한 효과를 의미한다. 범주 2와 범주 3은 SW·AI 자체를 넘어 신기술과 미래 적용 가능성에 대해 알게 되고 도전 경험을 통해 성취감을 얻게 된 것 등 프로그램을 통해 얻게 된 간접적 효과를 의미한다.
범주 1 ‘협업활동의 경험’은 12개의 핵심 문장을 포함하며 중요도 평균값은 3.24다. 참가자들은 SW·AI 교육 프로그램 과정에서 팀을 이루어 다른 학생들과 상호작용을 하면서 협업능력을 경험해 볼 수 있었던 것을 긍정적으로 보고하였다. 범주 2 ‘신기술에 대한 이해 및 새로운 적용 가능성의 발견’은 7개의 핵심 문장을 포함하며, 중요도 평균값은 3.23이다. SW·AI 교육 프로그램을 통해 SW·AI 기술이 새롭게 적용될 수 있는 가능성들을 발견하게 된 내용들로 구성되었다. 범주 3 ‘도전 경험을 통한 성취감’은 11개의 핵심 문장으로 이루어졌고 중요도 평균값은 3.23이다. SW·AI 프로그램을 조작해보면서 계속 도전하고 결국 성공해낸 경험에서 성취감을 느낀 경험에 대한 내용이다. 범주 4 ‘SW·AI 관심의 심화’는 9개의 핵심 문장으로 이루어졌으며 중요도 평균값은 3.28이다. 범주 4는 SW·AI에 대해 친숙해지고 관심이 심화되었다는 내용이다. 범주 5 ‘체험을 통한 SW·AI 원리의 이해’는 11개의 핵심 문장을 포함하며 중요도 평균값은 3.34다. 강의식이 아니라 직접 체험하고 조작해보는 활동을 통해 원리를 더 쉽게 이해할 수 있었다는 내용이다. 범주 4와 범주 5의 근접한 위치는 두 범주 간의 유사성이 그만큼 크다는 것을 의미하는데, 둘 다 SW·AI에 대한 관심과 이해에 도움이 된 점에서는 비슷하지만 범주 5는 이해도와 활용 능력을 향상시킨 것이 ‘체험’임을 강조한 것에서 변별되는 부분이 있다. 범주 5의 중요도가 가장 높게 평정되었는데, 이는 중학생 집단에 있어 SW·AI 프로그램을 직접 실행해보고, 체험해본 것이 매우 효과적이고 긍정적인 경험으로 보고되었음을 시사한다.
중요도 점수가 높았던 핵심 문장들을 종합해보면, 중학생 참가자들은 SW·AI 교육 프로그램에서 이루어진 팀활동을 통해 책임감과 소통 등 협업능력을 키울 수 있었던 것, 실패해도 계속 도전해서 성공해낸 뿌듯함을 경험한 것, 일방적인 강의 형식이 아니고 창의력을 발휘하게끔 조성된 분위기에서 자연스럽게 프로그램을 익혔던 경험을 가장 도움이 되었던 점들로 꼽았다. 또한, SW·AI를 사회적 현상에 적용할 수 있음을 인식하며, 인간의 고유한 능력이나 AI와 공존할 수 있는 방법에 대해 생각해보는 계기가 되었다는 내용도 중요하게 보고하였다.
2) 고등학생 1-2학년
16명의 고등학생 1-2학년 참가자들에게 초점 질문을 사용한 결과, 총 51개의 핵심 문장이 도출되었다. 스트레스 값은 .332로, 다차원 척도 분석에 적합한 범위(.205~.365)를 충족하였으며(Gol & Cook, 2004; Kane & Trochim, 2007), 2차원이 가장 적절한 것으로 나타났다. SW·AI 교육 프로그램에 참가한 고등학생 1-2학년 참가자들의 긍정적 경험은 ‘사회 및 정서-지식 및 진로’와 ‘학습의 일차적 효과-학습의 이차적 효과’라는 2개의 차원으로 나타났다. 위계적 군집분석을 통해 도출된 덴드로그램과 군집화 일정표, 해석의 용이성을 바탕으로 연구자들이 논의한 결과 적절한 범주의 수는 7개로 결정되었으며, 구체적으로는 ‘SW·AI 교육 프로그램 구성에 대한 만족’, ‘상호작용을 통한 학습’, ‘긍정적 자기평가 향상’, ‘진로 탐색’, ‘흥미 및 성취감’, ‘SW·AI 교육 프로그램에 대한 이해 및 친근감’, ‘지식의 확장과 적용에 대한 의지’이다. 각 범주와 범주의 중요도 평균값, 범주에 포함된 핵심 문장과 문장의 중요도 평균값은 <표 4>에, 개념도는 <그림 2>에 제시하였다.
가로축의 ‘사회 및 정서-지식 및 진로’ 차원을 기준으로 살펴보면, 범주 1, 범주 2, 범주 3은 SW·AI 교육 프로그램을 통한 사회 및 정서적 영향에 해당한다. 범주 4, 범주 5, 범주 6, 범주 7은 SW·AI 교육 프로그램을 통한 SW·AI 프로그램에 대한 이해 향상, 지식의 확장, 관련 진로의 탐색과 같은 긍정적 영향을 의미한다. 세로축의 ‘학습의 일차적 효과-학습의 이차적 효과’ 차원으로 보면, 범주 1, 범주 5, 범주 6은 프로그램 구성에 대한 만족감, 프로그램에 대한 흥미 및 높아진 친밀감, 프로그램에 대한 이해로 SW·AI 교육 프로그램을 통한 일차적 효과, 즉 직접적인 효과를 의미한다. 범주 2, 범주 3, 범주 4, 범주 7은 프로그램 안에서 이루어진 상호작용과 학습, 자신에 대한 긍정적인 평가, 진로 탐색의 기회 및 확장된 지식을 적용하고자 하는 의지로 학습의 이차적 효과, 즉 간접적인 효과를 의미한다.
범주 1 ‘SW·AI 교육 프로그램 구성에 대한 만족’은 5개의 핵심 문장으로 구성되어 있고 중요도 평균값은 4.23이며, 대면, 체계적인 배움, 장소, 위치적인 부분, 경험 등에 대한 만족감에 대한 내용이다. 범주 2 ‘상호작용을 통한 학습’은 11개의 핵심 문장으로 구성되어 있고 중요도 평균값은 4.12이다. 선생님으로부터의 도움과 친절함, 친구로부터의 도움을 주고받고, 아이디어를 공유하는 등의 내용을 포함하고 있다.
범주 3 ‘긍정적 자기평가 향상’은 4개의 핵심 문장으로 구성되며 중요도 평균값은 3.77이며, 본인에 대한 자랑스러움, 새로운 아이디어 창출 등 SW·AI 교육 프로그램을 통한 긍정적 자기 경험이 다루어졌다. 범주 4 ‘진로 탐색’은 8개의 핵심 문장으로 구성되며 중요도 평균값은 4.01이다. SW·AI 교육 프로그램을 통해 관련 진로에 대한 정보 취득하고 목표를 위한 의지가 생겼으며 SW·AI 교육 프로그램에 참가하는 동안 새로운 방안과 다양한 방법을 시도해볼 수 있게 된 것 등에 대한 만족감이 드러난다. 범주 5 ‘흥미 및 성취감’은 9개의 핵심 문장으로 구성되었으며 중요도 평균값은 4.24이다. SW·AI 교육 프로그램을 통한 성취물과 오류 해결 과정에서 경험한 뿌듯함, SW·AI의 기초부터 배울 수 있고, 직접 SW·AI 프로그램을 사용하면서 배우는 것에 대한 만족감 등 SW·AI 교육 프로그램의 내용과 난이도가 적절하게 구성되어 참가자의 흥미와 성취감이 충족되었음이 나타난다. 범주 6 ‘SW·AI 교육 프로그램에 대한 이해 및 친근감’은 9개의 핵심 문장이 포함되었으며, 중요도 평균값은 3.96이다. SW·AI 프로그램에 대한 부족한 지식의 보충, SW·AI 교육 프로그램을 통해 코딩에 대한 접근성과 친밀감이 높아졌음을 의미한다. 범주 7 ‘지식의 확장과 적용에 대한 의지’는 5개의 핵심 문장으로 구성되었으며 중요도 평균값은 4.26으로 7개의 군집 중 가장 중요도가 높은 것으로 나타났다. SW·AI 교육 프로그램을 통해 배운 내용이 능력 향상에 도움이 되었으며, 다른 프로그램에도 이를 활용하고자 하는 의지가 드러난다.
중요도 점수가 높았던 핵심 문장들을 종합해보면, 고등학생 1-2학년 참가자들의 평정 점수가 높은 문장들은 궁금한 점에 대한 피드백을 전문가를 통해 즉각적으로 받을 수 있었던 것, 선생님께서 친절하게 알려주셨던 것, 혼자서 공부하기 어려운 내용을 전문가에게 배울 수 있는 기회가 생긴 것, 혼자서 배울 때보다 지식을 체계적으로 배울 수 있었던 것이 가장 크게 도움받은 부분들로 나타났다. 즉, 이들에게서는 역량 개발을 위한 효과적인 전략들이 가장 중심적인 내용들로 나타났다.
3) 예비대학생(고등학교 3학년)
21명의 예비대학생 참가자들에게 초점 질문을 사용한 결과, 총 61개의 핵심 문장이 도출되었다. 스트레스 값(stress value)은 .359로, 다차원 척도 분석에 적합한 범위(.205~.365)를 충족하였으며(Gol & Cook, 2004; Kane & Trochim, 2007), 2차원이 가장 적절한 것으로 나타났다. SW·AI 교육 프로그램에 참가한 예비대학생 참가자들의 도움된 경험은 ‘프로그램 운영-프로그램 내용’과 ‘학습의 일차적 효과-학습의 이차적 효과’라는 2개의 차원으로 나타났다. 위계적 군집분석을 통해 도출된 덴드로그램과 군집화 일정표, 해석의 용이성을 바탕으로 연구자들이 논의한 결과 적절한 범주의 수는 5개로 결정되었으며, 구체적으로는 ‘SW·AI 교육 프로그램 구성에 대한 만족’, ‘예비 대학생활 적응’, ‘SW·AI 프로그램에 대한 지식과 기술의 향상’, ‘상호작용을 통한 학습’, ‘성취 경험을 통한 관심의 심화’이다. 각각의 범주와 범주의 중요도 평균값, 각 범주에 포함된 핵심 문장과 문장의 중요도 평균값은 <표 5>에, 개념도는 <그림 3>에 제시하였다.
가로축의 ‘프로그램 운영-프로그램 내용’ 차원을 살펴보면, 범주 1과 범주 2는 SW·AI 교육 프로그램 구성 및 운영에 대한 전반적인 만족도와 관련된 내용이다. 범주 3, 범주 4, 범주 5는 보다 구체적인 프로그램의 질적인 내용에 대한 경험을 의미한다. 세로축의 ‘학습의 일차적 효과-학습의 이차적 효과’ 차원으로 보면, 범주 1과 범주 3은 프로그램 구성에 대한 만족감, SW·AI 교육 프로그램을 통한 SW·AI 프로그램에 대한 지식과 기술의 향상으로 SW·AI 교육 프로그램을 통한 직접적인 효과를 의미한다. 범주 2, 범주 4, 범주 5는 SW·AI 교육 프로그램 과정 중 상호작용을 통해 학습한 경험, 성취 경험을 통한 관심의 심화, 예비 대학생활 적응에 대한 기대 등 간접적인 효과를 의미한다.
범주 1 ‘SW·AI 교육 프로그램 구성에 대한 만족’은 16개의 핵심 문장으로 구성되었으며 중요도 평균값은 4.44로 가장 높은 수준이었다. 범주의 내용은 SW·AI 교육 프로그램을 통해 제공된 물품, 간식 또는 선생님, 강의나 분위기, 시설 등에 대한 만족감이다. 범주 2 ‘예비 대학생활 적응’은 5개의 핵심 문장으로 구성되었으며, 중요도 평균값은 4.08이다. 예비대학생들이 SW·AI 교육 프로그램 참가를 위해 입학 예정인 대학교를 미리 왕래하게 되면서 대학생활 적응에 도움될 것이라고 기대가 반영된다. 범주 3 ‘SW·AI 프로그램에 대한 지식과 기술의 향상’은 17개의 핵심 문장이 포함되었으며, 중요도 평균값은 4.08이다. SW·AI 교육 프로그램을 통해 향상된 SW·AI 프로그램을 다루는 기술이나 지식적인 면에서의 성취와 관련된 경험들을 포함한다. 참가자들은 SW·AI 교육 프로그램을 통해 SW·AI 프로그램을 다루는 능력이 발전되었다고 인식하였으며, 프로그램의 활용 수준은 기초에서 심화까지, 코딩, 프로그래밍 등 다양한 영역에 걸쳐 보고되었다. 범주 4 ‘상호작용을 통한 학습’은 9개의 핵심 문장으로 구성되었으며, 중요도 평균값은 3.99이다. 상호작용을 통해 학습한 과정에서 성취 경험을 보고한 문장들로, 협업활동을 통해 아이디어나 결과물을 공유하면서 재미있게 학습할 수 있었다는 내용이다. 범주 5 ‘성취 경험을 통한 관심의 심화’는 14개의 핵심 문장이 포함되었으며, 중요도 평균값은 3.84이다. 참가자들이 SW·AI 교육 프로그램에서 성취감을 느끼고 SW·AI에 대한 관심이 심화되었다는 내용이며, 관심 분야의 확장이 SW·AI의 미래나 자신의 진로에 대해 생각해보는 것으로 이어지게 되었다는 문장들도 포함한다.
중요도 점수가 높은 문장들을 종합해보면, 예비대학생 참가자들은 SW·AI 교육 프로그램을 통해 입학할 대학교의 캠퍼스에 지리적으로 익숙해지고, 새로운 친구를 사귈 수 있었던 것, 프로그램이 무상이면서 보상, 간식이나 이수학점 등의 지원이 있는 것, 전문성과 친절한 태도를 갖춘 선생님이 설명 및 답변을 잘해주어 학습에 도움이 되었던 것, 기본적인 내용을 배울 수 있었고 결과물을 보며 뿌듯함을 느꼈던 것을 가장 도움이 되었던 경험으로 인식하고 있다.
IV. 논의
본 연구는 한국과학창의재단 주관으로 진행되는 2022 동계 디지털새싹 캠프의 SW·AI 교육 프로그램에 참가한 중학생, 고등학생 1-2학년 학생, 예비대학생(고등학생 3학년)을 대상으로 개념도 연구론을 통하여 SW·AI 교육 프로그램을 통해 어떠한 효과를 인식하였는지 검증하고자 하였다. 23명의 중학생, 16명의 고등학생 1-2학년, 21명의 예비대학생에게 각각 SW·AI 교육 프로그램을 진행한 후 “SW·AI 교육 프로그램에 참가하여 도움이 되었던 점이 무엇인가요?”라는 초점 질문을 통해 학생들의 답변을 수집해 개념도 분석을 실시하였다. 이는 학생들의 의견을 직접 반영해 분석하고 발달상의 세부적인 차이를 알아보며 선행연구의 한계를 극복하고자 하였다.
연구 결과, 학생들이 인식하는 SW·AI 교육 프로그램의 효과는 2차원 좌표상에 5개에서 7개의 군집으로 나타났다. 2차원 중 모든 집단의 세로축을 잇는 한 차원은 ‘학습의 일차적 효과-학습의 이차적 효과’였다. 일차적 효과란 SW·AI 교육 프로그램에 대한 흥미 및 친밀감 또는 이해 같은 직접적인 효과를 의미한다. 이차적 효과는 프로그램 안에서 이루어진 상호작용, 경험을 통한 성취감 등의 이차적인 보상, 확장된 지식을 활용해 응용하고자 하는 간접적인 효과를 나타냈다. 이 외의 나머지 차원은 중학생 집단과 고등학생 집단이 각각 ‘지식-사회 및 정서’와 ‘사회 및 정서-지식 및 진로’로 유사했으며, 예비대학생 집단에서는 ‘프로그램 운영-프로그램 내용’으로 나타났다.
중학생 참가자들은 중요도 순으로 ‘체험을 통한 SW·AI 원리 이해’, ‘SW·AI 관심의 심화’, ‘협업활동의 경험’, ‘신기술에 대한 이해 및 새로운 적용 가능성의 발견’, ‘도전을 통한 성취감’, 5개의 범주를 나타냈다. 중학생의 경우, SW·AI 교육 프로그램에서 전반적인 지식과 관심을 갖게 된 것이 가장 도움이 되었다고 하였다. 그리고 팀 활동을 통해 협업능력을 키우는 것에 대해, 특히 주어진 역할에 대한 책임감을 기르고 다른 사람의 의견을 존중하는 방법을 배우는 등에서도 도움을 받았다고 하였다. 그 외에도 '실패해도 도전하면서 다시 시도하면서 이뤄낼 수 있고 그렇게 한 자신이 뿌듯하고 이후 어려운 일이 있어도 도전을 하려는 자세를 갖게 한다'라는 의미와 관련된 응답도 여러 번 보고되었다.
고등학생 1-2학년 참가자의 경우, ‘흥미 및 성취감’, ‘지식의 확장과 적용에 대한 의지’, ‘SW·AI 교육 프로그램 구성에 대한 만족’, ‘상호작용을 통한 학습’, ‘진로 탐색’, ‘SW·AI 프로그램에 대한 이해 및 친근감’, ‘긍정적 자기평가 향상’ 순으로 7개의 범주를 나타냈다. 즉, 중학생의 경우, SW·AI 원리를 알아가고 관심을 갖게 된 것에 가장 도움을 많이 받았다고 반응한 것과 다르게, 고등학생들의 경우에는 SW·AI 교육 프로그램을 받은 후 결과물 보게 되어 뿌듯함을 느꼈으며, 직접 사용하고 배우며 AI와 SW에 대한 흥미와 성취감을 경험한 것이 가장 도움이 되었다고 하였다. 또한, 고등학생 1-2학년은 프로그램이 온라인보다는 오프라인으로 진행하는 것이 배우는 데 더 도움이 된다고 하는 등 구성에 대한 만족감을 많이 표현하였는데 이 또한 중학생에게는 나타나지 않은 답변이었다. 상호작용 부분의 경우, 프로그램의 특성상 또래보다는 선생님과 전문가와의 소통에 대한 이야기가 더 많았고, 협업능력을 배웠다는 중학생과는 다르게, 아이디어 공유 등 친구에게 자신이 도움을 줄 수 있었던 경험을 더 많이 표현하였다. 이 외에도 고등학생 1-2학년의 경우, 중학생의 결과에서 드러나지 않았던 '진로'와 '자신'에 대한 생각과 관련한 범주가 도출되었으며, 자신의 목표를 위해 더 배우려고 하는 의지를 나타내는 등 진로에 대한 고민이 더욱 드러났다. 또한, 방학에도 학교에 나와 교육 프로그램에 참여한 스스로를 자랑스럽게 여기고, 규칙적으로 생활하려 하며 그 과정에서 자신의 창의성을 발휘하고 새로운 아이디어를 생성하는 등 전반적으로 자신의 역량을 개발하는 것에 더 집중하는 모습이 엿보였다.
마지막으로 예비대학생 참가자의 경우, ‘SW·AI 교육 프로그램 구성에 대한 만족’, ‘예비 대학생활 적응’, ‘SW·AI 프로그램에 대한 지식과 기술의 향상’, ‘상호작용을 통한 학습’, ‘성취 경험을 통한 관심의 심화’ 순으로 5개의 범주를 나타냈다. 고등학생 1-2학년에서도 나타난 ‘SW·AI 교육 프로그램 구성에 대한 만족’은 예비대학생에게 가장 도움이 되었던 점이었으며, 이는 중학생 집단과 상이한 결과이다. 이 범주에는 수업을 제공해준 선생님의 친절함이나 원활한 의사소통, 컨텐츠에 대한 만족 등이 포함되었는데, 고등학생의 경우에는 프로그램을 자발적으로 신청한 경우가 많았던 만큼 주체적이고 능동적으로 프로그램에 참가하고 평가했음을 시사할 수 있다. 또한, 예비대학생이 고등학생 1-2학년보다 더 자발적이고 적극적으로 자신의 길을 찾았으며, 입학 예정인 대학에서 교육 프로그램을 실시하였기 때문에 캠프에 참여함으로써 입학 전 학교 적응에 대한 도움을 받았다고 보고하였다. 그리고 이후 수업에서 SW·AI를 활용하는 데 더욱 자신감을 가질 수 있게끔 해주었고, 컴퓨터 활용능력을 향상하는 데 도움이 되었다고 하였다. 이 외에도 중학생에 비하여 고등학생부터는 '지식과 기술을 익힐 수 있었다'라는 효과에 대해서는 중요도를 덜 부여하는 것을 확인할 수 있었는데, 이는 이미 SW·AI 수업을 들었던 이전 경험이 있기 때문인 것으로 보인다. 또한, 예비대학생의 경우에도 상호작용, 즉 협업활동을 하며 의사소통능력이 향상되는 등 사회적으로 많은 도움을 받은 것과 성취 경험을 한 것에 대해 긍정적으로 표현하였다.
상기 연구 결과들을 통하여 세 집단 모두에서 공통적으로 보고된 내용들과 각 집단별로 나타나는 특징을 확인할 수 있었다. 세 집단 모두에서 공통적으로 보고된 내용들은 다음과 같다. 첫째, SW와 AI에 대한 인식이 높아져 SW·AI가 실생활 및 다양한 분야에 활용되며 사회적으로 적용해볼 수 있다는 것을 알게 되었다. 둘째, SW·AI 교육 프로그램을 직접 만들어 활용하면서 SW·AI에 대한 친근감이 높아졌다. 셋째, SW·AI 교육 프로그램 과정이 학생들의 협업능력을 발전시키고 의사소통과 상호작용을 더 잘 할 수 있도록 하였다. 넷째, 도전하고 해결해 보는 경험을 통하여 성취감이 증가하였다. 다섯째, SW·AI 교육 프로그램은 평소에는 접근하기 어려운 기술을 접목하면서 배우기 때문에 새로운 감각을 더 일깨우기도 하고 이전에는 접해볼 수 없었던 새로운 것들을 경험하였다. 여섯째, 직접 SW·AI를 체험하도록 하는 학습 방법이 학습 내용을 더 잘 이해하는 데 많은 도움을 주었다. 마지막으로 SW·AI에 더 익숙해지면서 향후 진로 선택의 폭이 넓어졌고 자신의 새로운 분야에 대한 가능성을 열어주는 등 진로 선택에 많은 도움이 되었다. 이렇듯 SW·AI 교육 프로그램이 연령에 상관없이 지식 능력을 함양하는 것에서부터 사회생활 능력이나 진로 선택까지 다양하고 넓은 스펙트럼으로 도움이 된다는 점을 알 수 있었다. 이러한 내용은 기존 선행연구와 일치하는 결과이다(김민자, 김현철, 2018; 김민재 등, 2021; 김성윤, 이여준, 2021; 김재경, 손의성, 2021; 김현정, 오경선, 2020; 박정인, 김성백, 2022; 손경진, 한정혜, 2018; 신진선, 조미현, 2021; 오경선, 권정인, 2019; 오미자, 김미량, 2018; 유지원, 2022; 이성희, 2019; 이성혜, 2020; 이정민, 고은지, 2018; 전형기, 김영식, 2022; 허의정, 천재순, 2022; 홍원준 등, 2020).
그러나 앞서 언급한 것과 같이 각 집단 간에 따라 상이한 결과도 있었다. 첫째, 중학생 집단에서는 SW·AI에 대한 친근감이나 흥미를 느끼게 되었다는 내용이 다른 집단들에 비해 두드러지게 높았으나 학년이 높아질수록 지식 및 기술 향상에 대한 내용이 많고 더 구체적이었다. 따라서 학년이 낮을수록 SW·AI에 대한 흥미와 친근감 및 인식을 높여주는 쪽에 중점을 두고, 학년이 높아질수록 프로그램 활용 능력의 개발과 확장을 경험하게 하고 개인별로 다른 능력이나 경험치를 고려해서 맞춤형 SW·AI 교육 프로그램을 계획할 필요가 있겠다.
둘째, 고등학생 1-2학년과 예비대학생 집단과는 다르게 중학생 집단에서는 진로와 관련된 범주가 나타나지 않았다. 중학생 집단은 고등학생 집단에 비해 SW와 AI를 진로의 방향과 연결해서 진지하게 생각하지 않고, 대신 SW·AI의 존재에 대해 익숙해지고 미래의 진로 선택을 하는 데 폭이 넓어진 정도로 도움을 받았다고 인식한 것으로 보인다. 그러나 진로발달과정에 있어 고등학생 1-2학년 집단과 예비대학생 집단 간에도 미세하게 상이한 결과를 확인할 수 있다. 예를 들어, 고등학생 1-2학년 집단의 경우 ‘희망하는 학과 진학에 도움이 될 것 같다’, ‘희망하는 분야에 취업하는 데 도움이 될 것 같다’ 등 SW·AI 교육 프로그램을 진로 준비 행동의 일환으로 인식하였다. 그러나 예비대학생 집단의 경우 ‘희망하는 직업에서 SW·AI를 활용할 수 있는 방안에 대해 구체적으로 생각하게 되었다’라고 하는 등, 희망하는 학과에 이미 진학하였기 때문에 프로그램을 통해 희망하는 진로에 대한 진로 탐색이 보다 심화 되고 정교화되고 있음을 알 수 있다. 이는 중학교에서의 진로 결정은 미래지향적인 진로 결정으로 이루어지지 않았다는 선행연구와 궤를 같이한다고 볼 수 있다(김병숙, 최동선, 2005).
셋째, 중학생과 고등학생(예비대학생 포함) 집단에서 상호작용과 관련된 군집이 다른 차원에 위치함을 알 수 있다. 중학생의 ‘협업활동의 경험’은 학습의 일차적 효과 차원에 있는 반면, 고등학생 1-2학년과 예비대학생의 ‘상호작용을 통한 학습’은 학습의 이차적 효과 차원에 위치한다. 중학생의 경우 협업활동 및 그로 인한 긍정적인 정서 경험을 프로그램을 통한 효과로 인식했다면, 고등학교 집단과 예비대학생은 상호작용 경험이 학습을 위해 도움이 되었다는 의미로 보고하였다. 학년이 올라갈수록 프로그램을 통한 상호작용 경험이 지식적인 차원으로 이동하는 것을 직관적으로 관찰할 수 있다. 이는 연령에 따른 발달 과업적 차이로 볼 수도 있는데, 마찬가지로 예비대학생의 경우 고등학교 1-2학년에는 나타나지 않은 ‘취업’을 언급하며 협업활동을 통해 배운 것을 더 확장해서 적용하려는 모습을 보였다.
넷째, 상호작용과 관련해, 중학생은 또래와의 상호작용만을 주로 답변하였던 것과 달리 고등학생부터는 교육을 담당한 선생님과의 상호작용에 대해 더 많은 응답이 나왔다. 고등학생들은 프로그램의 구성을 평가하는 과정에서 교육의 제공자 또한 주의 깊게 관찰 또는 평가한 것으로 볼 수 있다. 학년이 높아질수록 교육 제공자에 대한 인식이나 관심도가 높아지는 것으로 보아 선생님의 역할이 프로그램의 효과성에 영향을 주는 중요한 요인이 될 수 있다. 또는 연령이 올라가며 또래 이외에 다른 연령대 사람이나 성인들과 어울리는 법을 배우고 사회로 나가기 전 대인관계 및 의사소통 능력을 키우는 과정을 겪는다고 이해해볼 수도 있겠다.
마지막으로, 전반적인 응답의 양에서도 차이가 나는 것을 확인할 수 있었다. 중학생에게 50개의 핵심 문장이 도출된 것에 비하여 예비대학생의 경우 61개의 핵심 문장이 도출되었다. 아울러 문장의 개수뿐만이 아니라 내용적으로도 더 다양하고 풍부한 경험과 감정 및 사고를 하고 있음을 알 수 있다. 다시 말하자면, 학년이 높아질수록 사고능력이 늘어나면서 자신의 경험을 더욱 분석하고 세분화할 줄 아는 능력을 가지며 자신의 역량에 대한 관심이 더 드러나는 것을 알 수 있다.
본 연구 결과는 이번 SW·AI 교육 프로그램이 2020년 세계경제포럼(WEF)에서 발표한 4차 산업혁명 시대를 위한 미래 교육 비전인 다섯 가지의 교육 접근법에 부합하는 결과를 보여준다(World Economic Forum, 2020). 첫 번째는 즐거운(Playful) 환경을 제공하는 것이다. 이는 재밌는 접근법으로 학생들이 사회적 교류를 경험하고 적극적인 사고를 도모하도록 하는 것으로 이번 SW·AI 교육 프로그램 제공 후 대부분 학생들이 느낀 것과 일치한다. 두 번째는 실생활에서도 활용 가능한 콘텐츠를 제공해야 한다는 경험적인(Experimental) 접근법이다. 이는 ‘SW·AI 교육 프로그램을 통해 배운 내용을 실생활에서 활용할 수 있다’라는 결과와 일치한다. 세 번째는 디지털 기기의 사용법에 익숙해지고 과정을 이해할 줄 알며 활용해 문제를 해결하는 능력을 갖게 하는. 컴퓨터를 사용한(Computational) 접근법이다. 이는 참가자들이 공통적으로 느낀 부분 중 하나이자 SW·AI 교육 프로그램을 실시하는 대표적인 이유 중 하나이다. 네 번째는 체화된(Embodied) 접근법으로, 직접 사용하고 문제도 해결해 보는 과정을 통해 지식이 체화되어야 한다는 것이다. 이번 SW·AI 교육의 결과를 통해 단순히 SW와 AI에 대한 지식을 제공하는 것만이 교육 프로그램의 목적이 아님을 알 수 있었다. 마지막은 다문화적(Multiliteracies) 접근법으로 AI의 사용은 다양한 언어와 문화에 더 많은 접근하게 해준다는 것이다. 비록 이번 교육에서는 다양한 문화를 경험해 보는 교육을 제공하지는 못했지만, 이번 프로그램으로 인하여 SW·AI 교육의 무한한 역량을 알아볼 수 있었다. 추후 SW·AI 교육 프로그램 개발에는 다문화적인 요소를 포함하는 것을 제언한다. 이와 같이 인공지능 시대의 교육은 보다 다양하고 창의적이며 즐겁고 기억에 남을 교육을 제공하고자 하였고, 연구 결과를 통해 긍정적 효과들을 확인할 수 있었다.
본 연구의 제한점은 다음과 같다. 첫째, 본 연구에서는 다양한 교육 프로그램들의 효과를 포괄적으로 살펴보는 것을 목적으로 교육 프로그램의 세부 요소들이 가지는 효과를 명확히 알기는 어렵다. 디지털새싹 캠프의 교육 프로그램들이 다루는 내용은 매우 다양하며, 본 연구참여자들이 경험한 교육 프로그램들도 일부는 인공지능에, 일부는 소프트웨어에 집중하는 등 서로 상이한 내용을 다루고 있었다. 따라서 후속 연구에서는 프로그램의 세부 내용에 보다 밀접하게 관련되는 효과가 무엇인지 함께 살펴보는 것이 필요할 것으로 보인다. 둘째, 본 연구는 참여자들이 인식한 효과를 개방적이고 탐색적으로 살펴보기 위하여 개념도 방법론을 사용하였기에, 양적 연구와 비교하여 참여자 수가 제한적이었다. 본 연구 결과가 일반화되기 위해서는 대단위의 양적 연구가 병행될 필요가 있을 것으로 보인다.
본 연구는 학생들을 발달단계에 따라 분류하여 SW·AI 교육 프로그램을 진행하고 개념도 방법론을 통하여 학생들이 경험하고 인식한 효과를 평가하였다는 점에서 의의가 있다. 또한, 향후 학생들에게 SW·AI 교육 프로그램을 진행할 경우, 맞춤형으로 제공할 필요가 있다는 것을 시사해 주었다는 점에서도 의의가 있다. 즉, 학생들에게 SW·AI 교육 프로그램을 제공할 경우, AI 교육의 종류만 분류하여 제공하지 않고 발달적 측면을 고려하여 제공할 필요가 있다는 것이다. 또한, 학생들에게 만족스럽고 효과적인 SW·AI 교육 프로그램을 제공하기 위해서는 교원의 역량도 매우 중요함이 드러났다. 따라서 프로그램을 기획하고 실시하는 교원에 대한 SW·AI 교육 역량 강화를 위한 추후 연구 및 교육 개발의 필요성을 제언한다.
Acknowledgments
본 연구는 2023년 한국과학창의재단의 ‘SW·AI 교육 캠프 효과성 분석 연구’ 연구보고서의 내용을 토대로 하였음.
References
- 과학기술정보통신부 (2023). 소프트웨어 진흥 전략.
- 과학기술정보통신부 (2023). 대한민국 초거대 AI 산업 도약 방안.
- 관계부처합동 (2020). 전국민 AI·SW 교육 확산 방안.
- 김민웅, 조한진, 위선복, 김태훈 (2016). 초·중등 교육에서 로봇기반교육 효과에 대한 메타분석. 한국기술교육학회지, 16(2), 88-107.
- 김민자, 김현철 (2018). 컴퓨팅 사고력 관점에서 본 컴퓨터 비전공자 대상 교양 컴퓨팅 수업의 효과성 분석 연구. 컴퓨터교육학회 논문지, 21(1), 11-21.
- 김민재, 이승철, 김태영 (2021). 데이터 리터러시를 활용한 소프트웨어 교육이 중학생의 컴퓨팅 사고력과 창의적 문제해결력에 미치는 영향. 교원교육, 37(1), 167-184.
- 김병숙, 최동선 (2005). 청소년의 진로의식 및 진로경로 분석. 한국사회학회 사회학대회 논문집, 551-571.
- 김선경 (2011). 초등학교 담임교사가 지각한 학교상담의 어려움에 대한 연구. 상담학연구, 12(5), 1473-1488.
- 김성원, 이영준 (2021). 과학·수학·정보 융합 교육 프로그램이중학생의 컴퓨팅 사고력에 미치는 효과. 컴퓨터교육학회 논문지, 24(3), 1-10.
- 김수환, 김성훈, 이민정, 김현철 (2020). K-12 학생 및 교사를 위한 인공지능 교육에 대한 고찰. 컴퓨터교육학회논문지, 23(4), 1–11.
- 김윤정, 양은주 (2020). 북한이탈주민 내담자와 남한 상담자가 지각한 상담의 도움 및 도움 되지 않은 경험. 한국심리학회지: 상담 및 심리치료, 32(1), 117-145.
- 김윤정, 전소정, 우성범, 황수덕, 이종은, 박선웅, 양은주 (2016). 교육기부 프로그램의 효과성에 대한 청소년 수혜자와 대학생 제공자의 인식. 열린교육연구, 24(4), 85-110.
- 김재경, 손의성 (2021). 비전공자 대상의 데이터과학 교과목 개발과 컴퓨팅 사고력 효과 분석. 컴퓨터교육학회 논문지, 24(3), 23-31.
- 김진옥. (2021). 인공지능 교육 프로그램이초등학교 예비교사의 AI 기술 활용에대한 교수 효능감과 태도에 미치는 영향. 한국실과교육학회지, 34(1), 181-198.
- 김한성, 서영희, 송지환, 이중엽 (2020). Computing Curricula 2020을 통해 본 미래 초·중등 SW·AI 교육의 방향. 소프트웨어정책연구소.
- 김현철, 장연주, 이승엽, 이영호, 정윤지, 송석리, 김종혜 (2020). 인공지능 교육 길라잡이. 교육부, 과학기술정보통 한국과학창의재단(2019). 2019 AI 융합교육정책자료집. 서울: 한국과학창의재단.
- 민경화, 최윤정 (2007). 상담학 연구에서 개념도 방법의 적용. 상담학연구, 8(4), 1291-1307.
- 박정인, 김성백 (2022). 특성화고등학교 맞춤형 인공지능 수학 융합 프로그램 개발 및 효과 분석. 컴퓨터교육학회 논문지, 25(3), 39-47.
- 박정인, 김성백 (2022). 특성화고등학교 맞춤형 인공지능 수학 융합 프로그램 개발 및 효과 분석. 컴퓨터교육학회 논문지, 25(3), 39-47.
- 서주영, 신승훈 (2020). 비전공자 소프트웨어 교육에서 전공맞춤형 학습 콘텐츠의 효과에 관한 사례 연구. 디지털융복합연구, 18(5), 55-63.
- 손경진, 한정혜 (2018). 내러티브-종이아트 활동 기반 로봇활용 SW 교육 효과성 비교. 정보교육학회논문지, 22(4), 419-425.
- 손원성 (2020). 인공지능(AI) 교육 플랫폼을 활용한 SW교육 수업안 개발 : 초등학교 고학년을 중심으로. 정보교육학회논문지, 24(5), 453-462.
- 송의성, 임화경 (2021). 해외 SW·AI 교육 현황 분석을 통한 초등학교 정보 교과의 필요성. 정보교육학회논문지, 25(2), 301-308.
- 신진선, 조미헌 (2021). 초등학생을 위한 활동중심 인공지능 융합 교육 프로그램 개발 및 적용. 정보교육학회논문지, 25(3), 437-448.
- 양창모 (2014). 메타 분석을 이용한 로봇교육과 프로그래밍교육의 효과 비교. 정보교육학회논문지, 18(3), 413-422.
- 오경선, 권정인 (2019). 이해중심 SW 기초교육 프로그램의 컴퓨팅사고 효과성 검증 연구. 디지털융복합연구, 17(10), 23-35.
- 오경선, 김현정 (2020). 빅데이터 기반의 AI기초교양교육이 학부생의 정의적 태도에 미치는 영향. 정보교육학회논문지, 24(5), 463-471.
- 오미자, 김미량 (2018). 대학생의 창의역량 함양을 위한 SW 교과목 운영 효과 검증. 컴퓨터교육학회 논문지, 21(6), 15-26.
- 유지원 (2022). 앱 인벤터를 활용한 SW 프로젝트 교육이 컴퓨팅 사고력 기반 문제해결력과 SW 학습 과제가치 인식에 미치는 효과: 인문사회계열 신입생을 대상으로. 컴퓨터교육학회 논문지, 25(5), 27-36.
- 이성혜 (2020). 디자인씽킹 프로세스 기반의 인공지능 (AI) 교육 프로그램 적용 효과분석. 컴퓨터교육학회 논문지, 23(4), 49-59.
- 이성희 (2019). 에너지 주제를 기반으로 한 SW 교육프로그램이 창의적 문제해결력에 미치는 영향. 에너지기후변화교육, 9(1), 43-50.
- 이재호, 이승규, 이승훈 (2021). AI 융합 교육이 초등학생의 AI 인식에 미치는 영향. 정보교육학회논문지, 25(3), 483-490.
- 이정민, 고은지 (2018). 소프트웨어 교육이 중학생의 컴퓨팅 사고력에 미치는 효과. 한국콘텐츠학회논문지, 18(12), 238-250.
- 이현림 (1994). 청소년의 진로의식 성숙에 의한 진로개발 프로그램에 관한 연구. 인문연구, 16(1), 335-357.
- 임다미, 강신천, 이은상, 남희영, 김소연, 조서연, 김각미, 송고은, 조효준 (2021). 초·중등 인공지능(AI) 교육 학교 적용 방안 연구. 과학창의재단.
- 전형기, 김영식. (2022). 예비교사를 위한 드론 활용 앵커드 AI· SW 융합 프로그램이 창의융합역량에 미치는 영향. 컴퓨터교육학회 논문지, 25(1), 83-92.
- 정은숙, 허민, 진영학, 김영식 (2009). 중학교 프로그래밍 수업에서 순서도학습이 논리적 사고력과 성취도에 미치는 영향. 컴퓨터교육학회 논문지, 12(6), 11-19.
- 정찬석, 이은경, 김현주 (2004). 청소년 내담자가 지각하는 상담의 도움경험 분석: 개념도 연구법(Concept Mapping)을 중심으로. 한국심리학회지, 상담 및 심리치료, 16(1), 21-35.
- 최연구 (2017). 4차 산업혁명시대의 미래교육 예측과 전망. FUTURE HORIZON, (33), 32-35. 소프트웨어 정책연구소, SW 산업실태조사 보고서.
- 최영준, 최병순, 이원식 (1985). 중 , 고등학생들의 논리적 사고력 형성에 관한 연구Ⅰ. 한국과학교육학회지 5(1), 1-9.
- 한국과학창의재단 (2023). 디지털새싹 캠프 성과 분석을 통한 발전 방안 연구.
- 허민, 진영학, 김영식 (2010). 구체적 조작기 학생들을 위한 선 알고리즘 후 프로그래밍 학습 모형의 개발 및 적용. 컴퓨터교육학회 논문지, 13(1), 27-36.
- 허희정, 천재순 (2022). 인공지능을 주제로 한 과학탐구실험 교과 내 ‘첨단과학탐구’ 단원 수업 프로그램의 개발 및 적용. 학습자중심교과교육연구, 22(8), 173-190.
- 홍원준, 이현, 최재성 (2020). 고등학생 대상 메이커 교육이 소프트웨어교육에 대한 태도, 창의적 문제해결력, 컴퓨팅 사고에 미치는 영향. 정보교육 학회논문지, 24(6), 585-596.
- Bedi, R., Davis, M., & Williams, M. (2005). Critical incidents in the formation of the therapeutic alliance from the client’s perspective. Psychotherapy, 42(3), 311-323. [https://doi.org/10.1037/0033-3204.42.3.311]
- Gol, A. R., & Cook, S. W. (2004). Exploring the underlying dimensions of coping: A concept mapping approach. Journal of Social and Clinical Psychology, 23, 155-171. [https://doi.org/10.1521/jscp.23.2.155.31021]
- Kane, M., & Trochim, W. (2007). Concept mapping for planning and evaluation. Sage Publications, Inc. [https://doi.org/10.4135/9781412983730]
- Kunkel, M. A., & Newsom, S. S. (1996). Presenting problems for mental health services: A concept map. Journal of Mental Health Counseling, 18, 43-53. [https://doi.org/10.1002/yd.23319960107]
- Paulson, B. L., & Worth, M. J. (2002). Counseling for suicide: client perspectives. Journal of Counseling & Amp; Development, 80(1), 86-93. [https://doi.org/10.1002/j.1556-6678.2002.tb00170.x]
- Paulson, B., & Worth, M. (2002). Counseling for suicide: Client perspectives. Journal of Counseling Psychology and Development, 80, 86-93. [https://doi.org/10.1002/j.1556-6678.2002.tb00170.x]
- Paulson, B., Truscott, K., & Stuart, J. (1999). Client’s perceptions of helpful experiences in counseling. Journal of Counseling Psychology, 46, 317-324. [https://doi.org/10.1037/0022-0167.46.3.317]
- Rosas, S. R., & Ridings, J. W. (2017). The use of concept mapping in measurement development and evaluation: Application and future directions. Evaluation and program planning, 60, 265-276. [https://doi.org/10.1016/j.evalprogplan.2016.08.016]
- Trochim, W. M. K. (1989). An introduction to concept mapping for planning and evaluation. Evaluation and program planning, 12, 1-16. [https://doi.org/10.1016/0149-7189(89)90016-5]
- World Economic Forum. (2020). Schools of the Future: Defining New Models of Education for the Fourth Industrial Revolution.