자기소개서와의 일치도를 이용한 교수추천서의 신뢰도 분석

Analysis of reliability of professor recommendation letters based on concordance with self-introduction letter

Article information

Korean J Med Educ. 2013;25(4):337-341
Publication date (electronic) : 2013 December 31
doi : https://doi.org/10.3946/kjme.2013.25.4.337
Department of Microbiology, Kangwon National University School of Medicine, Chuncheon, Korea
김상현
강원대학교 의학전문대학원 미생물학교실
Corresponding Author: Sang Hyun Kim Department of Microbiology, Kangwon National University School of Medicine, 1   Gangwondaehak-gil, Chuncheon 200-701, Korea Tel: +82.33.250.8863 Fax: +82.33.242.7571 email: sanghyun@kangwon.ac.kr
Received 2013 January 23; Revised 2013 August 25; Accepted 2013 September 1.

Trans Abstract

Purpose:

The purpose of this study was to examine the concordance between a checklist’s categories of professor recommendation letters and characteristics of the self-introduction letter.

Methods:

Checklists of professor recommendation letters were analyzed and classified into cognitive, social, and affective domains. Simple correlation was performed to determine whether the characteristics of the checklists were concordant with those of the self-introduction letter. The difference in ratings of the checklists by pass or fail grades was analyzed by independent sample t-test. Logistic regression analysis was performed to determine whether a pass or fail grade was influenced by ratings on the checklists.

Results:

The Cronbach α value of the checklists was 0.854. Initiative, as an affective domain, in the professor’s recommendation letter was highly ranked among the six checklist categories. Self-directed learning in the self-introduction letter was influenced by a pass or fail grade by logistic regression analysis (p<0.05). Successful applicants received higher ratings than those who failed in every checklist category, particularly in problem-solving ability, communication skills, initiative, and morality (p<0.05).

Conclusion:

There was a strong correlation between cognitive and affective characteristics in the professor recommendation letters and the sum of all characteristics in the self-introduction letter.

서론

교수추천서는 지원자의 특징을 다각적인 면에서 기술하는 데 효과적이며 인지적 측면을 강조하는 기존의 학점위주의 획일적 선발방법을 보완하는 데 실질적인 도움을 준다. 대입전형자료로 쓰이는 교사추천서는 1997년 4개 대학에서 학교장 추천 전형의 실시와 함께 사용되기 시작했으며 2000년에는 89개 대학에서 11,152명, 2001년에는 99개 대학에서 118,811명이 교사추천서가 활용되어 선발되었다[1]. 대입전형자료로서 점차 활용 범위와 비중이 확대되고 있지만 대학마다 추천서의 양식과 내용들이 다르기 때문에 객관적인 자료로서의 가치에 대한 의문도 꾸준히 제기되어 왔다[2]. 2013년 기준으로 의학전문대학원(의전원) 수시모집에서 26개 의전원 중 25개 의전원이 자기소개서 제출을 명시하고 있지만 9개 의전원만이 교수추천서를 제출하도록 한 것은 대학 당국이 교수추천서가 입학전형에 점수로 반영될 만큼 신뢰성 있게 작성되었는지에 대한 의문을 품고 있기 때문으로 생각되었다. 그러나 교수추천서의 신뢰도가 확보되고 문제점이 개선된다면 대학 입학전형에서 차지하는 의의는 매우 크다고 할 수 있다[3].

본 연구에서는 교수추천서 체크리스트 항목이 지원자의 자기소개서에서도 일치되게 기술되어 있는지를 분석하여 교수추천서의 신뢰도를 분석하고자 하였고 주관성이 강한 이들 자료를 객관적으로 활용할 수 있는 방안을 모색해 보고자 하였다.

대상 및 방법

1. 연구 대상

2013년도 강원대학교 의전원 입학생 선발 수시모집 응시자 109명 중에서 일반전형 지원자 40명, 특별전형 지원자 52명(지역균형선발 48명, 외국대학졸업 4명), 정시모집 응시자 중 M.D.Ph.D.과정 지원자 17명을 대상으로 하였다. 합격 여부에 따른 분석 시에는 정시모집 응시자인 M.D.Ph.D.과정 지원자 17명을 제외하고 92명을 대상으로 하였다.

2. 연구 방법

강원대학교 의전원 교수추천서의 체크리스트는 지원자의 지적 호기심(해당 전공 및 전문분야의 지식, 경험, 이해도), 문제해결능력(문제의 원인과 그에 대한 대안을 분석하고 해결하는 능력), 의사소통능력(타인의 말의 요점을 파악하고 의견을 효과적으로 표현하는 능력), 협동능력(사람과 협력적인 관계를 만들어가고 갈등을 조정하는 능력), 도덕성(언행의 일관성, 공정성, 윤리 도덕성, 책임의식), 정서적 성숙도(어려움에서도 평정을 잃지 않고 일관성을 유지하며 이를 극복하고 회복함) 항목에 대한 분야별 평가를 7점 척도(1점: 최상, 2점: 매우 우수, 3점: 우수, 4점: 평균, 5점: 평균이하, 6점: 부족,7점: 평가불가)를 이용하여 교수가 지원자를 평가하도록 하였다. 또한 교수추천서 체크리스트 항목인 지적 호기심, 문제해결능력, 의사소통능력을 인지적 특성으로, 협동능력, 도덕성을 사회적 특성으로, 정서적 성숙도를 정의적 특성으로 분류하여 분석하였다[4,5,6]. 자기소개서에서는 지원자가 기술하고 있는 내용을 인지적 행동특성(지적 호기심, 문제해결능력, 창의성, 자기주도적 학습능력, 의사소통능력), 정의적 행동특성(의학적성, 자신감, 도전정신, 다재다능함, 완벽주의,자아개념, 내적 동기, 적극성, 목표의식), 사회적 행동특성(도덕성, 사회성, 리더십)으로 나누어 분석하였다[4,5,6]. 석사학위를 가진 연구원 2인이 각 행동특성에 대한 내용을 숙지한 후 특성을 분류하였고 이견이 있는 경우 2인의 합의과정을 거쳐 빈도분석하였다.

3. 자료 분석

추천서 체크리스트 항목이 학생이 기술한 자기 소개서에서도 일치되게 서술되어 있는지를 Pearson의 단순적률 상관계수를 이용하여 교수추천서의 신뢰도를 분석하였다. 합격 여부에 따른 교수 체크리스트 점수와의 차이는 독립표본 t-검정을 통해 분석하였다. 교수 체크리스트 점수가 합격에 영향을 미치는지를 조사하기 위하여 로지스틱 회귀분석을 실시하였다. 모든 통계분석은 SPSS version 21.0 (IBM SPSS Inc.,Chicago, USA)을 사용하였다.

결과

1. 교수추천서 체크리스트의 신뢰도 분석

교수추천서의 지적 호기심과 자기소개서의 사회적 특성 및 정의적 특성, 교수추천서의 문제해결능력과 자기소개서의 정의적 특성은 서로 정적상관관계가 있었다(Table 1). 교수추천서의 인지적 특성 및 정의적 특성은 자기소개서의 인지적, 사회적, 정의적 특성의 총합과 정적상관관계에 있었고 상관계수는 각각 0.422, 0.406이었다(p<0.001).

Simple Correlation between Behavioral Characteristics of Self-Introduction Letter and Checklist of Professor Recommendation Letters

2. 교수추천서 체크리스트가 최종합격에 미치는 영향

자기소개서에서 지원자가 기술하고 있는 내용이 최종합격에 유의하게 영향을 미치는지 알아보기 위해 로지스틱 회귀분석을 실시한 결과, 자기주도적 학습능력만이 유의수준 0.05에서 최종합격에 유의하게 영향을 미치고 있는 것으로 분석되었다(p<0.05).

3. 최종합격 여부에 따른 교수추천서 체크리스트의 특징

M.D.Ph.D.과정 지원자 17명을 제외한 총 92명 중에서 최종합격한 학생과 불합격한 학생의 체크리스트 점수 차이를 독립표본 t-검정을 통해 비교하였다. 합격자의 경우 총괄평가 점수를 제외하면 교수추천서의 모든 체크리스트 평균 점수가 불합격자보다 낮으므로 7점 척도를 역산하면 합격자가 더 높은 평가를 받은 것으로 분석되었다(Table 2). 특히 합격자의 문제해결능력, 의사소통능력, 도덕성, 정서적 성숙도 등 총 4개 항목의 평균점수에서 통계적으로 유의한 차이를 보여주었다(Table 2).

Independent Sample t-Test of Six Checklist Categories of Professor Recommendation Letters by Pass/Fail Grade

고찰

교수가 지원자를 관찰해온 기간은 평균 3년 7개월이었으며 범위는 6개월부터 11년 7개월까지 다양하였다. 교수추천서 체크리스트 항목에 대한 Cronbach α 신뢰도는 0.854이므로 교수는 6가지 체크리스트 항목에 대해 신뢰성 있게 추천서를 작성하였다고 해석할 수 있었다. 전체 109명 지원자의 체크리스트 점수 평균은 지원자의 정서적 성숙도(1.2점), 도덕성(1.3점), 문제해결능력(1.4점), 의사소통능력(1.6점), 지적 호기심(1.7점), 협동능력(1.7점) 순서로 나타났다(1점: 최상, 2점: 매우 우수, 3점: 우수, 4점: 평균, 5점: 평균 이하, 6점: 부족,7점: 평가불가). 외국대학 출신의 지원자는 협동능력이 2.8점으로 가장 낮은 평가를 받았고, M.D.Ph.D.과정 지원자는 정서적 성숙도가 1.0점, 협동능력은 1.1점으로 가장 높은 평가를 받았다.

교수는 정의적 특징인 정서적 성숙도 항목에서 체크리스트를 통해 가장 높은 점수를 주는 것으로 나타났다. 체크리스트평가 시에 학생의 내면적 특성을 가장 잘 보여주는 정의적 특성을 우선적으로 고려하는 것을 알 수 있었고, 특히 정의적 특성의 한 가지인 의학적성을 통해 의사라는 직업적 특성에 지원자가 적합한지를 추천서에서 우선적으로 고려함을 알 수 있었다. 단순적률상관계수에 의한 신뢰도를 측정하기 위해서는 상관계수는 0.40 이상이어야 하며, 계수가 높을수록 신뢰도는 높다고 할 수 있다[7]. 교수추천서 체크리스트 항목의 인지적 특성, 정의적 특성이 학생이 기술한 전체 자기소개서 내용과도 일치되게 기술되어 있어서 신뢰성 있게 작성되었다고 해석할 수 있었다(r>0.40, p<0.001). 인지적 특성은 추상적인 개념과 사실적인 주변 정보들을 이해하고 활용하는 능력과 학습할 수 있는 능력을 의미하는데 이러한 특성이 교수와학생에서 공통적으로 인식되어 기술된다는 것을 알 수 있었다[8]. 자기소개서에서 지원자가 기술한 자기주도적 학습능력이 유의수준 0.05에서 최종합격에 유의하게 영향을 미치고 있는 것으로 분석되었고 다른 특성은 최종합격에 유의하게 영향을 미치고 있지 않았다. 앞서 언급한 체크리스트 항목과 체크리스트 항목을 인지적 특성, 사회적 특성, 정의적 특성으로 나누어 분석한 결과에서 차이를 보이는 이유는 분석 대상이 된 체크리스트 항목이 총 6가지로 인지적 특성 3가지, 사회적 특성 2가지, 정의적 특성 1가지 항목으로 균형 있게 구성되지 못했고 항목수도 적었기 때문으로 생각되었다. 향후 정의적 특성과 사회적 특성이 체크리스트 내에 균형 있게 포함되도록 문항을 개선하면 체크리스트가 보다 객관적인 자료로 활용될 수 있을 것이다. 따라서 피상적이고 형식적인 기술이 되지 않도록 구체적이고 세밀한 서술이 가능한 항목을 추천서 내에 추가하고, 체크리스트 항목 수를 늘리며, 세밀하게 평가할 수 있는 지표들도 새로이 개발한다면 교수추천서는 입학전형에서 한층 더 신뢰성이 높은 자료로 활용될 수 있을 것이다.

Acknowledgements

I appreciate the support according to this study by members of the Department of Microbiology, Kangwon National University School of Medicine, Chuncheon, South Korea.

References

1. Lee KH. Standardization of evaluation criteria for common application in the admissions office system. J Korean Educ Forum 2010;9:23–47.
2. Park SY. A comparative study on the application of the materials of screening process for college entrance through domestic and foreign cases of admissions officer system [master's thesis] Seoul, Korea: Kyung Hee University; 2010.
3. Hunsaker SL, Finley VS, Frank EL. An analysis of teacher nominations and student performance in gifted programs. Gift Child Q 1997;41:19–24.
4. Choi YJ. A comparison of leadership skills and social maturity between gifted and average elementary school students [master's thesis] [Busan, Korea]: Busan National University; 2009.
5. Kim JH. A study on the validity of the rating scale for gifted children [master's thesis] [Seoul, Korea]: Sookmyung Women's University; 1995.
6. Park HJ. Analysis of inter rater reliability of self introduction letter and teacher's recommendation letter used in identification of gifted students by class observations and nominations [master's thesis] [Incheon, Korea]: Incheon National University; 2010.
7. Sung TJ, Kang EC, Kwak DJ, Kim KH, Kim CK, Kim HS, Bong MM, Yu JB, Lee YM, Lee YS, Lim W, Han SH, Hong HJ. Introduction to education Seoul, Korea: Hakjisa; 2007.
8. Kim DI. Child development and learning. Seoul, Korea: Kyoyook Press; 2000.

Article information Continued

Funding : Funding: This study was supported by the Research Grant from Kangwon National University School of Medicine 2014.

Table 1.

Simple Correlation between Behavioral Characteristics of Self-Introduction Letter and Checklist of Professor Recommendation Letters

Professor recommendation letter Self-introduction letter

Cognitive domain Social domain Affective domain Sum
Intellectual curiosity r 0.111 0.204 0.211 0.175
p-value 0.250 0.034* 0.028* 0.104
Problem solving ability r 0.186 0.170 0.190 0.182
p-value 0.053 0.078 0.047* 0.059
Communication skill r 0.011 -0.019 -0.040 -0.016
p-value 0.910 0.843 0.682 0.812
Cooperation r 0.035 0.162 0.088 0.095
p-value 0.715 0.092 0.364 0.390
Morality r 0.232 0.149 0.208 0.196
p-value 0.015* 0.123 0.030* 0.056
Initiative r 0.101 0.142 0.065 0.103
p-value 0.295 0.140 0.500 0.312
*

p<0.05.

Table 2.

Independent Sample t-Test of Six Checklist Categories of Professor Recommendation Letters by Pass/Fail Grade

Category Pass/Fail No. Mean SD t p-value
Intellectual curiosity Pass 18 1.72 1.074 0.214 0.262
Fail 74 1.68 0.076
Problem solving ability Pass 18 1.67 1.085 0.710 0.024*
Fail 74 1.53 0.646
Communication skill Pass 18 1.67 1.138 0.763 0.036*
Fail 74 1.51 0.646
Cooperation Pass 18 1.72 1.018 0.596 0.931
Fail 74 1.55 1.087
Morality Pass 18 1.44 1.149 0.981 0.007*
Fail 74 1.27 0.505
Initiative Pass 18 1.56 1.042 1.342 0.006*
Fail 74 1.32 0.526

SD: Standard deviation.

*

p<0.05.