물리학 지필평가에서의 과학탐구역량 평가 비교 - 미국 AP, 영국 A-level, IB DP를 중심으로 - = A Comparative Analysis of Assessment in Scientific Inquiry Competencies: Focusing on Physics Written Examinations of AP, A-level, and IB DP|RISS 상세보기

다국어 초록 (Multilingual Abstract)

Current trends in science education significantly emphasize on
fostering scientific inquiry competencies through engaging
students in scientific practices. Scientific practices refer to the
processes of investigating phenomena and solving problems
scientifically, while scientific inquiry competencies denote the
ability to actively engage in scientific practices. As the goals of
science education are reorganized around scientific inquiry
competencies based on scientific practices, to ensure alignment
with the curriculum, it is necessary to adjust assessment toward
measuring these competencies.
Physics is a discipline centered on evidence-based modeling
and logical reasoning. However, according to previous studies,
written examinations in physics—which take the largest portion
of school assessments in physics-tend to focus on the
application of formulas or mathematical calculation skills rather
than measuring complex scientific inquiry competencies.
Furthermore, such assessments are disproportionately weighted
toward specific elements of scientific inquiry competencies, such
as ‘Interpreting Data’ and ‘Drawing Conclusions’.
Prompted by these concerns, this study aims to explore how
scientific inquiry competencies can be meaningfully assessed
within the format of written examinations without being biased
toward specific elements of scientific inquiry competencies.
This study identified the assessment systems for scientific
inquiry competencies in major international college entrance
examinations including AP Physics, A-Level Physics, and IB DP
Physics—all of which are internationally recognized for their
credibility and emphasis on scientific inquiry. This study
analyzed the inquiry types and structural characteristics of test
items, through an analysis of curriculum documents, past exam
papers, and mark schemes.
This study established an analytical framework by
synthesizing multi-dimensional scientific inquiry competencies
through a literature review and expert review. The framework is
composed of three dimensions and nine elements: the ‘Initiating
Inquiry’ dimension (Asking Questions, Formulating Hypotheses),
the ‘Procedural Knowledge’ dimension (Planning
investigations, Obtaining Data, Interpreting Data, and Drawing
Conclusions), and the ‘Higher-order Thinking’ dimension
(Applying Scientific Models, Argumentation, and Evaluating
Alternative Explanations).
This study investigated how the elements of scientific inquiry
competencies being assessed varied depending on the inquiry
types and structural characteristics of test items within the three
international examinations.
AP test items were classified as the‘basic inquiry’ types,
characterized by a ‘linear structure’ that required students to
independently solve the test items through the entire scientific
inquiry process feasible in a high school laboratory. This
structure effectively assessed ‘Procedural Knowledge’
dimension, specifically providing a detailed assessment of
Planning Investigations, Obtaining Data, Interpreting Data, and
Drawing Conclusions. Since the AP program does not include a
separate practical assessment, it appears that written
examinations assess scientific inquiry competencies by simulating
entire experimental process. Therefore, students can learn the
fundamental procedure of scientific inquiry independently and
repeatedly. However, opportunities for students to construct
alternative explanations or engage in argumentative
communication remained limited, as the conclusions of these test
items often focused on confirming established physical laws.
A-Level test items were classified as the ‘applied inquiry’
types, characterized by a ‘linear structur’e that provided
students with opportunities to experience the complex inquiry
processes of actual scientists. This structure effectively
assessed the ‘Higher-order Thinking’ dimension, specifically
Applying Scientific Models, Argumentation, and Evaluating
Alternative Explanations. Although A-Level includes a separate
practical assessment (named Practical Endorsement), it only
verifies completion and is not reflected in the final grade. To fill
this gap in the assessment system, it is inferred that written
examinations assess scientific inquiry competencies by
sequentially simulating the scientific inquiry. It seems that
A-Level test items enable students to engage in inquiry similar
to that of actual scientists. Meanwhile, to alleviate cognitive load,
A-Level test items appear to focus on Planning Investigations
within specific segments. Consequently, there were limitations in
providing students with a proactive experience of planning the
entire investigations.
IB DP items were classified as the ‘applied inquiry’ types
characterized by a ‘modular structure.’ IB DP items provide an
authentic, scenario-based context akin to real-world scientific
inquiry, with independent sub-items assessing inquiry
competencies separately. This structure effectively assessed
both the competencies of‘Higher-order Thinking’ dimension
and Formulating Hypotheses. In the IB DP, students can practice
the linear scientific inquiry process through Internal Assessment
(IA), which is quantitatively reflected in their final grades.
Consequently, it is inferred that IB DP focus on assessing the
‘Higher-order Thinking’ dimension within complex contexts
that are challenging to implement in school laboratory.
Furthermore, if a student sets an incorrect initial hypothesis, the
linear structures of AP and A-Level test items make it difficult
to assess sub-items, yet IB DP test items are designed so that
responses to previous sub-items are independent of subsequent
ones. This ‘modular’ structure facilitates the assessment of
Formulating Hypotheses. However, assessing scientific inquiry
holistically remains limited, as competencies are assessed
separately rather than sequentially.
The main findings of this study are summarized as follows.
First, the inquiry types of the test items varied depending on the
specific scientific inquiry competencies targeted to assess. AP
utilized ‘basic inquiry,’ which was conducive to the precise
measurement of the ‘Procedural Knowledge’ dimension;
however, it was limited in assessing the ‘Higher-order
Thinking’ dimension due to its structure, which leads students
toward predetermined results. In contrast, A-Level and IB DP
utilized ‘applied inquiry.’ In these examinations, the
assessment of the ‘Procedural Knowledge’ dimension was
simplified, yet the ‘Higher-order Thinking’ dimension was
effectively assessed by reflecting authentic scientific practices.
Second, the structural characteristics of the test items varied
according to the assessment system, and these differences
determined the specific scientific inquiry competencies that could
be assessed. In the absence of a separate practical assessment,
AP adopted a ‘linear’ structure that simulates the sequential
process of scientific inquiry within the written examination.
Similarly, A-Level, which conducts practical assessments on a
pass/not classified basis (Practical Endorsement), utilized this
linear structure. Conversely, IB DP, which quantitatively assesses
practical work through IA, utilized a ‘modular’ structure that
selectively assesses specific competencies in written
examinations. This modular’ structure was found to be
particularly conducive to assessing Formulating Hypotheses.
As a tool for assessing scientific inquiry competencies, written
examinations were found to possess both potential and
limitations. Regarding their potential, this study confirmed that
written examinations are effective tools that complement the
constraints of school-based laboratory instruction, providing
students with opportunities to indirectly experience and be
assessed on authentic scientific inquiry. Furthermore, by
removing the burden of physical performance, written
examinations enable an assessment that focuses specifically on
the cognitive dimensions of scientific inquiry competencies. This
suggests that when it is difficult to evaluate Higher-order
Thinking through direct practical assessments, written
examinations can serve as a viable alternative for assessing
these competencies.
Regarding the limitations of written examinations, ‘Asking
Questions’ remained an underserved area across all three
examination systems. This is primarily attributed to the inherent
characteristics of written examinations, which must prioritize
scoring objectivity and efficiency within standardized large-scale
assessments. These findings suggest that concerted efforts are
necessary to develop innovative approaches that can address this
assessment gap in the future.
These limitations could be overcome through more
sophisticated design of test items. By adopting a structure that
independently assesses specific competencies—similar to the
modular structure of the IB DP—it is possible to address the
constraints in assessing ‘Asking Questions.’ This is expected
to assess a broader range of competencies, thereby enhancing
the validity of the assessment while preserving the fairness
inherent in written examinations.

번역하기

국문 초록 (Abstract)

최근 과학교육계는 과학적 실행을 통한 과학탐구역량 함양을 강조하고 있다. 과학적 실행은 과학적으로 현상을 탐구하고 문제를 해결하는 과정을 의미하며, 과학탐구역량은 과학적 실행에 능동적으로 참여하는 능력을 의미한다. 이처럼 과학교육의 목표가 과학적 실행을 강조한 과학탐구역량 중심으로 재편됨에 따라, 교육과정과 평가 사이의 일관성을 확보하기 위해 평가 또한 과학탐구역량을 측정할 수 있는 방향으로의 변화가 요구된다.
물리학은 증거를 통해 현상을 모델링하고, 논리적으로 추론하는 활동이 핵심인 학문이다. 그러나 선행 연구에 따르면 물리학 교과에서 학교 현장의 평가에서 가장 높은 비중을 차지하는 지필평가는 복합적인 과학탐구역량을 측정하기보다는 정형화된 공식의 대입이나 수학적 계산 능력을 측정하는 데 치중하는 경향이 있다. 또한 자료 분석과 결론 도출이라는 특정 과학탐구역량 요소에 편중되어 평가가 이루어지고 있다.
본 연구는 이러한 문제의식에서 출발하였다. 지필평가라는 형식 내에서 어떻게 하면 특정 과학탐구역량 요소에 치우치지 않고 과학탐구역량을 유의미하게 측정할 수 있는지 탐색하고자 하였다.
본 연구는 주요 국제 대입 시험에서 과학탐구역량의 평가 체제를 확인하고, 물리학 지필평가에서 문항의 과학탐구 유형과 구조적 특징을 분석하여 어떤 과학탐구역량 요소를 평가하고 있는지를 탐색하였다. 이를 위해 국제적으로 공신력을 인정받고 있으며 교육과정에서 과학탐구를 강조하는 주요 대학 입학 시험인 미국의 AP (Advanced Placement), 영국의 A-Level (Advanced Level), 그리고 IBO (International Baccalaureate Organization)의 IB DP (International Baccalaureate Diploma Programme) Physics를 대상으로 삼았다. 각 시험의 교육과정 문서, 최신 기출 문제와 채점 기준을 분석하였다.
먼저 본 연구는 선행 연구 고찰과 전문가 검토를 통해 다층적인 과학탐구역량의 특성을 반영하여 분석틀을 설정하였다. 분석틀은 ‘탐구의 시작’ 차원의 과학탐구역량(질문 생성, 가설 설정), ‘절차적 지식’ 차원의 과학탐구역량(실험 설계, 자료 수집, 자료 분석, 결론 도출), ‘고차원적 사고’차원의 과학탐구역량(이론적 모델 적용, 논증적 의사소통, 대안적 설명 분석)으로 총 3개의 차원과 9개의 요소로 구성되었다. 본 연구는 3개의 국제 시험의 과학탐구 유형과 구조적 특징에 따라 평가하는 과학탐구역량 요소에 어떤 차이가 있는지 분석하였다.
AP 문항은 ‘기초 탐구’ 유형에 해당하며, 일반적인 고등학교 실험실 환경에서 과학탐구의 일련의 과정을 순차적으로 나타낸 구조를 띠었다. 이러한 구조는 실험 설계, 자료 수집, 자료 분석, 결론 도출과 같은 ‘절차적 지식’ 차원의 과학탐구역량을 구체적으로 평가하는 데 효과적이었다. AP에는 별도의 실험 수행 평가가 없기 때문에 지필평가 내에서 실험의 연속적인 과정을 문항으로 재현하여 과학탐구역량을 평가한 것으로 추론된다. AP 문항은 학생이 독립적으로 과학탐구의 기본 구조를 반복적으로 학습할 수 있다는 장점이 있었다. 하지만 과학탐구의 결론이 이미 알려진 물리 법칙을 확인하는 수준에 머물러, 학생이 과학탐구 결과에 대한 대안적 설명을 탐색하거나 비판적 논증을 펼칠 기회는 제한적이었다.
A-Level 문항은 ‘응용 탐구’ 유형에 해당하며, 실제 과학자의 복잡한 탐구 과정을 단계적으로 나타낸 구조를 띠었다. 이러한 구조는 특히 이론적 모델 적용, 논증적 의사소통, 대안적 설명 분석 등과 같이 ‘고차원적 사고’ 차원의 과학탐구역량을 평가하는 데에 강점을 보였다. A-Level은 실험 수행 평가가 있으나 실험 이수 여부만을 확인하고 성적에는 반영하지 않는다. 이러한 평가 체제의 공백을 메우기 위해, 지필평가 내에서 과학탐구 과정을 순차적으로 재현하여 과학탐구역량을 평가한 것으로 추론된다. A-Level 문항을 통해 학생은 실제 과학자의 탐구와 유사한 과학탐구를 학습할 수 있다는 장점이 있었다. 한편, A-Level 문항에서는 학생의 인지적 부담을 완화하기 위해 특정 요소에 국한하여 학생이 실험을 설계할 수 있는지를 평가하는 것으로 보인다. 그 결과 학생이 과학탐구의 전 과정을 설계해 보는 주도적인 경험을 하기에는 한계가 있었다.
IB DP 문항은 ‘응용 탐구’ 유형에 해당하며, ‘모듈형’ 구조를 띠었다. IB DP는 실제 공학자나 과학자의 탐구와 유사한 상황을 대문항으로 제시하고, 그 아래에 서로 다른 과학탐구역량을 독립적으로 측정하는 소문항들을 배치하였다. IB DP 문항은 ‘고차원적 사고’ 차원의 과학탐구역량과 가설 설정 역량을 평가하는 데 강점을 보였다. IB DP는 최종 성적에 정량 반영되는 내부 평가(IA)를 통해 학생들이 선형적인 과학탐구 과정을 수행한다. 따라서 지필평가에서는 학교 실험 상황에서는 다루기 어려운 맥락 속에서 ‘고차원적 사고’ 차원의 과학탐구역량을 평가하는 데 집중하고 있었다고 추론된다. 한편, 만약 AP와 A-Level 문항과 같이 과학탐구가 선형적인 구조를 띤다면, 학생이 잘못된 가설을 설정했을 때 이후의 과정을 평가하기가 어려워진다. 그러나 IB DP 문항은 이전 문항의 답변이 후속 문항에 영향을 미치지 않는 ‘모듈형’ 구조로 설계되어 있어, ‘가설 설정’ 역량을 평가하기 용이했다. 그러나 IB DP 문항은 하나의 문항 안에서 과학탐구의 전 과정이 연속적으로 이루어지는 것이 아니라, 각 소문항에서 개별 역량을 분산하여 평가하기 때문에 학생의 과학탐구역량을 총체적으로 판단하는 데에는 한계가 있었다.
주요 연구 결과를 요약하면 다음과 같다. 첫째, 시험이 평가하고자 하는 과학탐구역량에 따라 제시되는 문항의 과학탐구 유형이 달랐다. AP는 ‘기초 탐구’를 제시하여, ‘절차적 지식’차원의 과학탐구역량을 정밀하게 측정하는 데 강점이 있었으나, 정해진 답을 찾는 구조로 인해 ‘고차원적 사고’차원의 과학탐구역량을 평가에는 한계가 있었다. 반면 A-Level과 IB DP는 ‘응용 탐구’를 제시하여, ‘절차적 지식’ 차원의 과학탐구역량에 대한 평가는 단순화하는 대신 실제 과학자의 연구 과정과 유사한 ‘고차원적 사고’차원의 과학탐구역량을 효과적으로 평가하였다.
둘째, 평가 체제에 따라 문항의 구조적 특징이 달랐으며, 구조적 특징에 따라 평가할 수 있는 과학탐구역량이 상이하였다. 별도의 실험 평가가 없는 AP와 이수/미이수 형식으로 수행 실험 평가가 진행되는 A-Level은 과학탐구의 일련의 과정을 시험지 위에서 재현하는 ‘선형적’ 구조를 취했다. 반면 내부 평가를 통해 실험 평가를 정량적으로 별도로 측정하는 IB DP는 지필평가에서 특정 역량을 선별적으로 묻는 ‘모듈형’ 구조를 취했다. 이러한 구조로 인해 IB DP는 가설 설정 역량을 효과적으로 평가할 수 있다고 판단된다.
과학탐구역량 평가 도구로서 지필평가는 가능성과 한계를 동시에 지니고 있었다. 지필평가의 가능성 측면에서, 본 연구는 지필평가가 학교 현장의 실험 수업이 갖는 한계를 보완하여, 학생에게 실제 과학자의 탐구를 간접적으로나마 경험하고 평가받을 수 있는 기회를 제공할 수 있는 유효한 도구임을 확인하였다. 또한 지필평가에서 수행의 부담을 제거함으로써 인지적 영역에 집중한 과학탐구역량을 평가할 수 있음을 확인하였다. 이는 직접적인 실험 수행 평가에서 고차원적 사고 역량을 평가하기 어려울 때, 지필평가가 이를 측정하는 하나의 대안이 될 수 있음을 시사한다.
지필평가의 한계 측면에서는, 세 시험 체제에서 ‘질문 생성’ 역량은 지필평가의 사각지대로 남아 있었다. 이는 표준화된 대규모 평가에서 채점의 객관성과 효율성을 확보해야 하는 지필평가의 특징에서 기인하기에 이를 해결하기 위한 노력이 필요함을 시사한다.
지필평가 문항을 더 정교하게 설계한다면 이러한 한계를 극복할 수 있을 것이다. IB DP의 사례처럼 특정 역량만 독립적으로 묻는 구조를 활용한다면 질문 생성 역량을 평가할 때 존재하는 한계를 극복할 수 있다. 이를 통해 지필평가 내에서 과학탐구역량을 특정 요소에 편중되지 않게 측정함으로써 공정하고 타당도 높은 평가로 나아갈 수 있을 것이다.

번역하기

최근 과학교육계는 과학적 실행을 통한 과학탐구역량 함양을 강조하고 있다. 과학적 실행은 과학적으로 현상을 탐구하고 문제를 해결하는 과정을 의미하며, 과학탐구역량은 과학적 실행에 ...