Konzeptinventar

Ein Konzeptinventar ist ein kriterienbezogener Test, mit dessen Hilfe festgestellt werden soll, ob Lernende über ein solides Arbeitswissen zu einer bestimmten Gruppe von Konzepten verfügen.

Konzeptinventare haben meist die Form von Multiple-Choice-Tests, um die Durchführung in großen Gruppen von Lernenden und die Interpretierbarkeit der Ergebnisse zu erleichtern. Im Gegensatz zu einem typischen, von der Lehrkraft erstellten Multiple-Choice-Test sind die Fragen und Antwortmöglichkeiten in Konzeptinventaren Gegenstand umfangreicher Untersuchungen. Zu den Zielen solcher Untersuchungen gehört es, (a) die Bandbreite dessen, was Personen denken, dass eine bestimmte Frage fragt, und (b) die häufigsten Antworten auf die Fragen zu ermitteln. Konzeptinventare werden sorgfältig entwickelt, um die Zuverlässigkeit und Gültigkeit der Tests zu gewährleisten. In ihrer endgültigen Form enthält jede Frage eine richtige Antwort und mehrere Ablenkungsmöglichkeiten (sogenannte Distraktoren).

Im Idealfall spiegelt die Punktzahl in einem kriterienbezogenen Test den Umfang des Inhaltswissens wider, das ein Schüler oder Student beherrscht. Kriterienbezogene Tests unterscheiden sich von normbezogenen Tests dadurch, dass erstere (theoretisch) nicht dazu verwendet werden, das Ergebnis einer Einzelperson mit den Ergebnissen der Gruppe zu vergleichen. Normalerweise besteht der Zweck eines kriterienbezogenen Tests darin, festzustellen, ob ein Lernender eine vorher festgelegte Menge an inhaltlichem Wissen beherrscht. Bei Erreichen einer Testpunktzahl, die bei oder über einem Grenzwert liegt, kann der Schüler mit dem Studium des Inhaltswissens fortfahren, das als Nächstes in einer Lernsequenz folgt. Im Allgemeinen sind Aufgaben mit einem Schwierigkeitsgrad zwischen 30 % und 70 % am besten geeignet, um Informationen über das Verständnis der Lernenden zu liefern.

Die Distraktoren sind falsche oder irrelevante Antworten, die in der Regel (aber nicht immer) auf den weit verbreiteten Fehlvorstellungen der Lernenden beruhen. Die Testentwickler untersuchen häufig die falschen Vorstellungen der Lernenden, indem sie deren Antworten auf offen formulierte schriftliche Fragen untersuchen und Interviews mit ihnen führen, in denen sie laut nachdenkend die Aufgaben bearbeiten. Die von den Lernenden gewählten Distraktoren helfen den Forschern, das Denken der Lernenden zu verstehen, und geben den Lehrkräften Einblicke in das Vorwissen von Lernenden (und manchmal auch in deren feste Überzeugungen). Diese Forschungsgrundlage bildet die Grundlage für die Konstruktion und das Design von Konzeptinventaren und trägt dazu bei, dass Lehrkräfte Hinweise auf die Ideen von Lernenden, wissenschaftliche Missverständnisse und lehrendeninduzierte oder unterrichtsinduzierte Fehlvorstellungen und konzeptionelle Lücken erhalten, die das Lernen behindern.

Verfügbare Konzeptinventare

Schematische Darstellung des Hake-Diagramms

Konzeptinventare sind bildungsbezogene Diagnosetests. 1985 führten Halloun und Hestenes einen „Multiple-Choice-Mechanik-Diagnosetest“ ein, um die Konzepte Lernender über Bewegung zu untersuchen. Er bewertet das Verständnis der Lernenden über die grundlegenden Konzepte der klassischen Mechanik. Wenig später wurde mit dem Force Concept Inventory (FCI) ein weiteres Konzeptinventar entwickelt, das darauf abzielt, das Verständnis der Lernenden für die Newtonschen Konzepte der Kraft zu beurteilen. Hestenes (1998) fand heraus, dass zwar „fast 80% der [Studenten, die Einführungskurse in Physik an Colleges belegen] zu Beginn des Kurses Newtons drittes Gesetz nennen konnten. Die FCI-Daten zeigten, dass weniger als 15% von ihnen es am Ende des Kurses vollständig verstanden hatten“. Diese Ergebnisse wurden in einer Reihe von Studien mit Studierenden an verschiedenen Einrichtungen wiederholt. Dennoch bleibt die Frage offen, was der FCI genau misst. Die Ergebnisse des FCI haben dazu geführt, dass die Bedeutung der aktiven Auseinandersetzung Lernender mit dem zu bewältigenden Stoff in der wissenschaftlichen Ausbildung stärker anerkannt wird.

Häufig werden Konzeptinventare als Vor- und Nachtest eingesetzt. Auf diese Weise wird es möglich, den Lernzuwachs zu erheben. Zur graphischen Darstellung wird oft das Hake-Diagramm verwendet.

Seit der Entwicklung des FCI sind weitere Physikinstrumente entwickelt worden. Dazu gehören die Force and Motion Conceptual Evaluation und das Brief Electricity and Magnetism Assessment. Für eine Diskussion darüber, wie eine Reihe von Konzeptinventaren entwickelt wurden, siehe Beichner. Eine umfangreiche Sammlung von Physikinstrumenten in mehreren Sprachen (einschließlich Deutsch) ist auf der durch die American Association of Physics Teachers geförderten Materialiensammlung PhysPort verfügbar.

Neben der Physik wurden Konzeptinventare für weitere akademische Disziplinen entwickelt, u. a. für Statistik, Chemie, Astronomie, Biologie, Genetik, Ingenieurwissenschaften, Geowissenschaften und Informatik.

In vielen Bereichen überschreiten die grundlegenden wissenschaftlichen Konzepte die Grenzen der einzelnen Disziplinen. Ein Beispiel für ein Inventar, das die Kenntnis solcher Konzepte bewertet, ist ein von Odom und Barrow (1995) entwickeltes Instrument zur Bewertung des Verständnisses von Diffusion und Osmose. Darüber hinaus gibt es konzeptionelle Instrumente ohne Multiple-Choice-Verfahren, wie z. B. den Essay-basierten Ansatz und die Kombination von Essay und mündlicher Prüfung zur Messung des Verständnisses von Lewis-Strukturen in der Chemie.

Vorbehalte im Zusammenhang mit der Verwendung von Konzeptinventaren

Einige Konzeptinventare sind problematisch. Die getesteten Konzepte sind möglicherweise nicht grundlegend oder wichtig für ein bestimmtes Fach, die betreffenden Konzepte werden möglicherweise nicht ausdrücklich in einem Kurs oder einem Curriculum gelehrt, oder die korrekte Beantwortung einer Frage erfordert möglicherweise nur ein oberflächliches Verständnis eines Themas. Selbst bei etablierten Inventaren stellen sich derartige Probleme bisweilen bei testtheoretischen Untersuchungen heraus. Es ist daher möglich, dass die Beherrschung der Inhalte durch die Lernenden entweder über- oder unterschätzt wird.

Konzeptinventare, die darauf ausgelegt sind, Trends im Denken der Schüler zu ermitteln, sind möglicherweise nicht nützlich, um Lernzuwächse als Ergebnis pädagogischer Interventionen zu überwachen. Die Benutzer sollten darauf achten, dass Konzeptinventare tatsächlich das konzeptionelle Verständnis testen und nicht Sprachkenntnisse oder die Fähigkeit, Tests zu bestehen.

Die Verwendung des Multiple-Choice-Formats für Konzeptinventare ist nicht unumstritten. Schon die Struktur von Multiple-Choice-Fragen wirft die Frage auf, inwieweit komplexe und oft nuancierte Situationen und Ideen vereinfacht oder verdeutlicht werden müssen, um eindeutige Antworten zu erhalten. So erfüllt beispielsweise eine Multiple-Choice-Fragensammlung, mit der eigentlich das Wissen über Schlüsselkonzepte der natürlichen Auslese beurteilt werden soll, eine Reihe von Qualitätskontrollstandards nicht: Dort werden Paare paralleler Fragen verwendet, wobei jedes Paar genau ein Schlüsselkonzept zur natürlichen Auslese messen soll. Ein Problem besteht darin, dass die beiden Fragen manchmal sehr unterschiedliche Schwierigkeitsgrade aufweisen. Ein weiteres Problem besteht darin, dass diese Multiple-Choice-Fragensammlung das Wissen über die natürliche Auslese überschätzt. Dies zeigt sich in den Leistungen Studierender bei einer diagnostischen Erhebung mittels Essay und einer diagnostischen mündlichen Erhebung, zwei Instrumenten mit recht guter Konstruktvalidität.

Obwohl die Auswertung von Konzeptinventaren in Form von Essays oder mündlichen Prüfungen arbeitsintensiv, kostspielig und bei einer großen Anzahl von Schülern schwierig durchzuführen ist, können solche Prüfungen eine realistischere Einschätzung des tatsächlichen Niveaus der konzeptionellen Beherrschung der Lernenden sowie ihrer Fehlvorstellungen bieten. Es wurden jedoch Computertechnologien entwickelt, mit der Essay-Antworten bei Konzeptinventaren in der Biologie und anderen Bereichen bewertet werden können. Das verspricht, die Bewertung von Konzeptinventaren zu erleichtern, bei denen die Antworten als (transkribierte) mündliche Prüfungen und als Essay vorliegen.

Siehe auch

Einzelnachweise

  1. ↑ Wendy K. Adams, Carl E. Wieman: Development and Validation of Instruments to Measure Learning of Expert‐Like Thinking. In: International Journal of Science Education. Band 33, Nr. 9, Juni 2011, S. 1289–1312, doi:10.1080/09500693.2010.512369 (englisch).
  2. ↑ Edward F. Redish: Discipline-based education and education research: The case of physics. Abgerufen am 3. Juni 2023 (englisch).
  3. ↑ David F. Treagust: Development and use of diagnostic tests to evaluate students’ misconceptions in science. In: International Journal of Science Education. Band 10, Nr. 2, April 1988, S. 159–169, doi:10.1080/0950069880100204 (englisch).
  4. 1 2 Ibrahim Abou Halloun, David Hestenes: Common sense concepts about motion. In: American Journal of Physics. Band 53, Nr. 11, November 1985, S. 1056–1065, doi:10.1119/1.14031 (englisch).
  5. ↑ David Hestenes, Malcolm Wells, Gregg Swackhamer: Force concept inventory. In: The Physics Teacher. Band 30, Nr. 3, März 1992, S. 141–158, doi:10.1119/1.2343497 (englisch).
  6. ↑ David Hestenes: Who needs physics education research!? In: American Journal of Physics. Band 66, Nr. 6, Juni 1998, S. 465–467, doi:10.1119/1.18898 (englisch).
  7. ↑ Douglas Huffman, Patricia Heller: What does the force concept inventory actually measure? In: The Physics Teacher. Band 33, Nr. 3, März 1995, S. 138–143, doi:10.1119/1.2344171 (englisch).
  8. ↑ Richard R. Hake: Interactive-engagement versus traditional methods: A six-thousand-student survey of mechanics test data for introductory physics courses. In: American Journal of Physics. Band 66, Nr. 1, Januar 1998, S. 64–74, doi:10.1119/1.18809 (englisch).
  9. ↑ Ronald K. Thornton, David R. Sokoloff: Assessing student learning of Newton’s laws: The Force and Motion Conceptual Evaluation and the Evaluation of Active Learning Laboratory and Lecture Curricula. In: American Journal of Physics. Band 66, Nr. 4, April 1998, S. 338–352, doi:10.1119/1.18863 (englisch).
  10. ↑ Lin Ding, Ruth Chabay, Bruce Sherwood, Robert Beichner: Evaluating an electricity and magnetism assessment tool: Brief electricity and magnetism assessment. In: Physical Review Special Topics - Physics Education Research. Band 2, Nr. 1, 15. März 2006, doi:10.1103/PhysRevSTPER.2.010105 (englisch).
  11. ↑ Robert J. Beichner: Testing student interpretation of kinematics graphs. In: American Journal of Physics. Band 62, Nr. 8, August 1994, S. 750–762, doi:10.1119/1.17449 (englisch).
  12. ↑ Sarah B. McKagan, Linda E. Strubbe, Lyle J. Barbato, Bruce A. Mason, Adrian M. Madsen, Eleanor C. Sayre: PhysPort Use and Growth: Supporting Physics Teaching with Research-based Resources Since 2011. In: The Physics Teacher. Band 58, Nr. 7, 1. Oktober 2020, ISSN 0031-921X, S. 465–469, doi:10.1119/10.0002062 (englisch, Online [abgerufen am 26. Februar 2025]).
  13. ↑ Konzeptinventare | Abteilung für Fachdidaktik der Ingenieurwissenschaften an der TUHH. Archiviert vom Original (nicht mehr online verfügbar) am 6. Mai 2023; abgerufen am 8. Mai 2023 (deutsch).
  14. ↑ Kirk Allen: The Statistics Concept Inventory: Development and Analysis of a Cognitive Assessment Instrument in Statistics. Archiviert vom Original am 6. März 2012; abgerufen am 3. Juni 2023 (englisch).
  15. ↑ The Chemical Concepts Inventory. Visited Feb. 14, 2011. Archiviert vom Original am 18. Juli 2007; abgerufen am 30. Juli 2007 (englisch).
  16. ↑ Bruce E. Wampold, John C. Wright, Paul H. Williams, Susan B. Millar, Steve A. Koscuik, Debra L. Penberthy: A Novel Strategy for Assessing the Effects of Curriculum Reform on Student Competence. In: Journal of Chemical Education. 75. Jahrgang, Nr. 8. American Chemical Society (ACS), 1998, S. 986–992, doi:10.1021/ed075p986, bibcode:1998JChEd..75..986W (englisch, colorado.edu [PDF]).
  17. ↑ Kathy Garvin-Doxas, Michael W. Klymkowsky: Understanding Randomness and its Impact on Student Learning: Lessons Learned from Building the Biology Concept Inventory (BCI). In: CBE: Life Sciences Education. 7. Jahrgang, Nr. 2. American Society for Cell Biology (ASCB), 2008, S. 227–233, doi:10.1187/cbe.07-08-0063, PMID 18519614, PMC 2424310 (freier Volltext) – (englisch).
  18. ↑ Charlene D'Avanzo: Biology Concept Inventories: Overview, Status, and Next Steps. In: BioScience. 58. Jahrgang, Nr. 11. Oxford University Press (OUP), 2008, S. 1079–1085, doi:10.1641/b581111 (englisch).
  19. ↑ Christopher D. Wilson, Charles W. Anderson, Merle Heidemann, John E. Merrill, Brett W. Merritt, Gail Richmond, Duncan F. Sibley, Joyce M. Parker: Assessing Students' Ability to Trace Matter in Dynamic Systems in Cell Biology. In: CBE: Life Sciences Education. 5. Jahrgang, Nr. 4. American Society for Cell Biology (ASCB), 2006, S. 323–331, doi:10.1187/cbe.06-02-0142, PMID 17146039, PMC 1681358 (freier Volltext) – (englisch).
  20. ↑ Dianne L. Anderson, Kathleen M. Fisher, Gregory J. Norman: Development and evaluation of the conceptual inventory of natural selection. In: Journal of Research in Science Teaching. 39. Jahrgang, Nr. 10. Wiley, 14. November 2002, S. 952–978, doi:10.1002/tea.10053, bibcode:2002JRScT..39..952A (englisch).
  21. 1 2 3 Ross H. Nehm, Irvin Sam Schonfeld: Measuring knowledge of natural selection: A comparison of the CINS, an open-response instrument, and an oral interview. In: Journal of Research in Science Teaching. 45. Jahrgang, Nr. 10. Wiley, 2008, S. 1131–1160, doi:10.1002/tea.20251, bibcode:2008JRScT..45.1131N (englisch, .ccny.cuny.edu (Memento des Originals vom 17. Mai 2011 im Internet Archive)).
  22. ↑ Nehm R & Schonfeld IS (2010). The future of natural selection knowledge measurement: A reply to Anderson et al. (2010). Journal of Research in Science Teaching, 47, 358-362. (Memento vom 19. Juli 2011 im Internet Archive; PDF)
  23. ↑ Michelle K. Smith, William B. Wood, Jennifer K. Knight: The Genetics Concept Assessment: A New Concept Inventory for Gauging Student Understanding of Genetics. In: CBE: Life Sciences Education. 7. Jahrgang, Nr. 4. American Society for Cell Biology (ASCB), 2008, S. 422–430, doi:10.1187/cbe.08-08-0045, PMID 19047428, PMC 2592048 (freier Volltext) – (englisch).
  24. ↑ Concept Inventory Assessment Instruments for Engineering Science. Archiviert vom Original am 6. März 2012; abgerufen am 3. Juni 2023 (englisch).
  25. ↑ J.C. Libarkin, E.M.G. Ward, S.W. Anderson, G. Kortemeyer, S.P. Raeburn: Revisiting the Geoscience Concept Inventory: A call to the community. In: GSA Today. Band 21, Nr. 8, August 2011, S. 26–28, doi:10.1130/G110GW.1 (englisch).
  26. ↑ Ricardo Caceffo, Steve Wolfman, Kellogg S. Booth, Rodolfo Azevedo: Developing a Computer Science Concept Inventory for Introductory Programming. ACM, 2016, ISBN 978-1-4503-3685-7, S. 364–369, doi:10.1145/2839509.2844559 (englisch).
  27. ↑ Arthur Louis Odom, Lloyd H. Barrow: Development and application of a two-tier diagnostic test measuring college biology students' understanding of diffusion and osmosis after a course of instruction. In: Journal of Research in Science Teaching. Band 32, Nr. 1, Januar 1995, S. 45–61, doi:10.1002/tea.3660320106 (englisch).
  28. ↑ Bruce E. Wampold, John C. Wright, Paul H. Williams, Susan B. Millar, Steve A. Koscuik, Debra L. Penberthy: A Novel Strategy for Assessing the Effects of Curriculum Reform on Student Competence. In: Journal of Chemical Education. Band 75, Nr. 8, August 1998, S. 986, doi:10.1021/ed075p986 (englisch).
  29. ↑ Melanie M. Cooper, Sonia M. Underwood, Caleb Z. Hilley: Development and validation of the implicit information from Lewis structures instrument (IILSI): do students connect structures with properties? In: Chem. Educ. Res. Pract. Band 13, Nr. 3, 2012, S. 195–200, doi:10.1039/C2RP00010E (englisch).
  30. ↑ Jing Wang, Lei Bao: Analyzing force concept inventory with item response theory. In: American Journal of Physics. Band 78, Nr. 10, 1. Oktober 2010, ISSN 0002-9505, S. 1064–1070, doi:10.1119/1.3443565 (englisch, Online [abgerufen am 24. Februar 2026]).
  31. ↑ John Stewart, Cabot Zabriskie, Seth DeVore, Gay Stewart: Multidimensional item response theory and the Force Concept Inventory. In: Physical Review Physics Education Research. Band 14, Nr. 1, 13. Juni 2018, ISSN 2469-9896, doi:10.1103/PhysRevPhysEducRes.14.010137 (englisch, Online [abgerufen am 24. Februar 2026]).
  32. ↑ Dianne L. Anderson, Kathleen M. Fisher, Gregory J. Norman: Development and evaluation of the conceptual inventory of natural selection. In: Journal of Research in Science Teaching. Band 39, Nr. 10, Dezember 2002, S. 952–978, doi:10.1002/tea.10053 (englisch).
  33. ↑ Ross H. Nehm, Irvin Sam Schonfeld: The future of natural selection knowledge measurement: A reply to Anderson et al. (2009). In: Journal of Research in Science Teaching. 2009, S. n/a–n/a, doi:10.1002/tea.20330 (englisch).
  34. ↑ Ross H. Nehm, Irvin Sam Schonfeld: Measuring knowledge of natural selection: A comparison of the CINS, an open-response instrument, and an oral interview. In: Journal of Research in Science Teaching. Band 45, Nr. 10, Dezember 2008, S. 1131–1160, doi:10.1002/tea.20251 (englisch).
  35. ↑ Bruce E. Wampold, John C. Wright, Paul H. Williams, Susan B. Millar, Steve A. Koscuik, Debra L. Penberthy: A Novel Strategy for Assessing the Effects of Curriculum Reform on Student Competence. In: Journal of Chemical Education. Band 75, Nr. 8, August 1998, S. 986, doi:10.1021/ed075p986 (englisch).
  36. ↑ Ross H. Nehm, Minsu Ha, Elijah Mayfield: Transforming Biology Assessment with Machine Learning: Automated Scoring of Written Evolutionary Explanations. In: Journal of Science Education and Technology. Band 21, Nr. 1, Februar 2012, S. 183–196, doi:10.1007/s10956-011-9300-9 (englisch).
  37. ↑ Sally Jordan: Computer-marked assessment and concept inventories. In: Effective Teaching in Large STEM Classes. IOP Publishing, 2023, ISBN 978-0-7503-5231-4, S. 6–1–6–20, doi:10.1088/978-0-7503-5231-4ch6 (englisch, Online [abgerufen am 24. Februar 2026]).