Перечень понятий (concept inventory)
Одна из проблем в образовании в том, что в жизни на какой-то момент во времени действуют мастера, обученные самым разным практикам, включая не только современные лучшие (SoTA-0), но и SoTA-1 (предыдущая лучшая), SoTA-2 и так далее. Иногда эти мастера даже знают, что они пользуются не лучшей практикой, но всё-таки утверждают, что «для моих случаев это тоже работает, поэтому ничего нового учить не буду». Но часто они даже не знают, что пользуются старыми практиками.
Между «бытовым» по отношению к какой-то предметной области интеллектом каких-то сообществ и фронтирным для этой предметной области всегда есть какой-то разрыв в знаниях/knowledge gap[1] или понятийное расстояние/inferential distance[2]. Обычно речь идёт не столько о персональных разрывах в понимании между какими-то двумя персональными пониманиями, сколько разрыве в понимании между двумя наборами мемов: каким-то «бытовым»/народным/folk (типа аристотелевской механики, «палец давит на стол, но стол не давит на палец», а силы гравитации нет) и каким-то SoTA (тут даже нужно миновать ньютоновскую механику, в которой сила действия равна силе противодействия и массы притягиваются силой гравитации и идти в релятивистскую механику, в которой сил гравитации опять нет, и их нельзя использовать в разговоре — их же нет, но есть искривление пространства-времени под действием масс). Дальше можно обсуждать: насколько распространено в каждый момент в абстрактно понимаемом «народе» мифологическое мышление, а насколько рациональное — и вот что там считать рациональным, это будет плыть во времени по мере замещения одной SoTA теории/модели/объяснения другой. Конечно, мы говорим о каких-то сообществах/community практики (community of practice/subculture/counterculture/«learned society»/«school of thought»), когда говорим о «народном/folk понимании», а не о каком-нибудь «народе/people в целом».
Время от времени нужно обсуждать: какая SoTA в головах у сегодняшних и людей и нейросетей/AI. Если физика в головах у окружающих агентов уж точно не релятивистская, то ещё аристотелевская, или уже хотя бы чуть-чуть ньютоновская? Все школы мира работают на то, чтобы учить не древнему цивилизационному какому-нибудь SoTA-5, а вполне ещё цивилизационному SoTA-2 (ибо текущему SoTA и даже предыдущему SoTA-1 официальная система образования учить не успевает ни по одной предметной области). Поэтому время от времени нужно делать замеры текущих мемов, чтобы лучше понимать происходящее.
И эти замеры нужно делать в том числе и среди студентов, чтобы лучше понимать происходящее у них в головах. А для этого нужно обучить студента и SoTA0 (по возможности), и критике предыдущих версий практики, «бывших SoTA».
Делается это при помощи так называемых перечней понятий/concept inventory[3], получаемых путём моделирования нескольких SoTA.
Для методиста concept inventory требует наличия в учебном курсе заданий, тренирующих использованию в самых разных контекстах целевых SoTA (предпочтительно SoTA-0) теорий и неиспользование «народных» (чаще всего старинных, SoTA-n) представлений о предметной области.
Для этого нужно моделировать в обязательном порядке не только «правильные» для курса понятия изучаемой предметной области (скажем, понятия ньютоновской механики, если изучаем именно её), но и «неправильные» (аристотелевская механика). Далее должны быть упражнения и тесты на преодоление рассуждений в терминах вот этих «народных» понятий. Никакие «неправильные ответы» не должны быть «просто случайными», они должны быть «ловушками», отлавливающими бытовое мышление.
Например, для указанного нами примера со столом и пальцем можно представить следующую задачу (приведём её в формате, готовом для загрузки в составе курса в Aisystant):
Большой мальчик Василий изо всех сил давит пальцем на стол, стол трещит под этой нагрузкой. Какие из утверждений верны?
--- Стол не давит на палец, у стола нет для этого сил ### Нет, сила действия равна силе противодействия. Стол давит на палец с той же силой, что палец на стол. А сила в физике — это не «сила живого существа».
+++ Стол давит на палец, а палец ему сопротивляется с той же силой ### Да, сила действия равна силе противодействия. Стол и палец давят друг на друга с равными силами.
+++ рука Васи давит на палец, палец на стол, а стол через палец давит на руку ### если пренебречь весом пальца, то да: сила действия равна силе противодействия
--- задача сформулирована некорректно: палец не может давить на стол, ибо сила действия равна силе противодействия, и палец бы вместе с Васей улетел от стола, если палец нажал на стол и стол ему ответил. Но на Земле такого мы не видим, значит с задачей что-то не так. ### Нет, задача сформулирована корректно. Вася улетел бы с пальцем, если он бы нажал на стол с силой большей, чем его вес (но быстро бы вернулся к прежней ситуации, если дело происходит на Земле. А если в космосе и в невесомости, то улетел бы и не вернулся к столу). И да, он улетел бы именно от той силы, которой стол давит на палец Васи.
Concept inventory требует, чтобы «неверные ответы» были не просто любыми, а именно проверяющими явно сформулированную «народную онтологию» (в данном случае то, что стол не давит на палец). И по возможности, нужно придумывать разные контексты, что облегчит обобщение изученного материала на достаточном уровне, чтобы потом применять это знание в жизни.
https://lesswrong.ru/w/Ожидая_короткие_понятийные_расстояния ↩︎
David Hestenes, «Notes for a Modeling Theory of Science, Cognition and Instruction» (2006, http://modeling.asu.edu/R&E/Notes_on_Modeling_Theory.pdf ↩︎