Учебные программы дают не только немедленные результаты
Реальные результаты учебных программ, то есть результаты поставленного курсами мастерства (особенно когда речь идёт об образовании, то есть мыслительном мастерстве), проявляются в жизни людей не только и не столько в момент окончания этих учебных программ. Немедленные после окончания учебной программы замеры результатов обучения будут невалидными. Оценка ЕГЭ — это оценка умения сдавать экзамены ЕГЭ (и даже не знания школьной программы по каким-то предметам), но оценка итогов прохождения учебной программы школы должна бы быть по итогам послешкольной жизни: как помогло школьное образование выпускнику школы прожить содержательную жизнь, помочь себе и окружающим. Оценки ЕГЭ с этим мало связаны.
Тут как в инженерии: «твоё устройство хорошо работает у тебя на испытательном стенде, но это не то, что нам нужно: нам оно не помогает, поэтому мы его не принимаем». Можно обсуждать ЕГЭ как развитие идеи инициации[1] (трудные испытания, которые проходят мальчики и девочки, чтобы их признали уже взрослыми, или члены религиозного сообщества, чтобы подтвердить их статус), но это явно не образец для подражания в 21 веке.
Автора нашего курса напутствовали в 1975 году на первом курсе его университета в первую же неделю: «мы вас будем учить пять лет в университете странному. После чего вы попадёте на какой-нибудь завод, и выпускник технического вуза попадёт на какой-то завод. Дальше выпускника поставят начальником отдела сразу, ибо он попадёт в привычную для него среду, его учили работать в этой среде. Вы же увидите всё впервые, вас возьмут каким-нибудь инженером. Через год вы тоже станете начальником отдела. Через три года вы резко пойдёте на повышение, ибо таки разберётесь со всеми новыми задачами. А вот ваш коллега из технического института с большой вероятностью так и будет начальником того же отдела, ещё много лет. Вот этим и отличается университетское образование от технического: мы учим разбираться в неизвестном».
Идея такого напутствия была в том, что университет просто поднимает интеллект (он больше провайдер образования), а технический вуз учит прикладной специальности (он больше провайдер прикладного обучения). Но ещё важно, что результаты образования ожидались не на момент входа в какой-то проект, а только через некоторое время, да ещё и с задержкой на год-два. И заранее без шансов на то, что рабочее место хоть как-то будет соответствовать тому, на кого учились (идея образования, а не прикладного обучения). Автора учили на исследователя-физ-химика (прикладная специализация), но автор ни одного дня не работал химиком! И нельзя сказать, что он был так уж неуспешен в жизни: этот успех был ровно за счёт того, что алгоритмику (одна из дисциплин интеллект-стека) автор проходил ещё студентом с 1975 года, машинным обучением занялся с 1977 года, а семантикой пришлось заняться сразу после окончания университета, с 1980 года, ибо работать после университета автор пошёл в исследовательский вычислительный центр, где занимались в далёком 1980 году задачами AI, и без семантики там было никуда. Семантика — это тоже одна из дисциплин интеллект-стека, один из нижних уровней! Так и пошло потом: автор становился умнее за счёт прихватывания по ходу жизни знаний самых разных практик интеллект-стека, а не за счёт прикладного обучения.
Когда делаешь образованных людей умнее, нужно ориентироваться не на момент выпуска и замер в этот момент, а на то, что происходит потом, на протяжении многих лет. Не на однодневный «экзаменационный» замер, а на многолетнюю как рабочую, так и просто полноценную жизнь. И «инженерное обоснование» в образовании требуется для оценки возможности решения будущих проблем, которые ещё неизвестны. Для прикладного обучения такие оценки сделать легче, но проблема всё равно остаётся. Опять же, речь ведь идёт о SoTA. Оценка того, что кто-то способен решать задачи X SoTA практикой Y будет бесполезной, когда SoTA для задач X сменится с практики X на практику Z. Недаром многие профессиональные ассоциации свои квалификации требуют переподтверждать каждые несколько лет (но удивительно, что вузы не требуют переподтверждать свои дипломы!).
В ШСМ среди выпускников пока нет ни одного революционера. Никто из выпускников не произвёл революцию в какой-то отрасли, никто не взорвал какую-нибудь науку, никто не возглавил переустройство какого-то общества. Но это обязательно будет, и свидетельством качества образования в ШСМ будет именно это, а не что выпускники сдали какие-то экзамены.
В этом подходе мы совсем неодиноки. Какая-нибудь букеровская, или нобелевская, или тьюринговская премии делают ведь то же самое, только в узких областях: пытаются найти сильный интеллект в более-менее узком классе проблем, оговорённых организаторами премий. И даже «человек года» журнала Times тоже про что-то такое: премия без премии, указание на какие-то особые достижения в жизни «человека года», указание на его влиятельность на дела многих других людей. Другое дело, что это всё никак не связано с проектами обучения, которые занимались этими выдающимися людьми («революционерами»), идёт без привязки к каким-то учебным программам, которые проходили все эти лауреаты премий или «люди года». Мы же тут говорим про обучение, и причинно-следственные отношения между результатами обучения и достижением результатов. Не про «само как-то случилось, что интеллект усилился за время жизни, вот нобелевка в свидетельство», а «наша образовательная учебная программа усилила интеллект». В ответе на этот вопрос требуется специальное рассмотрение в рамках причинного вывода/causal inference. Но, похоже, сегодня вряд ли такое рассмотрение может быть проведено, знаний человеческой цивилизации для этого пока не хватает.
Пока ШСМ ещё даже не может похвастаться, что её учебная программа закрывает полностью все дисциплины интеллект-стека. И ещё нужно время на глубокое овладение прикладными предметными областями, в которых идёт работа: прикладное мастерство с высоким интеллектом получить быстрее (для некоторых это вообще будет означать «и не мечтал получить, но смог», и уже есть такие примеры среди выпускников), но это тоже требует времени, и часто это даже не недели и месяцы, а несколько лет. Проверяется же интеллект всегда на решении прикладных проблем, а не какими-то «замерами».
Учиться и получать какие-то уровни квалификации на основе демонстрации своих умений менять себя и других агентов, а также менять мир в целом, можно уже сейчас. Равно как уметь отвечать на вопрос «ну, и насколько тебя сделали умнее?» — правильный ответ такой же, как на «вопрос о смысле жизни, вселенной, и вообще»: 42! Как спрашивают, так и нужно отвечать!
Современное состояние науки не может решить и вопрос снижения тревожности в изучении сложных дисциплин (наиболее известна тут «математическая тревожность», она от чего только не зависит, ведущего фактора нет, но есть много работ, которые изучают это явление[2]), и даже нет согласия на тему, что эту тревожность надо как-то существенно снижать, можно и стресс сделать фактором личностного роста[3]. Есть и много работ о том, что изучение математики и физики не так уж сильно влияет на «умность», хотя все вопросы про то, как же замеряли это «влияние на умность» остаются. Например, работа «Learning of Content Knowledge and Development of Scientific Reasoning Ability: A Cross Culture Comparison»[4] показывает, что изучение физики оказывается не таким уж «выправляющим мозги», как это принято считать. A historically held belief among educators and researchers is that training in physics, which has a beautiful structure of logical and mathematical relations, would in general improve students’ abilities in conducting reasoning that is intellectually challenging. However, the result from this study suggests that training in physics content knowledge in the traditional format alone is not enough to improve students’ general reasoning abilities). Ещё есть материалы, обсуждающие beyond concept inventories towards measuring how students think[5], где рассматриваются проблемы попыток измерения качества мышления студентов, а не попыток измерения имеющихся у студентов знаний, которые не факт что ведут к качественному мышлению, но всё это очень плохо технологизируется по сравнению с concept inventory моделированием, которое оценивает не столько мышление, сколько знание SoTA понятий, а не каких-то народных/наивных/старинных понятий.
Пока в проблеме измерения интеллекта нет особого продвижения, мы в ШСМ будем использовать нейронные сетки множества (публичность!) наших собственных мозгов как неплохих квантовоподобных (и плохих байесовских, подробнее в курсе «Интеллект-стек») вычислителей по переводу разговоров, личной переписки, обсуждений докладов наших студентов и выпускников в заявления об эффективности нашего обучения. И всегда готовы услышать про новинки в решении проблемы демонстрации качества обучения мыслительному мастерству.
Ещё можно указать, что в соответствии с SoTA causal inference, данных статистики мало для принятия каких-то решений, нужна ещё будет контрфактуальная объяснительная теория, которая будет согласована с этой статистикой и поддержана данными эксперимента. То есть нужны не только «замеры» и «статистика», но и какая-то научная теория под этими замерами, а такой теории на планете сейчас нет. Мы же занимаемся инженерией, и мы не будем ждать, пока такую теорию предложат и она выдержит критику, чтобы победить все остальные теории. Средневековый инженер, как указывал Billy Koen, не отказывался строить мостик через речку, ссылаясь на то, что сопромат будет изобретён человечеством только через пару сотен лет, и поэтому он не будет заниматься инженерией этого моста, а подождёт до момента надёжной опоры на сопромат в своём строительстве. Образование — это инженерия, и опора тут точно так же, на всю доступную науку, но и смелое экспериментирование в тех случаях, когда теория пока отсутствует. Инженерия и научна, и ненаучна (подробнее это было в курсе «Системная инженерия»).
И ещё поскольку ожидаются какие-то «административные выводы из теории», то агенты, которые понимают, как эти «административные выводы» следуют из теории, намеренно могут изменить своё поведение, чтобы оно не соответствовало теории — если выгоды от учёта «административных выгод» будут больше, чем выгоды неизменения поведения (и тем самым следованию теории).
Пока же мы не будем делать вид, что сейчас по-быстрому удовлетворим запросы на «экзамены» или какие-то другие замеры мыслительного мастерства выпускников ШСМ, замеры их успеха в жизни. Не удовлетворим, на эти запросы не отвечаем намеренно, этот намеренный неответ на провокационные вопросы и есть SoTA в измерении человеческого интеллекта. Это не личное мнение автора курса о том, что проблема измерения интеллекта не решена, это современное состояние науки, это SoTA ещё и для исследований искусственного интеллекта[6].
«Измерение интеллекта: занимаемся миром/средой/окружением/контекстами/domain, становимся демиургами», https://ailev.livejournal.com/1609242.html и «Машинный интеллект на начало февраля 2022: до сих пор непонятно, как оценивать прогресс», https://ailev.livejournal.com/1610230.html ↩︎