Решение проблемы: ориентироваться на то, как проверяет интеллект эволюция
Так что ж делать? Как нам узнать, становится ли интеллект сильнее после каких-то учебных программ, или не становится?! Речь идёт даже о прикладных учебных программах, которые должны, по идее, давать не строгий набор каких-то конкретных навыков, а какой-то прикладной интеллект: умение действовать в ситуациях, которых не было в учебниках. Скажем, прикладная программа по телесному интеллекту (курс системного фитнеса) должна давать возможность разобраться с телом в ситуациях, в которые не попадал ни ученик, ни учителя (авторы курса, преподаватели). Скажем, вам в голову не приходило, что вы займётесь скалолазанием. Но вдруг попали в соответствующую ситуацию — и если телесный интеллект у вас есть, то вы разберётесь, и справитесь. Так что мы не будем тут даже уточнять, прикладной какой-то интеллект (а не набор конкретных прикладных навыков выполнения каких-то узких практик) или общий интеллект. Можно вообще говорить о «калибре личности» (например, «Вася — мощная личность!») как о сумме всего мастерства агента (интеллект плюс разнообразные прикладные мастерства). Как проверить, вырос ли «калибр личности»?
Надо применять эволюционный подход в инженерии: если после наших курсов люди и/или AI-агенты, или их команды начинают решать какие-то новые проблемы в количестве и с большой скоростью, то это будет означать, что их интеллект поднялся, помог освоить (иногда изобрести, иногда выучить на прикладных курсах) прикладные практики в новых областях. «Калибр личности» тем самым в результате обучения оказывается выросшим, и рост идёт тем быстрее, чем больше идёт акцент на фундаментальное образование, то есть усиление интеллекта, а не прихват прикладного мастерства по разным практикам.
Если «наши» выпускники более конкурентоспособны, чем «не наши» выпускники, то их интеллект мы усилили сильнее, чем это делают конкуренты. Если нет, то нет. Всё как в природе. Проверка качества образования идёт в реальной жизни, а не на экзаменах. Выпускников Гарварда и Оксфорда знают по тому, что им удалось сделать за свою жизнь, а не по тому, что им удалось сделать на экзаменах.
То есть смотреть нужно не на момент выпуска студента как свежеиспечённого мастера, а на происходящее затем с мастером в жизни. Грубо говоря, если из вашей школы вышло десять нобелевских лауреатов, а из других только по одному, то с научными проблемами у выпускников ОК. Если из другой школы вышло пятнадцать мультимиллиардеров, то там с подготовкой в части проблем бизнеса ОК. Можно, конечно, дальше задаваться вопросами: это школа на входе таких талантливых берёт и потом не портит, или таки реально чему-то выучивает, что такие результаты? Исследования такие были, они показывают, что какой-нибудь Гарвард в плане обучения не так сильно меняет людей, как какой-то победитель в категории «доучиваем с нуля до крепкого среднего класса» из глубинки США. Вот там, в отличие от Гарварда и Оксфорда, реально берут проблемных представителей «меньшинств» и доучивают до крепкого среднего класса! Прирост знаний колоссальный, такой вуз реально делает людей умнее, даёт успех в жизни заведомо не очень успешным. Но поскольку обучение идёт только до крепкого среднего класса, а не до элиты — гениальность рекордсменов по умению учить никому не известна, кроме специалистов. Кто лучше учит, тот неизвестен! И присовокупите сюда то, что все эти Гарварды-Оксфорды берут детей из таких семей, где в самих семьях их могут чему-то важному доучивать, так что и результаты замеров по итогам обучения будут «университет+доучивание в семье», то есть измеряется тоже не-пойми-что, а не итог обучения в вузе. Недаром лучшие университеты сопротивляются планам обеспечить всем «равные возможности поступления»: король-вуз после этого может оказаться голым, правдой окажется, что важны не получаемые в вузе знания, а просто правильная компания тщательно отобранных сокурсников!
В любом случае, смотреть нужно прежде всего на разницу между демонстрируемым результатом прохождения учебной программы (выпускными испытаниями) и результатом задействования практики в жизни. Волновать должны не «экзамены» на момент выпуска, «конечная стадия изготовления мастера», но поведение мастера в момент встречи с проблемами из жизни — то есть поведение во время эксплуатации выученного целевого мастерства. Перенос обучения в жизнь — это главное, но и тут есть нюансы. Так, задействование мастерства в рабочих ситуациях происходит иногда существенно позже, чем момент выпуска. Может быть, выученное новое мастерство придётся задействовать только через дни, недели, месяцы, годы после выпуска. И тут же станет понятно, насколько при обучении учли кривые забывания: на утро после «выпускного экзамена» материал будет помниться, а через пару недель согласно кривым забывания будет помниться не более половины освоенного в курсе материала, если обучение ведётся «для сдачи экзамена». Поэтому продолжаем следить за квалификацией выпускников после их выпуска, степень мастерства отслеживаем долго во времени[1].
Если команда учителей подняла интеллект студентов достаточно, чтобы выпущенные мастера отслеживали собственное мышление и коллективное мышление в своих проектах, то они смогут внятно рассказывать о своих успехах, включая рассказ о том, как они применили полученные на курсах знания интеллект-стека при решении проблем. Если их квалификация быстро и массово растёт после окончания курсов, значит усиление интеллекта есть. Если не растёт, то усиления интеллекта нет. Конечно, тут нужно учитывать «непрерывное обучение»/continuous learning, понимаемое как часть общеинженерного «непрерывного всего»/continuous everything: нужно поддерживать SoTA свежеполученного мастерства постоянно, пока пользуешься этим мастерством, то есть постоянно доучиваться, причём в учебных программах образования (усиления интеллекта) постоянному доучиванию тоже надо учить: рост «калибра личности» после выпуска будет показывать заодно и то, насколько хорошо научили «развивающегося» ещё и непрерывному обучению, удержанию SoTA во времени.