Люди, или люди с машинами, или коллективы — кто судьи в том, что они поумнели по итогам обучения?
И тут нужно заметить, что проблема «измерения результатов обучения» отличается от проблемы проверки «есть ли у железяки/человека интеллект». Нам же нужно не «есть» или «нет», а выдать дельту между «было» до обучения (включая образование) и «стало» после обучения. Так что методы, которые дают «однозначный ответ» типа теста Тьюринга, неприменимы. Вы не можете посадить будущего нобелевского лауреата за занавесочку и простого выпускника вуза за ту же занавесочку, а затем попросить экзаменационную комиссию определить, кто из них кто. В самой предметной области инженерии AI-агентов уже признаётся, что машины становятся умней людей, и нужно уходить от людей как оценщиков, оценщиками машин дальше будут тоже машины, люди будут не способны оценить интеллекты, более умные, чем они сами[1].
В то же время есть неформальные способы оценки, например, отбор «похожих на себя», кооптация в разные сообщества людей с общепризнанной силой интеллекта или степенью квалификации в прикладном мастерстве: «мы академики, признаём вот этого Имярека тоже академиком, считайте его интеллектуалом» и параллельное «вон та академия признала вон того интеллектуалом, так там лжеакадемики, наша академия не признаёт его никем, кроме как шарлатаном», только в сегодняшнем варианте кооптировать сверхинтеллекты после их усиления предлагается даже не людям, а машинам. Так что и это решение не слишком помогает, никакой «объективности» нет, критики не избежать.
В любом случае, «выход за пределы судей-людей», равно как выход за пределы усиления интеллекта именно людей в интеллект AI-агентов и даже интеллект команд — это тренд сегодняшнего дня.
Тут можно указать, что усиливать интеллект можно даже не по линии методов решения проблем, а на уровне самой постановки задачи. Так, на курсе «Моделирование и собранность» за один семестр из студента ШСМ делают человека-киборга: студенту отращивают компьютерный экзокортекс и приучают им пользоваться, реализуют эвристику «два года ты работаешь на цеттелькастен, потом цеттелькастен всю жизнь работает на тебя». Речь идёт о мастерстве «мышления письмом» для управления памятью и вниманием при помощи компьютера, а не только «хорошо тренированного живого мозга», мастерство в практике помодоро (компьютер отслеживает время), мастерство трекинга работ (модификации GTD и поддерживающий их софт типа Focus To-Do[2]). Далее второй семестр программы «Организационное развитие» учит системному моделированию для удержания уже в нескольких головах деятельности немаленького предприятия.
Помогает ли это с новыми классами проблем, которые будут встречаться после обучения, то есть усиливает ли интеллект? Конечно! Это ж всё будт просто новые «проблемы» как объекты, их нужно выявить (моделирование), удержать во внимании (собранность), запланировать на их решение время (операционный менеджмент), обсудить с коллегами (коммуникация, включая риторику), и всё это только для того, чтобы их решить быстрее, независимо от класса этих проблем. Далее контрольный вопрос: проверять усиление интеллекта будем вот этого киборга из человека и его софта, или требовать сдать смартфон перед проверкой и изображать из человека «выживанца в ядерной катастрофе», как это происходит во время ЕГЭ, когда нельзя пользоваться компьютерной техникой и нельзя выходить в интернет? Проверять решение этим человеком-киборгом проблем в одиночку (интеллект-in-the-small), или проверять таки, что он адекватно решает проблемы в коллективе (интеллект-in-the-large), а потом ещё и может организовать коллектив на решение проблем (системный менеджмент), и замерять прирост скорости решения заранее неизвестных проблем, которые решает коллектив, оснащённый суперкомпьютерами? Идея «покажите мне экзамен, который гарантирует, что вы сделали человека на 24.2% умнее» быстро разваливается после таких вопросов. «Если король просит генерала перепархивать бабочкой с цветка на цветок, а он не выполняет приказ — то кто виноват, генерал или король?», вот это рассуждение как раз про тех, кто требует организовать какое-то «приборное» измерение усиления интеллекта студента по итогам прохождения им образовательных программ.
Ещё одна линия вопросов — это про тот самый интеграл по классам проблем. У Chollet это формулировки типа «все классы проблем, которые может встретить человек» или «все классы проблем, которые могут быть во Вселенной», то есть включая проблемы, недоступные человеку, включая проблемы недоступные человечеству со всеми его компьютерами. Если задачу может решить машина Тьюринга за бесконечное время, то это считается вполне решаемой задачей в математике! А в жизни? В жизни какая-нибудь супер-дупер машина Тьюринга будет решать эту задачу миллиарды лет, то есть по факту задача будет «нерешаема». Хороший тут пример — это доказательство того, что нейронная сетка неограниченной ширины может аппроксимировать с заданной точностью любую функцию. Для математиков — «может», для физиков — «может для простейших случаев и нынешних компьютеров за миллиарды лет, для сложных случаев вы даже представить не сможете, сколько это лет». То есть измерение прироста интеллекта ещё и должно давать не только приемлемую математическую оценку интеллекта «для всех классов задач, которые могут встретиться человечеству или вообще во вселенной», но и быть реализовано физически так, чтобы давать оценку за приемлемое время и с низкими требуемыми ресурсами. Но как узнать, какие проблемы в каких проектах встретятся человеку через год-два, да ещё и как оценить, может ли человек-выпускник решить эти проблемы, и какая затрата ресурсов при этом будет считаться приемлемой?
После курсов усиления интеллекта хотелось бы, чтобы их результата хватало бы хотя бы на некоторое время (лучше бы годы, чем месяцы) после окончания этих курсов. Интересует усиленный интеллект, который и впрямь встретит что-то непонятное и неизвестное его носителю, а то и всем людям на глобусе, и разберётся с проблемой!
И тут опять нужно обсуждать не людей, а «интеллектуальных агентов», то есть xGI (natural general intelligence, artificial general intelligence, hybrid general intelligence и так далее). Люди, люди с компьютерами (например, со смартфоном) и доступом к гуглу и ChatGPT, группы людей и компьютеров, только компьютеры с универсальными алгоритмами AGI, всё пойдёт. Но что и как из этого измерять, каким способом?!
В AI это обсуждается как неправильность ориентации всех исследований и всей инженерии xGI на достижение SoTA в каких-то уже известных бенчмарках, ибо это всё равно как сдача экзамена по ЕГЭ: на пять баллов сдал биологию и математику, а в жизни тебе потребовалось пожарить из коровы котлету — и там сразу этика, диетология и кулинарное искусство, а экзамен ты сдавал по биологии, и тебе это в жизни никак не помогает, хотя в биологии изучают в том числе и коров и даже могут упоминать, что живых существ нужно беречь (забывая упомянуть, что коров на планете много больше, чем можно было бы ожидать их встретить в дикой природе именно из-за того, что их разводят специально. То есть коровам вроде бы свезло, что их едят! Но и это знание про везучих коров никак не помогает пожарить котлету!).
И никакого SoTA в смежных требуемых областях у тебя после сдачи экзамена нету, и ты умён только тогда, когда покажешь скорость освоения этого всего для тебя нового, другие прикладные навыки будут не в счёт. В России ЕГЭ по литературе давно уже сдан универсальным алгоритмом[3]. И что, будем считать эти алгоритмы «готовыми к жизни», то есть сравнимыми как-то по интеллекту со школьниками, сдавшими тот же ЕГЭ? А когда они сдадут на пятёрку, как тогда (а ведь уже сдают, во всех странах, и не только школьные экзамены, но и вузовские)? А если сделаем что-то типа батареи таких тестов, «все ЕГЭ, что требуются в России», то будем ли считать алгоритм не глупее школьника-выпускника с такими же оценками? Эх, не работает ориентация на проверку знания SoTA в каких-то областях, акцент ведь должен на создании новых SoTA-практик, открытии новых предметных областей. И проверяется SoTA в этой работе с непредвиденным, а не SoTA в решении известных задач!
вот небольшой обзор Twenty Years Beyond the Turing Test: Moving Beyond the Human Judges Too, https://riunet.upv.es/bitstream/10251/172312/7/Hernandez-Orallo - Twenty Years Beyond the Turing Test Moving Beyond the Human Judges Too.pdf ↩︎
https://ailev.livejournal.com/1489047.html, три алгоритма сдали этот ЕГЭ на четвёрку, https://www.sberbank.ru/ru/press_center/all/article?newsID=72fb39fd-161e-423c-a58f-4ce41e4757f4&blockID=1303®ionID=77⟨=ru&type=NEWS ↩︎