§9.04 Валидация и трассировка решений
Время: 45 мин чтение + 30 мин
В одном предложении: Пилот думает, что хорошее решение очевидно по результату, а на самом деле в агентной экосистеме результат может быть случайным, галлюцинированным или локально оптимальным, и только валидация по Pack плюс полная трассировка до источника отличают настоящий прогресс от красивой случайности, которая обманчиво похожа на успех.
Мем, который снимается. «Работает — не трогай. Зачем копаться, откуда решение взялось, если результат хороший?» На самом деле «работает» — необходимое, но недостаточное условие. Решение может «работать» по случайности, вопреки ошибочным предпосылкам, и тогда следующее решение на той же основе рухнет. Или оно может «работать» локально, но противоречить глобальным принципам, и тогда масштабирование откроет катастрофу. Трассировка нужна не для бюрократии, а для обучения: когда решение сработало, вы должны знать, сработало ли оно по правильным причинам, чтобы повторить успех. Когда не сработало — вы должны знать, какая цепочка привела к провалу, чтобы не повторить ошибку.
Понятия. Валидация — проверка того, что решение или выходные данные соответствуют Pack, FPF и критериям приёмки. Трассировка — способность проследить любое решение до источника: какие данные использовались, какие предпосылки принимались, какие агенты участвовали, какие проверки проходили. Решение — зафиксированный выбор среди альтернатив с прослеживаемой аргументацией. В агентной экосистеме трассировка критична: агенты могут галлюцинировать, пилот может ошибаться, а контекст может быть неполным — и только явная цепочка источников позволяет обнаружить это до принятия решения.
Объяснение. В одиночной работе пилот помнит, почему принял решение: «я выбрал X, потому что читал Y и обсуждал с Z». В агентной экосистеме такая память невозможна: агенты генерируют сотни микро-решений, пилот просматривает десятки вариантов, контекст размазан по чатам, коммитам и заметкам. Без трассировки вы принимаете решения, не зная их происхождения — это лотерея, замаскированная под процесс.
Трассировка состоит из трёх компонентов. Первый — происхождение данных (data provenance): какая информация легла в основу решения? Откуда она взялась? Насколько она актуальна? Второй — цепочка рассуждений (reasoning chain): какие логические шаги соединили факты с выводом? Какие альтернативы рассматривались и почему отвергнуты? Третий — атрибуция агентов (agent attribution): какой агент предложил какую часть решения? Какие части прошли валидацию, а какие — нет?
Валидация проверяет решение против трёх якорей. Pack: не противоречит ли решение зафиксированным знаниям и онтологии? FPF: соответствует ли решение принципам и ценностям? Критерии приёмки: удовлетворяет ли результат заранее определённым условиям качества? Решение, прошедшее все три проверки, имеет право на существование. Решение, не прошедшее хотя бы одну, должно быть отправлено на доработку с указанием, какая проверка не пройдена.
На практике. Практика «Трассировка одного решения» (30 мин):
- Выберите одно решение, принятое вами за последнюю неделю. Желательно то, которое казалось очевидным. (3 мин)
- Восстановите цепочку источников: какие данные использовались? где они хранятся? кто или что их предоставил? (10 мин)
- Проверьте предпосылки: какие допущения лежат в основе решения? каждое допущение имеет статус «доказано», «гипотеза» или «предположение»? (8 мин)
- Проведите валидацию: противоречит ли решение чему-то в Pack? соответствует ли FPF? выполнены ли критерии приёмки? (7 мин)
- Зафиксируйте результат: что прошло проверку, что нет, что требует доработки. Запишите в ADR или Pack. (2 мин)
Типичный кейс. Продуктовая команда приняла решение об архитектуре нового модуля. Агент предложил схему, она выглядела элегантно, команда согласилась. Через два месяца выяснилось: схема нарушала принцип изоляции контуров, зафиксированный в FPF. Переделка стоила трёх недель работы. При трассировке оказалось: агент не знал о FPF (контекст не был передан), команда не провела валидацию по принципам (считала, что «элегантно = правильно»), а предпосылка «новая архитектура лучше старой» не имела под собой данных. После внедрения трассировки каждое архитектурное решение проходило через чеклист: Pack? FPF? Данные? Атрибуция? Стоимость переделки сократилась на 80%.
Типичная ошибка. «Трассировка замедляет принятие решений.» На самом деле трассировка замедляет только плохие решения, которые привели бы к переделке. Хорошие решения проходят валидацию быстро, потому что их обоснование прозрачно. Другая ошибка: «Агенты умные, я им доверяю.» Доверие — это не метод валидации. Доверие без проверки — это вера, а вера в агентную экосистему приводит к галлюцинациям в производстве.
Степени мастерства:
| Степень | Что происходит | Критерий перехода |
|---|---|---|
| 1. Объясняю | Могу назвать три компонента трассировки и три якоря валидации | Один раз провёл полную трассировку и валидацию решения и зафиксировал результат |
| 2. Умею | Для важных решений (архитектура, инвестиции, найм) всегда провожу трассировку и валидацию по чеклисту | Три решения подряд имеют зафиксированную трассировку в ADR или Pack |
| 3. Навык | Системно выявляю решения с неявными предпосылками и требую их валидации до коммита | Коллега или агент заметили, что «ваши решения редко требуют переделки» |
| 4. Мастерство | Проектирую валидационные контуры для всей экосистемы: автоматические проверки, peer-review, атрибуция агентов | Решение, принятое без прохождения валидационного контура, технически невозможно зафиксировать в системе |
Проверка себя.
- Могу восстановить источники любого решения, принятого мной за последнюю неделю
- У меня есть чеклист валидации, который я применяю до принятия решений определённого типа
- Я знаю, какой агент предложил какую часть последнего решения, и проверил каждую часть
- Мои решения не противоречат Pack и FPF — и я могу показать, как именно проверял
- Я могу назвать одно решение, которое отклонил после валидации, хотя интуитивно оно казалось правильным
На практике. Следующее решение, которое вы собираетесь принять — даже «очевидное» — остановитесь и спросите: «Какие данные лежат в его основе? Какие допущения я принимаю? Противоречит ли оно чему-то, что я уже зафиксировал?» Запишите ответ в три пункта. Это и есть трассировка в миниатюре.
См. также: Эпистемический граф — PD.GUIDE.3.S9.SS3, Экономика вклада — PD.GUIDE.3.S9.SS5.
Что дальше. Следующий подраздел — об экономике вклада и доказуемом результате: как в агентной экосистеме измерять и поощрять вклад, чтобы мотивировать развитие, а не потребление.