Метрики
Показатели или метрики позволяют измерить изменения в состояниях объектов, оценить важность того или иного сигнала. Метрики описывают количественные изменения, произошедшие с каким-то объектом внимания. Метрики рассчитываются тогда, когда их замер достаточно прост и дешев и приносит больше ценности, чем требуется усилий и ресурсов на ее расчеты.
Метрики важны и не важны. С одной стороны, они позволяют отслеживать сигналы о проблемах и вовремя реагировать. Например, отследить падение продаж и проанализировать причины этого. С другой стороны, нередко агенты начинают ориентироваться на цифры и забывают о реальном мире, стоящим за ними. Например, по привычке начинают «лечить» проблемы с падением продаж наймом новых продажников, хотя в реальности продажи падают из-за серьезных изменений на рынке (конкуренты вывели новый продукт на рынок, и он успешно отвоевывает долю у компании). Кроме того, то, как менеджеры смотрят на метрики и принимают по ним решения, часто не совпадает с тем, как инженеры действуют, чтобы соответствовать метрикам. Например, менеджеры ставят цель уложиться в бюджет при реализации проекта, предполагая, что инженеры и инженерные команды будут учиться точнее оценивать бюджет самостоятельно. Что происходит в реальности: команды начинают раздувать бюджет и завышать цифры, чтобы ни в коем случае не выйти за рамки бюджета. Или вот составление планов: подразделение самостоятельно ставит себе планы и делает это так, чтобы подразделению было удобно этот план выполнять. Хотя на первом месте должна быть польза для компании. Это лишь некоторые примеры[1] метрик, которые отслеживаются с благими целями, а в итоге незаметно приводят к формированию разрушительного для компаний поведения сотрудников[2].
Чтобы метрики приносили пользу, следует в первую очередь ориентироваться на качественные объяснения: какой кусочек физического мира стоит за цифрами, с какой целью метрика измеряется, подходит ли она для оценки результатов действий и вмешательств. Хорошо подобранной можно считать метрику, суть которой и инженеры, и менеджеры могут объяснить «на пальцах», без цифр, а также описать, что может повлиять за замеры и как метрику можно использовать неправильно при принятии решений. Например, метрика «выпуска» обычно считается хорошей, но для целей операционного менеджмента. Она не подойдет для оценки качества сотрудничества в команде.
Хорошие метрики могут быть сконструированы под вашу ситуацию и не быть общепринятыми. Например, нередко при планировании работ пытаются оптимизировать «скорость в процессе», те скорость выполнения отдельно взятых заданий. Но в реальности надо улучшать «скорость до результата» – скорость, с которой поставляется партия товаров / иной ценности или пользы клиенту. Кажется, что разница практически отсутствует – но только до тех пор, пока не начинают разбираться. И тогда оказывается, что «быстрая поставка ценности» компанией возможна, если увеличивается скорость работы ограничения. Поэтому нет смысла инвестировать значительное количество денег и сил в ускорение оргзвеньев, не являющихся ограничениями (кроме случаев, когда количество работы уменьшается для всех). Другой пример: с точки зрения «скорости в процессе» учебник лучше пролистать или быстро прочитать. Однако если ваша цель – не «развлечься», а «научиться», то лучше практиковать медленное чтение с заметками. При таком подходе к обучению студент замедляется, его скорость чтения материала падает («скорость в процессе»). Однако при этом он качественнее осваивает материал и сразу применяет его к жизни – в итоге может быстрее получить мастерство. То есть, «скорость в процессе» падает, а «скорость до результата» – растет.
Не стоит слепо считать цифры. И если вы обнаружили, что не можете объяснить физический смысл введения метрики, то стоит разобраться, что и зачем вы измеряете.
Метрики могут измеряться с некоторым «допуском». Например, когда вы проводили аудит вашего времени в течение первых недель стажировки, вы считали время не с точностью до минуты или миллисекунд, но с точностью до получаса. Повышение точности расчётов в данной ситуации обойдётся дорого (вы будете постоянно отвлекаться от работы по методам на замеры), но не даст какого-то существенного улучшения результатов. Поэтому этой точности достаточно.
Точно так же у вас будут допуски при дребезге. Не на каждый дребезг стоит реагировать, не каждое концептуальное пространство стоит уплотнять. Наиболее успешные онтологии обычно формализованы не до конца, чтобы учесть возможные варианты выделения объектов, которые не могли быть учтены при разработке онтологии. Модели, которые вы будете строить, сначала будут порождающими (первыми и потому кривыми) и лишь потом перейдут в класс разделяющих/дискриминирующих/классифицирующих. Вы можете отметить, на какие классы дребезга вы не будете реагировать в вашей работе.