Другое дело – применение комплексных оценок в научном исследовании. Здесь сразу на первое место встает вопрос о научной, в том числе математической, строгости применяемой оценки. В частности, например, не вызывает сомнений возможность использования в организации труда такой комплексной оценки, как суммарные затраты времени на выполнение тех или иных технологических операций. Здесь суммируются однородные величины, измеренные в шкале отношений.

Между тем, при использовании шкалы рангов (порядковой шкалы) суммирование баллов довольно часто встречается в исследованиях по педагогике, психологии, медицине, биологии и другим наукам (см. анализ корректности использования методов анализа данных в диссертациях по педагогике [169] и медицине [168]). Так, в одной «методологической» публикации для оценки эффективности деловой игры была использована следующая «формула»: Р = 50 – К – (В – 40), где Р – «комплексная» оценка в баллах, 50 – максимально возможное количество баллов, К – количество замечаний, сделанных ведущим, В – время в минутах. Как видим, здесь уж, что называется, «смешались в кучу кони, люди ...». Под знак суммы (разности) поставлены совершенно разнородные величины: баллы, количество замечаний, время, безразмерные числа.

Достаточно простым и интуитивно понятным (но, в то же время, корректным) методом агрегирования балльных оценок является использование так называемых матриц свертки [172], элементы которых содержат значения агрегированного показателя, а агрегируемые баллы задают номер строки и столбца.

В некоторое оправдание используемым на практике некорректным построениям комплексных оценок следует отметить, что проблема агрегирования векторных оценок на сегодняшний день исследована не полностью, а существующие результаты, даже для их применения на практике, зачастую требуют хорошего знания высшей математики. Качественно же проблема векторных оценок (или как ее иногда называют – проблема принятия решений при многих критериях) может быть проиллюстрирована на следующем простом примере из области экономики: имеются два инвестиционных проекта с одним и тем же размером первоначальных вложений (допустим, 100 единиц), причем первый характеризуется более высоким доходом (300 единиц), но и более высоким риском (предположим, что вероятность неуспеха равна 0,2), чем второй (доход – 250 единиц, вероятность неуспеха (риск) – 0,05). В какой из проектов следует осуществлять инвестиции? Ответ неоднозначен. Если бы первый проект был более прибыльным и менее рискованным, то следовало бы выбирать его. Но имеются два критерия (доход и риск) и первая альтернатива (первый проект) «лучше» по одному критерию, но «хуже» по второму. В подобных ситуациях обычно поступают следующим образом. На первом шаге выделяют множество эффективных альтернатив (так называемых, недоминируемых по Парето, то есть таких альтернатив, что не существует других допустимых альтернатив, которые были бы «не хуже» по всем критериям, а по одному из критериев – «строго лучше»). В рассматриваемом примере оба проекта эффективны по Парето.