Система количественной оценки качества (или технический подход против гуманитарного)


 

Вместо предисловия

Мой недавно опубликованный на iXBT обзор "Звуковая карта Voyetra Turtle Beach Santa Cruz", к моему удивлению, наделал много шума. Завязалось больше десятка личных переписок и прошли довольно бурные узкотехнические обсуждения в конференции. Это означает то, что многим читателям небезразличны затронутые в статье вопросы (ну и есть надежда, что я не зря корпел над этим материалом почти месяц). Основная масса читателей разделилась на "технарей" и "гуманитариев". Это очень условные категории, и я прошу не относиться к ним слишком строго (далее везде буду писать их без кавычек). И если от технарей были только положительные отклики (многие благодарили за интересный материал, делились советами, просили помочь им в выборе аппаратуры), то от гуманитариев шла в основном одна критика. Особенно много претензий было по стилю изложения и по перебору с техническими терминами (без их подробного разжевывания). По признанию некоторых, их просто смыло волной цифр. :)

Сначала по стилю. Иногда встречающиеся в моих материалах "крутые" выражения нужны скорее для "зацепки" читателя, для концентрации его внимания на важном вопросе. Ну и немного юмора, чтобы люди не засыпали при чтении довольно трудно воспринимающегося материала (такой же подход демонстрируют умудрённые опытом лекторы во ВТУЗах). И потом, один мой, довольно рискованный эксперимент в следующем. Обычно эксперты пишут обезличенно: "мы прослушали", "нетрудно видеть", "всем нам известно"… Лично я, читая такие фразы, просто засыпаю. Поэтому, с некоторых пор, я пишу так: "я использовал", "я советую", "я ожидал одно, а получил другое". Соответственно, если Я где-то недоглядел (или попросту облажался) — и отвечать только МНЕ. Один известный американский публицист сказал: "Вам, русским, ещё долго расти от серого "МЫ" к яркому "Я". Восток — серость и коллективный разум, Запад — индивидуализм и самовыражение". Пожалуй, я уже созрел для того, чтобы преломить традицию и не прятаться за спину издания (но я ни в коем случае не призываю всех авторов следовать этому принципу). Может быть поэтому материал многим (с непривычки?) "резал ухо" при чтении и казался какой-то очень смелой авантюрой. :) Как видим, на самом деле все несколько сложнее. Разумеется, в каждом деле надо знать меру. За сим, разрешите считать эту тему исчерпанной. :)

О скупости на личные впечатления и меткие метафоры типа "басы были булькающие, но недостаточно глубокие" или "верха были чуть суховатые, но непринужденные" а-ля аудиофильские печатные издания. Если бы я задавался целью написать развлекательный комедийный водевиль или не считал бы толк от таких определений нулевым, то обязательно так бы и поступил. В опровержение необоснованных обвинений в способность технарей оперировать лишь бездушными цифрами 1, я ненадолго продолжу изложение материала в литературном стиле:

Многие спрашивают, откуда я беру свои знания? Для поддержания ауры таинственности следовало бы ответить так — через астральный канал, струящийся из просторов космоса через мой позвоночный столб в Центр Концентрации — хара тандэн… Но достигнув той ступени духовного развития, на которой нет нужды в сказках, понимаешь, что правда бывает интереснее любой самой зачаровывающей лжи. В этом случае я просто уподобляюсь тому африканскому мальчику, который с завидным усердием проворно намывает в своём самодельном ситце тонны песка и иногда находит алмазы. Рядом с ним, изнурённые жарой и тяжёлыми мыслями, трудятся соплеменники. Они тоже стоят по колено в мутной воде и пытаются что-то найти. Но… кто ленив и, не выдерживая, уходит отдохнуть в тень, кому-то пот заливает глаза и он уже не замечает уносящиеся с потоком жёлтой воды крупицы воплощения его надежд, а у иных слишком мелкая или крупная ячейка в их кустарном приспособлении для отсеивания песка, и… вековая технология не срабатывает от неправильного применения.

В этой метафоре "река времени" — это стремительно развивающийся мир вокруг, тонны песка — проносящаяся мимо нас информация, а алмазные крупицы — это те самые крупицы знаний, стОящие в реальном мире едва ли не большую цену. Ну а сноровка добытчиков и качество их приспособлений — это наши с вами знания (полученные навыки) и наши материальные возможности. Далее алмазный песок нужно промыть, тщательно разобрать по сортам и огранить. Не правда ли — очень точная аналогия с информацией, которая претерпевает и визуальный отбор, и сортировку, и доводку? На всех этих этапах важен профессионализм. Может именно поэтому так мало полезного и качественного материала доходит до конечного читателя (а в случае с драгоценностями — до покупателя)? Везде норовят всучить подделку, да ещё вовсю стараются хорошо на том нагреться.

Однако, многие невежды часто сами провоцируют торгашей на такие аморальные поступки. Ещё бы, ведь люди в большинстве своём ленивы, нелюбознательны, доверяют всем больше, чем себе, любят догмы, обожают слушать сказки. Но самое страшное — когда люди не хотят думать или не в ладах с элементарной логикой. Такое распространённое поведение, впрочем, на руку нечистоплотным личностям. Я бы рискнул предположить, что оно на руку всем, кроме того бедного и многострадального "лоха", который жил-был в стране, где самому думать и решать было вредно — а тут его пустили в открытое плавание, в Большой Мир.

По многочисленным просьбам, я решаюсь немного приоткрыть завесу тайны над одной из открывшихся мне граней природы вещей. Очень надеюсь на то, что этот материал принесёт реальную пользу и очень рассчитываю на понимание среди читателей.

1 Многие утончённые гуманитарии несколько высокомерно относятся к технарям. Хотя практика показывает, что из технарей впоследствии могут выйти отличные гуманитарии. Один из ярких примеров, мой любимый автор среди компьютерных писателей — Евгений Козловский, имеет, помимо гуманитарного, высшее техническое (у меня уже лет шесть хранится одна из его книг с именной дарственной надписью). А вот обратный переход — из гуманитариев в технари — возможен едва ли. Если вам известны такие случаи с хэппи-эндом, просьба поделиться ими со мной.

Письма читателей

Давайте посмотрим на характерные отклики, которые я получаю на свои статьи:

"Блин, я ничего не понял. Вы чё! Не можете написать конкретно? Классная вещь (варианты — кул, рулез, улёт) или совсем плохая (соответственно - шит, сакс, отстой)? Что у вас там одни цифры? Вы же звук слушаете, а не электричество, подающееся прямо в мозги!"

К счастью, таких отзывов очень мало. Попробуем разобраться, что же вызвало такую реакцию? Как известно, всё непонятное вызывает недоверие, негативные эмоции и страх (налицо "цифробоязнь" у пациента). Ну ничего, просто человек читает статью для общего развития и не всё понял. Я советую таким читателям более вдумчиво прочесть всё ещё раз или просто оставить у себя ссылочку на неясный, но информативный материал про запас. Простое наблюдение из моей практики: вполне обычные люди (и даже самые "цифро-ненавистники" из них!) при возникшем вдруг желании получить хорошую вещь и начиная с энной суммы денег, просимой продавцом за изделие, начинали с жадностью глотать любую информацию по приобретаемому изделию. И их уже не интересовали субъективные мнения авторов и анекдоты в обзоре, им были нужны только факты. Видимо, мозги переключались в "правильный" режим работы, при должной концентрации. Как говаривал один профессор, усмехаясь при этом: "у-у-у… товарищ студент, я смотрю — процесс пошёл?!"

Устами гуманитариев глаголет истина

Другой, распространенный вариант: "Извините, Максим, но я человек занятой и у меня нет ни времени, ни желания разбираться с вашей системой измерений. Да и не думаю, что это бы для меня что-то прояснило. Я гуманитарий, у меня другой склад ума. Лучше бы описали по-человечески - что хорошего я получил бы, приобретя эту карту и насколько."

Вот! Золотые слова сокрыты в последнем предложении. Мы к нему сейчас вернёмся. Почему у гуманитариев такое "сложное" отношение к цифрам? Может, их насильно заставляли внагрузку заниматься математикой в институте, хотя их специальность по логике вещей даже близко не касалась цифр? Технарей ведь тоже пичкали философией и политологией, чтобы жизнь малиной не казалась. :) А как сейчас преподы работают в ВУЗах и за какие деньги пояснять, думаю, не надо2. И вроде бы никто в том не виноват (ни студенты, ни преподы), но суть не в этом.

2 Для тех, кто не в курсе. Сейчас для большинства из них все студенты — богатые козлы, надо на них оттянуться, сорвать свои неудачи в жизни, ну и вообще, показать какая наука тут главнее (особенно если их предмет не имеет никакого отношения к специализации студента). Есть, конечно, редкие исключения. Но они, к сожалению, лишь подтверждают общее правило.

Уважаемые господа гуманитарно-образованные! Цифры придумали совсем не для того, чтобы насолить вашим нежным и тонким чувствам. И не для всеобщего господства грубых и невежественных технарей. Цифры — это мера вещей. Ни больше, ни меньше. Они только помогают, при минимальном напряжении мозгов, сделать вам правильные выводы. (Но не следует впадать в другую крайность и возносить цифру в ранг абсолюта. Я всегда повторял и не устаю повторять: обработка и трактовка результатов каких-либо измерений дело гораздо более трудное, нежели этих абстрактных цифр получение.)

Откуда же исторически взялись эти злосчастные цифры? Перенесёмся немного назад во времени. Когда на наше любимое африканское племя готовились напасть более кровожадные и менее сообразительные соседи-африкосы, то прибегал дозорный, падал на колени, вздымал руки к небу и кричал вождю: "Матумба!!!" Что означало — сюда бежит толпа злых дядек, и сейчас всем сородичам наступит каюк. Мудрый вождь спрашивал — а сколько там этих нехороших? И дозорный показывал на пальцах. Вождь сравнивал то количество, которое показала разведка и своё количество воинов. Дальше в работу запускался сверхсложный алгоритм обработки результатов и принятия решения: "если наших мужиков больше, чем ихних, то встречаем их палками и камнями; иначе берём все шмотки и меняем диспозицию". Вот так, уважаемые мои гуманитарии3. Это была демонстрация одного из основных алгоритмических законов на практике4.

3 Конечно, нельзя недооценивать долю гуманитарной или технической стороны вопроса. Если бы не было техников (и вояк в том числе) - наших предков съели бы соседние людоеды или залило дождями (короче, сломили бы любые внешние угрозы), без гуманитариев — было бы падение нравов и моральное разложение (тут угроза исходила изнутри племени). Вопрос что первично — голова или туловище не имеет особого смысла, так как совершенство достигается лишь в их гармонии.

4 Главная вещь, которую мне дало высшее техническое образование — это умение анализировать чужие и применять синтезированные на их основе свои знания на практике. И это - основное отличие прикладной науки от фундаментальной. Здесь также нет абсолютно никакого соревнования одного направления науки с другим. Но в реальной жизни, без сомнения, полезнее будет прикладной аспект.

В переводе на звуковые карты и все компьютерные железяки вообще: "если полезность (как некое сочетание дешевизны и качества) первой вещи больше полезности второй вещи, то здравый смысл и логика подсказывают за приобретение первой из них (или вывод о её превосходстве над второй)".

Пример неправильного применения цифр

В последнее время, я стал часто встречать в обзорах иллюстрации, подобные этой (хотя, это было всегда, особенно на "заказных" сайтах или на сайтах производителей):

Вслед за диаграммой обычно идёт такого рода комментарий: "Налицо превосходство Железки 2 над убогой Железкой 1. Наконец-то производитель Железки 2 дал нам с вами реальный продукт убойной силы." И если раньше я лишь просто снисходительно улыбался, то теперь стану по-мере возможностей бороться с подобным разгильдяйством. Ведь прочитает восторженный гуманитарий такой обзор, мельком взглянет на диаграмму да и побежит покупать вторую железку. Технарь только посмеётся этой диаграмме с нулём, расположенным по данной шкале где-то в центре Земли (я намеренно утрирую), да незлобно так пожурит автора за отсутствие здравого смысла в этой картинке. При этом, если в задумку автора входило ЛУЧШЕ показать превосходство одной вещи над другой — следует считать его задумку преднамеренным ИСКАЖЕНИЕМ действительности. Ведь диаграмма призвана продемонстрировать результаты таким образом, чтобы глаз читателя лучше смог определить пропорцию в приведённых величинах. В процентном же отношении вторая вещь лишь на (55.01-55)/55*100% = 0,018% превзошла первую. Такое превосходство обычно можно смело списывать на погрешность измерений. В самом крайнем случае, когда измерения не вызывают сомнений, такие результаты всё равно нельзя принимать всерьёз, ибо чувствительность большинства людей всё равно не даст заметить разницу измеренного параметра. Даже 1% изменений будет не так-то легко заметить.

Что касается особенности слуховых способностей человека и почему в этой области безраздельно господствует "Его Величество Логарифм", то и это отдельная и очень интересная тема. И я планирую затронуть её в одной из своих ближайших статей.

Демонстрация применения цифр в задаче о наилучшем выборе

Итак, в повседневной практике часто встречается задача сравнения нескольких вещей и, по возможности, выбора наилучшей из них. Этой теме или смежным с ней темам посвящено большинство обзоров. Но чтобы сделать такой выбор лучшим для себя образом, нужно прежде придумать специальную систему оценки. Да-да-да. Приготовьтесь послушать немного моих научных выкладок. При этом я постарался сделать своё изложение мыслей максимально доступным и прозрачным для понимания. Если что-то будет непонятно сразу, то на примере всё встанет на свои места.

Итак, я предлагаю ввести числовую функцию качества:

f(x1,k1, … , xn,kn)

где x1… xn — это числовые параметры качества, k1… kn - весовые коэффициенты. Чем выше значение этой функции, тем лучше вещь, с точки зрения качества для данного пользователя. Числовые параметры качества — это как можно более точные и объективные числовые характеристики, присущие рассматриваемой вещи. Весовые коэффициенты определяют значимость выбранного параметра качества для пользователя. Причём, для каждого этот набор весовых коэффициентов будет своим.

Для применимости всего этого дела в "обзоростроении", можно попытаться разделить читателей по некоторым характерным признакам на группы и определить полезность вещи для каждой такой группы. По-крайней мере, читателю будет интереснее посмотреть касающиеся именно его рекомендации, чем соизмерять себя с автором статьи и пытаться как-то экстраполировать его выводы на свои запросы. Приведу пример с 6-ю изделиями и двумя характерными группами пользователей:

Тестируемые образцы железка №1 железка №2 железка №3 железка №4 железка №5 железка №6
Цена, у.е. 12 35 50 55 100 600
Функция качества, % (15 дюймовый монитор, слабый компьютер) 50 80 100 98 60 40
Функция качества, % (17 дюймовый монитор, сильный компьютер) 42 65 70 86 100 75

Если построить график такой функции5 по аргументу6 "цена", то максимум7 этой функции будет соответствовать лучшей покупке при выбранных критериях и весовых коэффициентах для данной группы читателей.

5 график функции — в данном случае это проекция некоторой части многомерной поверхности f на плоскость.

6 аргумент — независимая переменная, откладывается по горизонтальной оси.

7  максимум — наибольшее значение функции.

Следуя определённой логике, любой здоровый мозг (что удивительно — даже у гуманитариев) с незамутнённым сознанием всё равно решает такую задачу. Небольшая неприятность состоит в том, что для каждого читателя этот график всё равно будет свой. Но и эта проблема решаема: достаточно, чтобы, к полученным в тестах результатам, читатель добавил свои весовые коэффициенты. (На сегодня есть куча способов — как это сделать технически. Ниже, я покажу один из сравнительно простых вариантов.)

Пример с выбором изделия по FPS-ам в Quake

Для хардкорных геймеров (к коим, впрочем, "я никак не отношусь", это и в прямом, и в переносном смысле) важен только один параметр качества изделия — скорость в играх. Казалось бы - что может быть проще, зачем усложнять жизнь какими-то формулами? Смотри на графики "тестов в Кваке" и всё станет понятно. Ан, не тут то было! Не все разрешения одинаково пригодны для игры. Не на всех мониторах можно с комфортом поставить такие разрешения. Например, для слабой машины с 15-ти дюймовым монитором будут наиболее актуальны тесты 800х600 в 16 битах, значимость всех остальных тестов пойдёт по убывающей. В соответствие с предпочтениями, устанавливаются нужные коэффициенты. В тех разрешениях, в которых пользователь никогда не будет играть можно принять нулевое их значение. Если машина достаточно мощная, и монитор 17-ти дюймовый, то акцент переносится на 32-х битную глубину цвета.

Соответственно, линейный по отношению к кадрам в секунду, закон выразится в следующую формулу:

где xi — это количество fps в i-том timedemo тесте игры Quake3 (взят для примера как наилучший бенчмарк из всех), kii-тый весовой коэффициент, для примера i=5.Можно провести необходимое количество тестов и дать каждому свою значимость.

В конечном итоге, все критерии качества будут противопоставлены розничной цене изделия. И какой бы красивой вещь ни была, если она стоит безумные деньги, то никакие супер-параметры для 99% покупателей её не спасут. Для облегчения подбора коэффициентов ki вынесем цену в отдельную категорию. Введём параметр соотношение цена/качество, как численное соотношение важности цены изделия по отношению к его качеству. Этот термин будем применять для единичного пользователя или для усреднённого пользователя из характерной группы оных. Для среднего (в нашей стране скорее обеспеченного) пользователя это соотношение будет примерно равно 1:18. Если бюджет поджимает или нет желания бежать впереди прогресса, проплачивая его, то можно изменить коэффициент на 2:1 или, скажем, 3:1. Для граждан, имеющих очень хороший достаток или персонального спонсора :) коэффициент будет больше единицы: 1:2 или может даже 1:10. Для последнего случая 10% рост качества будет оправданием 100% роста цены.

Для иллюстрации всего выше сказанного, я быстренько (за, каких-нибудь, пятеро суток :) ) соорудил файлик в Excel-е (6,5 Kb в zip-архиве, только для русской версии Excel 97/2000).

8 К примеру, я купил год назад (и ничуть о том не жалею), только что появившийся в продаже GeForce256 SDR 32 Mb за $250, что было на 25% больше цены продававшейся за $200 TNT2 Ultra. Для меня 25% переплата за ~25% увеличение производительности показалась достаточно разумным, но не определяющим фактором. Разгон карт в обоих случаях поднимает скорость на сопоставимые величины. В моём случае, это была эксклюзивная плата от ААА, :) и, поэтому, оптимальный разгон составил 120/166 up to 155/210. В таком режиме плата стабильно работает уже год. Надо только учесть, что в основе такой стабильной работы очень сильно греющегося первого GeForce лежит небольшое усовершенствование — замена стандартного кулера на Celeron-овский (подробнее, про эту простую переделку с моими, подготовленными для такого случая чертежами в АCAD-е, можно прочесть здесь). То есть основным перевесившим критерием выбора для меня тут была как раз не скорость, а всякие интересные фишки Гефорса. Как то — аппаратный T&L, аппаратная компенсация движения для DVD, замечательная анизотропная фильтрация, достаточное быстродействие для применения 32-х битного цвета в рабочих разрешениях моей 17-шки. И вообще, я человек спокойный, в шутеры отыграл уже своё. В стратегиях и ролевушках же, качество изображения всегда было важнее количества кадров в секунду. Хотя, по законам диалектики (кто застал такую науку) количество с некоторого момента как раз и переходит в новое качество. Обидно, что дедушка Маркс сейчас не в моде (а ведь в его трудах есть чему поучиться). А люди теперь чаще обращаются к астрологическим прогнозам, чем к здравому смыслу.

15 дюймовый монитор, слабый компьютер:

17 дюймовый монитор, сильный компьютер:

Table2.gif (28408 bytes)

Здесь сравниваются два девайса, под кодовыми названиями "железка №1" и "железка №2". Немного страшновато смотрятся формулы:

=(C4/МИН(C$4;C$5)*D4+E4/МИН(E$4;E$5)*F4+G4/МИН(G$4;G$5)*H4+ I4/МИН(I$4;I$5)*J4)/(D4 +F4+H4+J4)*$M4+МАКС(K$4;K$5)/K4*$L4

но на самом деле ничего сверхсложного тут нет. Усовершенствование необходимо для перевода всех параметров в безразмерные величины, и чтобы весовые коэффициенты можно было ставить в одной системе оценок (одном масштабе). Оценки можно ставить по любой удобной вам шкале, руководствуясь единственным принципом: "большее значение соответствует большей важности". Главное, чтобы выбранная система как можно ближе соответствовала вашему восприятию и вашим потребностям. Я выбрал такую, но вы, конечно же, можете изобрести свою. Комментарии к получившимся результатам. Для пользователя слабого компьютера, за неимением достаточных денег, даже 20% перевес в предпочитаемом разрешении не мог угнаться за 2-х кратной разницей в цене. Победила дешёвая, хотя и более "тормозная" железяка. Для слишком обеспеченного пользователя, при некритичных запросах к цене продукта, обе железки примерно равнозначны. Это означает, что нужно обратить внимание на какие-то другие критерии качества, ибо по выбранным — карты равны. Для более наглядного восприятия соотношений полученных значений функций качества, в самой последней графе приведены процентные значения полученных функций: =M4/МАКС(M4;M5)*100.

Как интерпретировать процентное значение функций качества? Для этого можно воспользоваться следующей оценочной таблицей:

Градации качества вещи, вообще заслуживающей внимание Значение f, % Примерная расшифровка сравнительной оценки для нескольких сравниваемых изделий
90-100 Изделие одного качества с наилучшим
80-90 Небольшое отставание, но разница не слишком заметна
70-80 Добротная вещица, есть отставание от лидера
60-70 Посредственное изделие, отставание слишком очевидно
50-60 К сожалению, изделие значительно отстаёт в качестве
Полный провал 0-50 Более чем двукратное отставание по данным критериям качества

Здесь я предполагаю, что более чем двукратное отставание по качеству — это полный провал. Поэтому вводить градации "убожества" не вижу особого смысла.

Заключение эксперта

Для избежания ошибок, я отдал разработанную мной систему оценки на рецензию моему другу математику, преподавателю с кафедры Высшей Математики МГТУ им. Баумана, Игорю Шабанину (а помимо математики, он, в своё время, получил красный диплом и по экономике). Игорь внимательно изучил данную систему и дал положительное заключение. Из всего что он сказал мне про определённую нежелательную корреляцию параметров качества между собою, уровни доверия и проценты вероятности, я понял следующее. Система отнюдь не оригинальна в принципе (это к моему большому сожалению), но именно такого варианта оценки в книжках по этой тематике он ещё не встречал (к моей превеликой радости). Далее, предложенная мною система положительно проста и достаточно хороша для применения не менее, чем в 90% случаев для умственно здоровых индивидуумов. А все дальнейшие её улучшения неизбежно приведут к усложнению (что может отбить охоту ей пользоваться) и необходимости введения новых допущений (что сузит границы её применения).

Спустя некоторое время, Игорь нашёл время лично дать небольшие пояснения: "Функция, описывающая производительность карты есть не что иное, как нормированная взвешенная функция, с весовыми коэффициентами, заданными пользователем (в зависимости от типа решаемой задачи). Несомненным является тот факт, что параметры качества, входящие в функцию производительности, являются зависимыми. Вот по этой причине автором и предлагается читателю самому ввести весовые коэффициенты, для построения критерия, в наилучшей степени отражающего запросы читателя.

Подобные функции часто применяются в различных областях науки, для сравнения различных устройств и приборов, в зависимости от их функциональных качеств. Например, в теории надёжности. Заслуга автора состоит именно в том, что при сравении двух устройств используются не только технические характеристики изделий, но, также и их цена, которая путём нормировки применяется в формуле. Можно придумать множество разнообразных функций качества, но самая главная задача — что бы они адекватно решали поставленную задачу. Что, на мой взгляд, и происходит в данном случае.

Основная проблема, возникающая при использовании подобной функции полезности — это правильный подбор весовых коэффициентов и числовых характеристик параметров, правильно отражающих "действительность" и "пожелания" человека.

Нужно отметить, что полученные в результате числовые характеристики двух (или более) сравниваемых устройств пригодны только для сравнения именно этих устройств и показывают, насколько в Вашей системе предпочтений эти устройства различаются."

Возможные усовершенствования системы

Наиболее очевидными для меня выглядят следующие усовершенствования.

Для более точного соответствия параметров качества психо-физическим ощущениям человека, а в некоторых случаях и для применимости системы вообще, необходимо ввести функции зависимости ощущений человека от всех этих параметров. Иначе, в примере с кадрами в секунду может победить невероятно тормозная видеокарта с ультра-дешёвой ценой. Для FPS-ов можно построить такую примерную "функцию ощущения скорости от количества кадров в секунду"

Кривая отражает мои личные субъективные ощущения скорости на данный момент. Здесь, любое количество кадров в секунду, меньшее или равное 20 FPS считается неприемлемым. Поэтому ощущение скорости будет равно нулю. 100 FPS были взяты как наибольшая возможная частота вывода кадров при 100 Гц-ной развёртке монитора. Поэтому, FPS выше 100 на большинстве современных мониторов, как я предполагаю, не имеет смысла. Данные кривые могут быть построены и для других ощущений человека и затем использованы для коррекции вводимых критериев качества.

Если кто-то из уважаемых читателей придумает и другие интересные улучшения метода, то я с удовольствием их рассмотрю. Я, в свою очередь, планирую обязательно применить эту Систему Количественной Оценки Качества, как мой очередной авторский заСКОК, в следующей же статье (если, конечно, редакция не будет сильно против).

 

Дополнительно

Система количественной оценки качества (или технический подход против гуманитарного)

Система количественной оценки качества (или технический подход против гуманитарного)

 

Вместо предисловия

Мой недавно опубликованный на iXBT обзор "Звуковая карта Voyetra Turtle Beach Santa Cruz", к моему удивлению, наделал много шума. Завязалось больше десятка личных переписок и прошли довольно бурные узкотехнические обсуждения в конференции. Это означает то, что многим читателям небезразличны затронутые в статье вопросы (ну и есть надежда, что я не зря корпел над этим материалом почти месяц). Основная масса читателей разделилась на "технарей" и "гуманитариев". Это очень условные категории, и я прошу не относиться к ним слишком строго (далее везде буду писать их без кавычек). И если от технарей были только положительные отклики (многие благодарили за интересный материал, делились советами, просили помочь им в выборе аппаратуры), то от гуманитариев шла в основном одна критика. Особенно много претензий было по стилю изложения и по перебору с техническими терминами (без их подробного разжевывания). По признанию некоторых, их просто смыло волной цифр. :)

Сначала по стилю. Иногда встречающиеся в моих материалах "крутые" выражения нужны скорее для "зацепки" читателя, для концентрации его внимания на важном вопросе. Ну и немного юмора, чтобы люди не засыпали при чтении довольно трудно воспринимающегося материала (такой же подход демонстрируют умудрённые опытом лекторы во ВТУЗах). И потом, один мой, довольно рискованный эксперимент в следующем. Обычно эксперты пишут обезличенно: "мы прослушали", "нетрудно видеть", "всем нам известно"… Лично я, читая такие фразы, просто засыпаю. Поэтому, с некоторых пор, я пишу так: "я использовал", "я советую", "я ожидал одно, а получил другое". Соответственно, если Я где-то недоглядел (или попросту облажался) — и отвечать только МНЕ. Один известный американский публицист сказал: "Вам, русским, ещё долго расти от серого "МЫ" к яркому "Я". Восток — серость и коллективный разум, Запад — индивидуализм и самовыражение". Пожалуй, я уже созрел для того, чтобы преломить традицию и не прятаться за спину издания (но я ни в коем случае не призываю всех авторов следовать этому принципу). Может быть поэтому материал многим (с непривычки?) "резал ухо" при чтении и казался какой-то очень смелой авантюрой. :) Как видим, на самом деле все несколько сложнее. Разумеется, в каждом деле надо знать меру. За сим, разрешите считать эту тему исчерпанной. :)

О скупости на личные впечатления и меткие метафоры типа "басы были булькающие, но недостаточно глубокие" или "верха были чуть суховатые, но непринужденные" а-ля аудиофильские печатные издания. Если бы я задавался целью написать развлекательный комедийный водевиль или не считал бы толк от таких определений нулевым, то обязательно так бы и поступил. В опровержение необоснованных обвинений в способность технарей оперировать лишь бездушными цифрами 1, я ненадолго продолжу изложение материала в литературном стиле:

Многие спрашивают, откуда я беру свои знания? Для поддержания ауры таинственности следовало бы ответить так — через астральный канал, струящийся из просторов космоса через мой позвоночный столб в Центр Концентрации — хара тандэн… Но достигнув той ступени духовного развития, на которой нет нужды в сказках, понимаешь, что правда бывает интереснее любой самой зачаровывающей лжи. В этом случае я просто уподобляюсь тому африканскому мальчику, который с завидным усердием проворно намывает в своём самодельном ситце тонны песка и иногда находит алмазы. Рядом с ним, изнурённые жарой и тяжёлыми мыслями, трудятся соплеменники. Они тоже стоят по колено в мутной воде и пытаются что-то найти. Но… кто ленив и, не выдерживая, уходит отдохнуть в тень, кому-то пот заливает глаза и он уже не замечает уносящиеся с потоком жёлтой воды крупицы воплощения его надежд, а у иных слишком мелкая или крупная ячейка в их кустарном приспособлении для отсеивания песка, и… вековая технология не срабатывает от неправильного применения.

В этой метафоре "река времени" — это стремительно развивающийся мир вокруг, тонны песка — проносящаяся мимо нас информация, а алмазные крупицы — это те самые крупицы знаний, стОящие в реальном мире едва ли не большую цену. Ну а сноровка добытчиков и качество их приспособлений — это наши с вами знания (полученные навыки) и наши материальные возможности. Далее алмазный песок нужно промыть, тщательно разобрать по сортам и огранить. Не правда ли — очень точная аналогия с информацией, которая претерпевает и визуальный отбор, и сортировку, и доводку? На всех этих этапах важен профессионализм. Может именно поэтому так мало полезного и качественного материала доходит до конечного читателя (а в случае с драгоценностями — до покупателя)? Везде норовят всучить подделку, да ещё вовсю стараются хорошо на том нагреться.

Однако, многие невежды часто сами провоцируют торгашей на такие аморальные поступки. Ещё бы, ведь люди в большинстве своём ленивы, нелюбознательны, доверяют всем больше, чем себе, любят догмы, обожают слушать сказки. Но самое страшное — когда люди не хотят думать или не в ладах с элементарной логикой. Такое распространённое поведение, впрочем, на руку нечистоплотным личностям. Я бы рискнул предположить, что оно на руку всем, кроме того бедного и многострадального "лоха", который жил-был в стране, где самому думать и решать было вредно — а тут его пустили в открытое плавание, в Большой Мир.

По многочисленным просьбам, я решаюсь немного приоткрыть завесу тайны над одной из открывшихся мне граней природы вещей. Очень надеюсь на то, что этот материал принесёт реальную пользу и очень рассчитываю на понимание среди читателей.

1 Многие утончённые гуманитарии несколько высокомерно относятся к технарям. Хотя практика показывает, что из технарей впоследствии могут выйти отличные гуманитарии. Один из ярких примеров, мой любимый автор среди компьютерных писателей — Евгений Козловский, имеет, помимо гуманитарного, высшее техническое (у меня уже лет шесть хранится одна из его книг с именной дарственной надписью). А вот обратный переход — из гуманитариев в технари — возможен едва ли. Если вам известны такие случаи с хэппи-эндом, просьба поделиться ими со мной.

Письма читателей

Давайте посмотрим на характерные отклики, которые я получаю на свои статьи:

"Блин, я ничего не понял. Вы чё! Не можете написать конкретно? Классная вещь (варианты — кул, рулез, улёт) или совсем плохая (соответственно - шит, сакс, отстой)? Что у вас там одни цифры? Вы же звук слушаете, а не электричество, подающееся прямо в мозги!"

К счастью, таких отзывов очень мало. Попробуем разобраться, что же вызвало такую реакцию? Как известно, всё непонятное вызывает недоверие, негативные эмоции и страх (налицо "цифробоязнь" у пациента). Ну ничего, просто человек читает статью для общего развития и не всё понял. Я советую таким читателям более вдумчиво прочесть всё ещё раз или просто оставить у себя ссылочку на неясный, но информативный материал про запас. Простое наблюдение из моей практики: вполне обычные люди (и даже самые "цифро-ненавистники" из них!) при возникшем вдруг желании получить хорошую вещь и начиная с энной суммы денег, просимой продавцом за изделие, начинали с жадностью глотать любую информацию по приобретаемому изделию. И их уже не интересовали субъективные мнения авторов и анекдоты в обзоре, им были нужны только факты. Видимо, мозги переключались в "правильный" режим работы, при должной концентрации. Как говаривал один профессор, усмехаясь при этом: "у-у-у… товарищ студент, я смотрю — процесс пошёл?!"

Устами гуманитариев глаголет истина

Другой, распространенный вариант: "Извините, Максим, но я человек занятой и у меня нет ни времени, ни желания разбираться с вашей системой измерений. Да и не думаю, что это бы для меня что-то прояснило. Я гуманитарий, у меня другой склад ума. Лучше бы описали по-человечески - что хорошего я получил бы, приобретя эту карту и насколько."

Вот! Золотые слова сокрыты в последнем предложении. Мы к нему сейчас вернёмся. Почему у гуманитариев такое "сложное" отношение к цифрам? Может, их насильно заставляли внагрузку заниматься математикой в институте, хотя их специальность по логике вещей даже близко не касалась цифр? Технарей ведь тоже пичкали философией и политологией, чтобы жизнь малиной не казалась. :) А как сейчас преподы работают в ВУЗах и за какие деньги пояснять, думаю, не надо2. И вроде бы никто в том не виноват (ни студенты, ни преподы), но суть не в этом.

2 Для тех, кто не в курсе. Сейчас для большинства из них все студенты — богатые козлы, надо на них оттянуться, сорвать свои неудачи в жизни, ну и вообще, показать какая наука тут главнее (особенно если их предмет не имеет никакого отношения к специализации студента). Есть, конечно, редкие исключения. Но они, к сожалению, лишь подтверждают общее правило.

Уважаемые господа гуманитарно-образованные! Цифры придумали совсем не для того, чтобы насолить вашим нежным и тонким чувствам. И не для всеобщего господства грубых и невежественных технарей. Цифры — это мера вещей. Ни больше, ни меньше. Они только помогают, при минимальном напряжении мозгов, сделать вам правильные выводы. (Но не следует впадать в другую крайность и возносить цифру в ранг абсолюта. Я всегда повторял и не устаю повторять: обработка и трактовка результатов каких-либо измерений дело гораздо более трудное, нежели этих абстрактных цифр получение.)

Откуда же исторически взялись эти злосчастные цифры? Перенесёмся немного назад во времени. Когда на наше любимое африканское племя готовились напасть более кровожадные и менее сообразительные соседи-африкосы, то прибегал дозорный, падал на колени, вздымал руки к небу и кричал вождю: "Матумба!!!" Что означало — сюда бежит толпа злых дядек, и сейчас всем сородичам наступит каюк. Мудрый вождь спрашивал — а сколько там этих нехороших? И дозорный показывал на пальцах. Вождь сравнивал то количество, которое показала разведка и своё количество воинов. Дальше в работу запускался сверхсложный алгоритм обработки результатов и принятия решения: "если наших мужиков больше, чем ихних, то встречаем их палками и камнями; иначе берём все шмотки и меняем диспозицию". Вот так, уважаемые мои гуманитарии3. Это была демонстрация одного из основных алгоритмических законов на практике4.

3 Конечно, нельзя недооценивать долю гуманитарной или технической стороны вопроса. Если бы не было техников (и вояк в том числе) - наших предков съели бы соседние людоеды или залило дождями (короче, сломили бы любые внешние угрозы), без гуманитариев — было бы падение нравов и моральное разложение (тут угроза исходила изнутри племени). Вопрос что первично — голова или туловище не имеет особого смысла, так как совершенство достигается лишь в их гармонии.

4 Главная вещь, которую мне дало высшее техническое образование — это умение анализировать чужие и применять синтезированные на их основе свои знания на практике. И это - основное отличие прикладной науки от фундаментальной. Здесь также нет абсолютно никакого соревнования одного направления науки с другим. Но в реальной жизни, без сомнения, полезнее будет прикладной аспект.

В переводе на звуковые карты и все компьютерные железяки вообще: "если полезность (как некое сочетание дешевизны и качества) первой вещи больше полезности второй вещи, то здравый смысл и логика подсказывают за приобретение первой из них (или вывод о её превосходстве над второй)".

Пример неправильного применения цифр

В последнее время, я стал часто встречать в обзорах иллюстрации, подобные этой (хотя, это было всегда, особенно на "заказных" сайтах или на сайтах производителей):

Вслед за диаграммой обычно идёт такого рода комментарий: "Налицо превосходство Железки 2 над убогой Железкой 1. Наконец-то производитель Железки 2 дал нам с вами реальный продукт убойной силы." И если раньше я лишь просто снисходительно улыбался, то теперь стану по-мере возможностей бороться с подобным разгильдяйством. Ведь прочитает восторженный гуманитарий такой обзор, мельком взглянет на диаграмму да и побежит покупать вторую железку. Технарь только посмеётся этой диаграмме с нулём, расположенным по данной шкале где-то в центре Земли (я намеренно утрирую), да незлобно так пожурит автора за отсутствие здравого смысла в этой картинке. При этом, если в задумку автора входило ЛУЧШЕ показать превосходство одной вещи над другой — следует считать его задумку преднамеренным ИСКАЖЕНИЕМ действительности. Ведь диаграмма призвана продемонстрировать результаты таким образом, чтобы глаз читателя лучше смог определить пропорцию в приведённых величинах. В процентном же отношении вторая вещь лишь на (55.01-55)/55*100% = 0,018% превзошла первую. Такое превосходство обычно можно смело списывать на погрешность измерений. В самом крайнем случае, когда измерения не вызывают сомнений, такие результаты всё равно нельзя принимать всерьёз, ибо чувствительность большинства людей всё равно не даст заметить разницу измеренного параметра. Даже 1% изменений будет не так-то легко заметить.

Что касается особенности слуховых способностей человека и почему в этой области безраздельно господствует "Его Величество Логарифм", то и это отдельная и очень интересная тема. И я планирую затронуть её в одной из своих ближайших статей.

Демонстрация применения цифр в задаче о наилучшем выборе

Итак, в повседневной практике часто встречается задача сравнения нескольких вещей и, по возможности, выбора наилучшей из них. Этой теме или смежным с ней темам посвящено большинство обзоров. Но чтобы сделать такой выбор лучшим для себя образом, нужно прежде придумать специальную систему оценки. Да-да-да. Приготовьтесь послушать немного моих научных выкладок. При этом я постарался сделать своё изложение мыслей максимально доступным и прозрачным для понимания. Если что-то будет непонятно сразу, то на примере всё встанет на свои места.

Итак, я предлагаю ввести числовую функцию качества:

f(x1,k1, … , xn,kn)

где x1… xn — это числовые параметры качества, k1… kn - весовые коэффициенты. Чем выше значение этой функции, тем лучше вещь, с точки зрения качества для данного пользователя. Числовые параметры качества — это как можно более точные и объективные числовые характеристики, присущие рассматриваемой вещи. Весовые коэффициенты определяют значимость выбранного параметра качества для пользователя. Причём, для каждого этот набор весовых коэффициентов будет своим.

Для применимости всего этого дела в "обзоростроении", можно попытаться разделить читателей по некоторым характерным признакам на группы и определить полезность вещи для каждой такой группы. По-крайней мере, читателю будет интереснее посмотреть касающиеся именно его рекомендации, чем соизмерять себя с автором статьи и пытаться как-то экстраполировать его выводы на свои запросы. Приведу пример с 6-ю изделиями и двумя характерными группами пользователей:

Тестируемые образцы железка №1 железка №2 железка №3 железка №4 железка №5 железка №6
Цена, у.е. 12 35 50 55 100 600
Функция качества, % (15 дюймовый монитор, слабый компьютер) 50 80 100 98 60 40
Функция качества, % (17 дюймовый монитор, сильный компьютер) 42 65 70 86 100 75

Если построить график такой функции5 по аргументу6 "цена", то максимум7 этой функции будет соответствовать лучшей покупке при выбранных критериях и весовых коэффициентах для данной группы читателей.

5 график функции — в данном случае это проекция некоторой части многомерной поверхности f на плоскость.

6 аргумент — независимая переменная, откладывается по горизонтальной оси.

7  максимум — наибольшее значение функции.

Следуя определённой логике, любой здоровый мозг (что удивительно — даже у гуманитариев) с незамутнённым сознанием всё равно решает такую задачу. Небольшая неприятность состоит в том, что для каждого читателя этот график всё равно будет свой. Но и эта проблема решаема: достаточно, чтобы, к полученным в тестах результатам, читатель добавил свои весовые коэффициенты. (На сегодня есть куча способов — как это сделать технически. Ниже, я покажу один из сравнительно простых вариантов.)

Пример с выбором изделия по FPS-ам в Quake

Для хардкорных геймеров (к коим, впрочем, "я никак не отношусь", это и в прямом, и в переносном смысле) важен только один параметр качества изделия — скорость в играх. Казалось бы - что может быть проще, зачем усложнять жизнь какими-то формулами? Смотри на графики "тестов в Кваке" и всё станет понятно. Ан, не тут то было! Не все разрешения одинаково пригодны для игры. Не на всех мониторах можно с комфортом поставить такие разрешения. Например, для слабой машины с 15-ти дюймовым монитором будут наиболее актуальны тесты 800х600 в 16 битах, значимость всех остальных тестов пойдёт по убывающей. В соответствие с предпочтениями, устанавливаются нужные коэффициенты. В тех разрешениях, в которых пользователь никогда не будет играть можно принять нулевое их значение. Если машина достаточно мощная, и монитор 17-ти дюймовый, то акцент переносится на 32-х битную глубину цвета.

Соответственно, линейный по отношению к кадрам в секунду, закон выразится в следующую формулу:

где xi — это количество fps в i-том timedemo тесте игры Quake3 (взят для примера как наилучший бенчмарк из всех), kii-тый весовой коэффициент, для примера i=5.Можно провести необходимое количество тестов и дать каждому свою значимость.

В конечном итоге, все критерии качества будут противопоставлены розничной цене изделия. И какой бы красивой вещь ни была, если она стоит безумные деньги, то никакие супер-параметры для 99% покупателей её не спасут. Для облегчения подбора коэффициентов ki вынесем цену в отдельную категорию. Введём параметр соотношение цена/качество, как численное соотношение важности цены изделия по отношению к его качеству. Этот термин будем применять для единичного пользователя или для усреднённого пользователя из характерной группы оных. Для среднего (в нашей стране скорее обеспеченного) пользователя это соотношение будет примерно равно 1:18. Если бюджет поджимает или нет желания бежать впереди прогресса, проплачивая его, то можно изменить коэффициент на 2:1 или, скажем, 3:1. Для граждан, имеющих очень хороший достаток или персонального спонсора :) коэффициент будет больше единицы: 1:2 или может даже 1:10. Для последнего случая 10% рост качества будет оправданием 100% роста цены.

Для иллюстрации всего выше сказанного, я быстренько (за, каких-нибудь, пятеро суток :) ) соорудил файлик в Excel-е (6,5 Kb в zip-архиве, только для русской версии Excel 97/2000).

8 К примеру, я купил год назад (и ничуть о том не жалею), только что появившийся в продаже GeForce256 SDR 32 Mb за $250, что было на 25% больше цены продававшейся за $200 TNT2 Ultra. Для меня 25% переплата за ~25% увеличение производительности показалась достаточно разумным, но не определяющим фактором. Разгон карт в обоих случаях поднимает скорость на сопоставимые величины. В моём случае, это была эксклюзивная плата от ААА, :) и, поэтому, оптимальный разгон составил 120/166 up to 155/210. В таком режиме плата стабильно работает уже год. Надо только учесть, что в основе такой стабильной работы очень сильно греющегося первого GeForce лежит небольшое усовершенствование — замена стандартного кулера на Celeron-овский (подробнее, про эту простую переделку с моими, подготовленными для такого случая чертежами в АCAD-е, можно прочесть здесь). То есть основным перевесившим критерием выбора для меня тут была как раз не скорость, а всякие интересные фишки Гефорса. Как то — аппаратный T&L, аппаратная компенсация движения для DVD, замечательная анизотропная фильтрация, достаточное быстродействие для применения 32-х битного цвета в рабочих разрешениях моей 17-шки. И вообще, я человек спокойный, в шутеры отыграл уже своё. В стратегиях и ролевушках же, качество изображения всегда было важнее количества кадров в секунду. Хотя, по законам диалектики (кто застал такую науку) количество с некоторого момента как раз и переходит в новое качество. Обидно, что дедушка Маркс сейчас не в моде (а ведь в его трудах есть чему поучиться). А люди теперь чаще обращаются к астрологическим прогнозам, чем к здравому смыслу.

15 дюймовый монитор, слабый компьютер:

17 дюймовый монитор, сильный компьютер:

Table2.gif (28408 bytes)

Здесь сравниваются два девайса, под кодовыми названиями "железка №1" и "железка №2". Немного страшновато смотрятся формулы:

=(C4/МИН(C$4;C$5)*D4+E4/МИН(E$4;E$5)*F4+G4/МИН(G$4;G$5)*H4+ I4/МИН(I$4;I$5)*J4)/(D4 +F4+H4+J4)*$M4+МАКС(K$4;K$5)/K4*$L4

но на самом деле ничего сверхсложного тут нет. Усовершенствование необходимо для перевода всех параметров в безразмерные величины, и чтобы весовые коэффициенты можно было ставить в одной системе оценок (одном масштабе). Оценки можно ставить по любой удобной вам шкале, руководствуясь единственным принципом: "большее значение соответствует большей важности". Главное, чтобы выбранная система как можно ближе соответствовала вашему восприятию и вашим потребностям. Я выбрал такую, но вы, конечно же, можете изобрести свою. Комментарии к получившимся результатам. Для пользователя слабого компьютера, за неимением достаточных денег, даже 20% перевес в предпочитаемом разрешении не мог угнаться за 2-х кратной разницей в цене. Победила дешёвая, хотя и более "тормозная" железяка. Для слишком обеспеченного пользователя, при некритичных запросах к цене продукта, обе железки примерно равнозначны. Это означает, что нужно обратить внимание на какие-то другие критерии качества, ибо по выбранным — карты равны. Для более наглядного восприятия соотношений полученных значений функций качества, в самой последней графе приведены процентные значения полученных функций: =M4/МАКС(M4;M5)*100.

Как интерпретировать процентное значение функций качества? Для этого можно воспользоваться следующей оценочной таблицей:

Градации качества вещи, вообще заслуживающей внимание Значение f, % Примерная расшифровка сравнительной оценки для нескольких сравниваемых изделий
90-100 Изделие одного качества с наилучшим
80-90 Небольшое отставание, но разница не слишком заметна
70-80 Добротная вещица, есть отставание от лидера
60-70 Посредственное изделие, отставание слишком очевидно
50-60 К сожалению, изделие значительно отстаёт в качестве
Полный провал 0-50 Более чем двукратное отставание по данным критериям качества

Здесь я предполагаю, что более чем двукратное отставание по качеству — это полный провал. Поэтому вводить градации "убожества" не вижу особого смысла.

Заключение эксперта

Для избежания ошибок, я отдал разработанную мной систему оценки на рецензию моему другу математику, преподавателю с кафедры Высшей Математики МГТУ им. Баумана, Игорю Шабанину (а помимо математики, он, в своё время, получил красный диплом и по экономике). Игорь внимательно изучил данную систему и дал положительное заключение. Из всего что он сказал мне про определённую нежелательную корреляцию параметров качества между собою, уровни доверия и проценты вероятности, я понял следующее. Система отнюдь не оригинальна в принципе (это к моему большому сожалению), но именно такого варианта оценки в книжках по этой тематике он ещё не встречал (к моей превеликой радости). Далее, предложенная мною система положительно проста и достаточно хороша для применения не менее, чем в 90% случаев для умственно здоровых индивидуумов. А все дальнейшие её улучшения неизбежно приведут к усложнению (что может отбить охоту ей пользоваться) и необходимости введения новых допущений (что сузит границы её применения).

Спустя некоторое время, Игорь нашёл время лично дать небольшие пояснения: "Функция, описывающая производительность карты есть не что иное, как нормированная взвешенная функция, с весовыми коэффициентами, заданными пользователем (в зависимости от типа решаемой задачи). Несомненным является тот факт, что параметры качества, входящие в функцию производительности, являются зависимыми. Вот по этой причине автором и предлагается читателю самому ввести весовые коэффициенты, для построения критерия, в наилучшей степени отражающего запросы читателя.

Подобные функции часто применяются в различных областях науки, для сравнения различных устройств и приборов, в зависимости от их функциональных качеств. Например, в теории надёжности. Заслуга автора состоит именно в том, что при сравении двух устройств используются не только технические характеристики изделий, но, также и их цена, которая путём нормировки применяется в формуле. Можно придумать множество разнообразных функций качества, но самая главная задача — что бы они адекватно решали поставленную задачу. Что, на мой взгляд, и происходит в данном случае.

Основная проблема, возникающая при использовании подобной функции полезности — это правильный подбор весовых коэффициентов и числовых характеристик параметров, правильно отражающих "действительность" и "пожелания" человека.

Нужно отметить, что полученные в результате числовые характеристики двух (или более) сравниваемых устройств пригодны только для сравнения именно этих устройств и показывают, насколько в Вашей системе предпочтений эти устройства различаются."

Возможные усовершенствования системы

Наиболее очевидными для меня выглядят следующие усовершенствования.

Для более точного соответствия параметров качества психо-физическим ощущениям человека, а в некоторых случаях и для применимости системы вообще, необходимо ввести функции зависимости ощущений человека от всех этих параметров. Иначе, в примере с кадрами в секунду может победить невероятно тормозная видеокарта с ультра-дешёвой ценой. Для FPS-ов можно построить такую примерную "функцию ощущения скорости от количества кадров в секунду"

Кривая отражает мои личные субъективные ощущения скорости на данный момент. Здесь, любое количество кадров в секунду, меньшее или равное 20 FPS считается неприемлемым. Поэтому ощущение скорости будет равно нулю. 100 FPS были взяты как наибольшая возможная частота вывода кадров при 100 Гц-ной развёртке монитора. Поэтому, FPS выше 100 на большинстве современных мониторов, как я предполагаю, не имеет смысла. Данные кривые могут быть построены и для других ощущений человека и затем использованы для коррекции вводимых критериев качества.

Если кто-то из уважаемых читателей придумает и другие интересные улучшения метода, то я с удовольствием их рассмотрю. Я, в свою очередь, планирую обязательно применить эту Систему Количественной Оценки Качества, как мой очередной авторский заСКОК, в следующей же статье (если, конечно, редакция не будет сильно против).