Страничка поддержки пакета для тестирования скорости компрессии видеофайлов

• Все-таки одно нововведение есть: теперь можно в командной строке указывать любое количество подряд идущих допустимых опций. Например, <-divx -xvid -cpro>. Или даже <-divx -dv>. Выполнены будут все указанные тесты, в той последовательности, в которой они перечислены в командной строке. Однако никаких ограничений на количество и осмысленность опций [пока] не предусмотрено, поэтому тест спокойно воспринимает любые варианты. Например, можно указать <-all -all -all> — и пакет честно прогонит все подтесты три раза подряд :).
• Проведен тонкий тюнинг системы валидации результатов. В частности, для валидации используется такой примитивный, но действенный способ проверки корректности выполнения теста, как сравнение размера закодированного файла с уже известным нам (ведь файл оригинальный, иначе валидация не работает).
• Выяснено, что DivX и XviD, Mainconcept MPEG1 независимо от платформы (процессора) выдают результат одного и того же размера. Поэтому данным тестам максимальный разброс установлен в 1000 байт (на всякий случай).
• Максимальный разброс размера закодированного файла в зависимости от процессора у кодека Windows Media Video 9 составил порядка 6 килобайт. На всякий случай допустимый разброс установлен в 10'000 байт.
• Максимальный зафиксированный нами разброс у Mainconcept MPEG Encoder при кодировании нашего тестового файла в формат MPEG2 составил порядка 8 килобайт. Допустимый разброс установлен в 15'000 байт.
• Зафиксированный разброс Canopus ProCoder Demo составил порядка 8 килобайт. Допустимый системой валидации результатов разброс для этого подтеста установлен в 15'000 байт.
• Разброс размера закодированного MPEG2-файла для Cinema Craft Encoder SP даже на одном и том же процессоре (!!!), от запуска к запуску, достигает порядка 80 килобайт! Допустимый разброс установлен в 100'000 байт. На большее у нас просто рука не поднялась...

• Исправлена ошибка, из-за которой тестовый пакет не совсем полностью «вычищал» по завершении выполнения создаваемые им в процессе тестирования временные файлы и каталоги.
• Исправлена ошибка системы валидации результатов: ложное срабатывание в тестах Windows Media Video 9 и Cinema Craft Encoder SP на системах с CPU архитектуры AMD64.

• Это последняя версия, в которой расширялись возможности тестового пакета, все последующие RC вплоть до выхода 2.0 Final Release будут посвящены исправлению ошибок (если таковые будут найдены в RC1).
• Добавлен механизм валидации результатов (тест пытается отследить возникновение некоторых ошибок в процессе исполнения, которые могут привести к выдаче неправильных результатов). Механизм включается автоматически если используются наши оригинальные файлы, в противном случае он не работает, а результаты добавляются в лог-файл как «UNOFFICIAL». Однако следует помнить, что механизм валидации не идеален: если тест посчитал результаты корректными, это лишь означает, что не произошло не одной ошибочной ситуации из тех, которые он способен отследить.
• Полностью закрыты используемые тестовым пакетом программы и профайлы для внешнего ПО. Нам пришлось пойти на это ввиду большого количества жалоб от излишне продвинутых пользователей. Они, как и положено «истинным хакерам», вручную меняли профайлы, а потом жаловались, что у них «все глючит». Объяснять, что возможность работы тестового пакета не с нашими установками, нас совершенно не волнует, мы устали. Теперь их вообще невозможно изменить, они надежно спрятаны внутри тестового пакета. Зато нормальные пользователи могут быть уверены, что если тест выдал сообщение об ошибке — то это именно ошибка теста.
• Профайлы, установочные файлы, и прочая настроечная информация для внешнего ПО, полностью идентичная в смысловой части используемой в тестовом пакете, теперь поставляется вместе с ним в отдельном архиве.
• Единый лог-файл теперь, будучи единожды созданным, никогда не удаляется, все результаты добавляются в конец. Если вы хотите, чтобы лог-файл был создан заново — просто удалите его, и он будет создан автоматически при первом же удачном окончании любого теста.
• Убран баг версии 2.0 beta 2 — содержимое лог-файла отображалось по окончании тестов, даже если ни один из них не был закончен успешно.

• Значительно более стабильная бета-версия: исправлены ошибки в работе подтестов Canopus ProCoder и Cinema Craft Encoder SP, приводившие к их неработоспособности в некоторых ситуациях.
• Добавлена дефрагментация.
• Добавлен сброс дискового кэша.
• Добавлено предварительное кэширование кодируемого файла.
• Переименован исполняемый файл (ixbt-ottp-videnc.exe).
• Введен единый тестовый лог: информация по всем тестам суммируется и в случае успешного их завершения автоматически выводится на экран по окончании.
• Введено некоторое количество проверок на успешность выполнения тестов.
• Улучшена (расширена) предварительная диагностика наличия необходимых файлов и программного обеспечения.
• Внешнее ПО теперь не обязательно должно инсталлироваться в каталог по умолчанию — тестовый пакет отыскивает его автоматически (в любом каталоге, на любом из существующих логических дисков). Правда, на медленных машинах это может занять пару минут...
• Теперь потенциально реализуема возможность работы тестового пакета с различными версиями внешнего ПО (например, можно реализовать одновременную поддержку Canopus ProCoder Demo и платного варианта, Cinema Craft Encoder SP Trial и полной версии). Если кто-то хочет, чтобы эта функциональность была добавлена, пишите.
• Введена проверка «оригинальности» тестовых файлов (TEST.MPG и TEST.AVI). Если используются не те файлы, что используем в своих тестах мы, в едином тестовом логе выводится соответствующее предупреждение.

• Для очень рисковых парней :). Версия 2.0, первая бета. Основное нововведение: полностью убраны BAT-файлы, весь тестовый пакет сосредоточен в video.exe.
• Еще нет самопроверки на целостность.
• Еще нет дефрагментации.
• Возвращен режим, когда при «комплексных» параметрах запуска (-dvd, -dv, -all) исполняются все тесты, которые могут быть исполнены, а прочие — пропускаются.
• Впоследствии станет основной версией, после выхода релиза 2.0 поддержка более старых версий будет прекращена.

• Подправлен мелкий баг, иногда приводивший к неработоспособности подтеста Cinema Craft Encoder SP (сообщение о истекшем сроке действия Trial-версии).

• Экспериментальная версия с полностью переделанным скриптом. Большая часть проверочной работы скрипта перенесена в специальную утилиту (exe-файл).
• Введена проверка целостности самого тестового пакета: при запуске, он проверяет наличие всех своих файлов и каталогов, и их размеры. В случае нарушения целостности, тест завершает выполнение с сообщением об ошибке.
• Улучшена диагностика: теперь по сообщениям тестового пакета можно практически абсолютно точно определить, почему не может быть выполнен тот или иной подтест.
• Убрана функция «Create defragmented space» как окончательно подтвердившая свою ненужность.
• Возвращен режим, при котором нельзя запустить на выполнение тест (или одиночный подтест), если нет соответствующих файлов и программного обеспечения.
• Ужесточена проверка ПО: теперь проверяется не только его наличие, но и размер исполняемых файлов (примитивная защита от использования несовместимых с тестовым пакетом версий).
• Совместимость с результатами предыдущих версий сохранена.
• Ввиду большого количества изменений, возможны незамеченные ошибки :).

• Усовершенствована диагностика по окончании выполнения скрипта, частично переписаны служебные (вызываемые из основного) скрипты, System Requirements и HELP.
• Улучшены nnCron-скрипты для Mainconcept MPEG Encoder, Canopus ProCoder и Cinema Craft Encoder SP: повышена точность измерения времени выполнения, убрана ошибка, иногда приводящая к «подвисанию» подтеста CCE SP или преждевременному его завершению.

• Добавлен еще один подтест: кодирование MPEG2 с помощью Cinema Craft Encoder SP. Традиционно мы рассчитываем тестовый пакет на использование бесплатных демо-версий, поэтому данный подтест также рассчитан на работу с бесплатной Trial-версией этого ПО. Скачать Cinema Craft Encoder SP 2.67 Trial (после регистрации и получения аккаунта) можно с этой странички.
• На совместимость результатов данной версии тестового пакета с результатами предыдущих версий (начиная с 1.5), данное изменение никак не влияет.

• Вылечена проверка на совместимость скрипта с различными версиями Windows: теперь она проводится полностью корректно, на Windows NT скрипт не запускается (ранее де-факто «отсеивались» только ОС семейства Windows 9x).
• Вылечена старая болячка с длительностью проверки на наличие необходимого свободного пространства: теперь она происходит практически мгновенно.

• Еще раз переделан скрипт, но в основном не в значимой части — просто некоторые процедуры переписаны более понятным образом. На результаты изменения не влияют, но зато скорее всего придутся по душе всем кто захочет разобраться в том, как он работает.
• Процедура проверки наличия необходимого свободного места все-таки сделана обязательной т.е. теперь она проводится независимо от того, указана опция <--nodefrag> или нет. Процедура, конечно, долгая, но зато гарантирует от сбоев в процессе дальнейшей работы. Быстрее одними средствами bat-файла не получается.
• Расширен HELP (выдается при запуске !video.bat без параметров) и описание software and files requirements.
• Проверка software and files requirements для каждого подтеста теперь выполняется непосредственно перед его запуском. Соотсветственно, при указании, к примеру, опции <-all> все подтесты, которые могут быть выполнены, будут выполнены. Прочие просто пропустятся (с выдачей соответствующего диагностического сообщения).
• Частично переписан automation-скрипт для Canopus ProCoder, предыдущий иногда приводил к преждевременному завершению теста и некорректным результатам (время выполнения в логе порядка 3-5 секунд). Однако если с помощью версии 1.5 были получены корректные результаты, то у версии 1.6 они будут такими же.
• Окончательно выявлена несовместимость тестового пакета с Mainconcept MPEG Encoder 1.4.1: после команды на начало кодирования MPEG1/MPEG2, он просто «падает». С предыдущей версией (1.4.0) все по-прежнему нормально. Подробное исследование явления показало, что версия 1.4.1 реагирует подобным образом на любое задание, связанное с двухпроходным кодированием. В связи с этим к пользователям данного ПО есть большая просьба: если кому-то в принципе удалось что-то закодировать в два прохода с помощью Mainconcept MPEG Encoder 1.4.1 — напишите нам. Ну а пока мы считаем, что скрипт ни при чем, и виноват сам Encoder.

• Все предыдущие версии убраны с сайта в связи с кардинальными изменениями в тестовом скрипте, методике замера времени, и настройках кодеков. Текущее описание методики полностью соответствует именно версии 1.5.
• Все предыдущие версии переведены в разряд unsupported.
• Скрипт кардинально модифицирован, структурирован, и разбит на несколько частей (в соответствии с выполняемыми ими функциями).
• Повышена точнось измерения временных интервалов для Canopus ProCoder.
• Улучшено определение наличия необходимого ПО и файлов.
• В очередной раз :) оптимизирована процедура дефрагментации.
• Добавлена опция запуска <-nodefrag> (смысл, надеемся, понятен). Однако следует заметить, что параллельно с дефрагментацией проверяется наличие требуемого для прохождения теста свободного пространства в тестовом каталоге и на диске C:. Соответственно — те, кто отказывается от дефрагментации, отказываются и от этой проверки.
• Убран тест на кодирование в Canopus ProCoder в режиме Mastering Quality (как излишний и не дающий дополнительной информации о производительности по сравнению с режимом Highest Quality).
• Из двух тестов на кодирование в MPEG2 с помощью Mainconcept MPEG Encoder с различными установками, сделан один (из серии «нечто среднее»).
• Возможные проблемы: тестовый пакет рассчитан на использование Mainconcept MPEG Encoder 1.4.0. В данный момент на сайте производителя уже выложена версия 1.4.1. На совместимость с ней тестовый пакет еще не проверялся.

Текущие версии используемого ПО:

1. DivX 5.1.1 Pro (мы в своих тестах используем AdWare-версию)
2. XviD 1.0 beta 2 (Koepi build)
3. Windows Media Video 9 VCM
4. Mainconcept MPEG Encoder 1.4.0
5. Canopus ProCoder Demo 1.25.15.0
6. Apple QuickTime 6.4
7. Cinema Craft Encoder SP 2.67 Trial
8. nnCron 1.89r2
9. VirtualDubMod 1.5.10.0

Необходимое внешнее ПО и файлы:

Здесь перечислено все программное обеспечение и файлы, которые не входят в комплект поставки тестового пакета. Их вам придется скачать и установить самостоятельно. Внимание: это полный список. Для функционирования некоторых подтестов необходима лишь часть из этого списка (см. ниже требования отдельных подтестов).

1. DivX 5.1.1 Pro AdWare
2. XviD 1.0 beta 2 (Koepi)
3. Windows Media Video 9 VCM
4. Mainconcept MPEG Encoder 1.4.0 (после заполнения формы)
5. Canopus ProCoder Demo (после регистрации и получения аккаунта).
6. Apple QuickTime
7. Cinema Craft Encoder SP 2.67 Trial (после регистрации и получения аккаунта).
8. nnCron Automation Manager 1.89r2
9. Трейлер фильма «Bend It Like Beckham» (распаковать и переименовать в TEST.MPG)
10. Файл TEST.AVI для тестирования на скорость компрессии MPEG2 (Размер: 636 МБ!)

Требования отдельных подтестов:

1. DivX: кодек DivX 5.1.1 Pro, файл TEST.MPG.
2. XviD: кодек XviD 1.0 beta 2 (Koepi), файл TEST.MPG.
3. Windows Media Video 9: кодек Windows Media Video 9 VCM, файл TEST.MPG.
4. MPEG1: Mainconcept MPEG Encoder 1.4.0, nnCron 1.89r2, файл TEST.MPG.
5. MPEG2/Mainconcept: Mainconcept MPEG Encoder 1.4.0, nnCron 1.89r2, файл TEST.AVI.
6. MPEG2/Canopus: Canopus ProCoder Demo 1.25.15.0, Apple QuickTime, nnCron 1.89r2, файл TEST.AVI.
7. MPEG2/CCE SP: Cinema Craft Encoder SP 2.67 Trial, nnCron 1.98r2, файл TEST.AVI.

Сайт iXBT.com благодарит Driver.ru за предоставление возможности выложить в публичный доступ файл для тестирования на скорость компрессии MPEG2.