Надувательство процесса WHQL-сертификации драйверов

Это перевод Defrauding the WHQL driver certification process. Автор: Реймонд Чен.

В комментарии к одному из моих предыдущих постов (перевод только поста), кто-то упомянул драйвер, который давал синий экран в обычных условиях, но неожиданно начинал работать нормально, как только включали Driver Verifier (его включали, чтобы отловить этот глюк в драйвере). Другой комментатор заметил, что WHQL-сертификация драйвера, похоже, не улучшает его качество.

Видео-драйвера готовы пойти на всё, чтобы превзойти своих соперников. Все знают, как они, к примеру, любят обманывать тесты производительности (benchmarks). Я помню, как один драйвер выполнял демонстрационную DirectX программу "3D Tunnel" невероятно быстро, показывая, насколько крута была видео-карточка. Только вот, если вы переименовывали TUNNEL.EXE в FUNNEL.EXE, то он снова работал медленно.

А другой проверял, не выводили ли вы на экран особую строку, которая использовалась популярной программой оценки производительности. Если да - то он рисовал строку только в одном случае из четырёх, просто ничего не делая в оставшихся трёх. Бинго! Результаты их тестов производительности только что учетверились (quadrupled).

В любом случае, подобные махинации не являются редкостью и при отправке драйвера в WHQL для сертификации. Некоторые недобросовестные драйвера определяют, что они запущены в WHQL и отключают часть своих возможностей, чтобы пройти сертификацию. Конечно же, они работают чертовски медленно в лабораториях WHQL, но это нормально, потому что WHQL заинтересована в том, есть ли в драйвере баги, а не в том, имеет ли драйвер быстрейшую скорость заполнения треугольниками в индустрии.

Самым распространённым читом, что я видел в драйверах, является использование тайного ключа реестра "Включить сомнительную оптимизацию" или аналогичного значения в любом другом, доступном для драйвера месте. Берётся драйвер, заворачивается в установщик, который не включает эту опцию, и всё вместе отправляется в WHQL. Когда WHQL гоняет драйвер по своим тестам, драйвер работает в режиме "медленно, но безопасно" и проходит сертификацию на пятёрки.

Потом производитель берёт этот драйвер (который теперь имеет знак качества от WHQL) и кладёт его в установщик, который включает тайную опцию "Включить сомнительную оптимизацию". Теперь драйвер видит, что опция включена и делает всевозможные сомнительные оптимизации, ни одна из которых не была проверена в WHQL.