Как Hone оценивает настройки производительности

Многие настройки ПК пытаются звучать убедительно. Измените ключ реестра, отключите функцию Windows, поправьте параметр — и сразу назовите это приростом FPS.

Для Hone этого недостаточно.

Прежде чем добавить оптимизацию, мы должны понять, что она меняет, почему может помочь и как ее проверить. Если мы не можем ответить на эти вопросы, мы ее не выпускаем.

Кратко

Для каждой оптимизации Hone нужны:

• Реальная проблема, которую нужно решить
• Понятное объяснение того, что меняется
• Измеримая цель
• Известные риски
• Безопасный способ отменить изменение
• Достаточно надежные доказательства, оправдывающие изменение
• Четкое определение систем, которым оно может помочь

Настройка не обязана помогать каждому компьютеру, но должна быть обоснованной и не создавать более серьезную проблему, чем та, которую решает.

На небольших экранах установите фокус на рисунке и прокручивайте его по горизонтали стрелками или жестом.

1. Начинаем с проблемы

Сначала мы рассматриваем обычные проблемы, которые может заметить игрок, например:

• Подтормаживания из-за фоновой активности
• Нестабильное время кадра
• Высокая задержка ввода
• Активность диска, вызывающая краткие зависания
• Задержка сети под нагрузкой
• Приложения, конкурирующие с игрой за процессор или память

Если мы не можем описать проблему, настройка автоматически отклоняется.

«Этот параметр существует» — не причина его менять. А вот «этот параметр управляет поведением, которое может вызывать задержку во время игры» — повод для исследования.

2. Разбираемся, что меняет настройка

Для каждой оптимизации нужно прямое объяснение.

Мы должны уметь ответить:

• На какую часть Windows она влияет?
• Какое поведение меняется после ее применения?
• Почему это может повлиять на игры?
• Какие системы, вероятнее всего, получат пользу?

В качестве примера возьмем нашу настройку привязки устройств, которая меняет распределение некоторых аппаратных задач между ядрами процессора. На отдельных системах перенос таких задач может снизить конкуренцию за ресурсы и задержку.

Это не доказывает, что настройка помогает всегда, но дает нам механизм, который можно проверить.

Если мы не можем объяснить механизм, мы считаем настройку догадкой.

3. Определяем риск

Прежде чем искать прирост производительности, мы выясняем, что может пойти не так.

В зависимости от изменения оптимизация может влиять на:

• Стабильность
• Равномерность кадров
• Задержку ввода
• Драйверы и подключенные устройства
• Запуск игр
• Совместимость с античитами
• Энергопотребление и температуру
• Обновления Windows

Одни изменения контролировать проще, чем другие. Снизить фоновую активность во время игровой сессии легче, чем отменить изменение низкоуровневого поведения устройства.

Более рискованная настройка не отклоняется автоматически. Но для нее нужны более убедительные доказательства, более точное применение и надежный способ отката.

Если изменение нельзя безопасно отменить, мы не относимся к нему легкомысленно.

4. Определяем критерий успеха

Не каждая оптимизация предназначена для повышения среднего FPS.

Настройка может вместо этого уменьшить подтормаживания, улучшить равномерность кадров, снизить задержку ввода, сократить фоновую активность или стабилизировать работу сети.

Мы выбираем тест в соответствии с заявленным эффектом:

• FPS и плавность: средний FPS, минимальные показатели 1% и 0.1%, время кадра и подтормаживания
• Задержка: измеренная задержка ПК, тайминги драйверов, обработка прерываний или планирование процессора
• Накопитель: задержка чтения и записи, время отклика и зависания при загрузке ресурсов
• Сеть: пинг, джиттер, поведение пакетов и bufferbloat

Это важно, потому что неверный показатель может представить слабый результат как успешный.

Изменение сети нельзя оценивать по FPS. Улучшение задержки не следует отвергать только потому, что средний FPS не изменился. Более высокий средний FPS не является успехом, если подтормаживания усилились.

На небольших экранах установите фокус на рисунке и прокручивайте его по горизонтали стрелками или жестом.

5. Проводим контролируемые тесты

Производительность ПК изменчива.

На результаты могут влиять компиляция шейдеров, задачи Windows, температура, фоновые приложения, разные карты, условия на сервере и даже направление взгляда игрока во время теста.

Мы контролируем как можно больше факторов:

• Один и тот же ПК и оборудование
• Одна и та же игра, карта, сцена, маршрут или повтор
• Одинаковые настройки графики
• Одинаковые версии Windows и драйверов
• Один и тот же план электропитания
• Одинаковые фоновые приложения
• Одинаковые метод сбора данных и длительность теста
• Одинаковые ограничение FPS и параметры синхронизации
• Одинаковые условия перезапуска

Кроме того, мы тестируем только одно изменение за раз. Если одновременно включить пять настроек, мы не сможем определить, какая из них помогла или вызвала проблему.

Одного удачного запуска недостаточно.

На каждом ПК мы проводим базовый тест от 3 до 5 раз до применения настройки. Затем применяем настройку один раз, при необходимости перезапускаем компьютер и повторяем тот же тест от 3 до 5 раз после изменения.

Таким образом, каждое сравнение до и после включает от 6 до 10 запусков на одном ПК. Повторение теста позволяет учесть нормальный разброс и выявить результаты, на которые повлияли компиляция шейдеров, кэширование или другие временные условия.

Перед сравнением результатов мы смотрим, насколько базовые запуски отличаются друг от друга. Настройка считается улучшением, только если результаты после ее применения превышают обычный базовый разброс, а эффект стабильно проявляется в нескольких запусках.

Если результаты до и после слишком похожи, вывод звучит так: «измеримой разницы нет».

Каждая настройка проходит один и тот же процесс, прежде чем мы делаем вывод. Если результат не выдерживает повторных тестов, мы не называем его улучшением. Именно этим Hone отличается от большинства инструментов оптимизации.

На небольших экранах установите фокус на рисунке и прокручивайте его по горизонтали стрелками или жестом.

6. Сопоставляем результат с риском

Измеримое улучшение не всегда стоит выпускать.

Небольшой, но повторяемый прирост от изменения с низким риском может быть полезен. Такой же прирост может не оправдывать изменение, способное вызвать сбои, подтормаживания или проблемы с устройствами.

Мы рассматриваем результат целиком:

• Насколько большим было улучшение?
• Повторялось ли оно?
• Стало ли время кадра стабильнее?
• Уменьшилась ли задержка?
• Не ухудшился ли другой показатель?
• Осталась ли система стабильной?
• Можно ли отменить изменение?
• Помогает ли оно только определенному оборудованию или отдельным играм?

Вопрос не сводится к тому, выросло ли одно число. Польза должна оправдывать изменение.

7. Определяем, где настройка помогает, а где нет

Большинство оптимизаций зависит от определенных условий.

Настройка может помочь, когда:

• Производительность игры ограничена процессором
• Фоновые приложения конкурируют с игрой
• В системе возникают скачки задержки драйверов
• Активность накопителя вызывает краткие зависания
• Процессор устарел или имеет меньше доступных ресурсов
• Задержка сети растет при загруженном соединении

Это не делает настройку слабой.

Мы предпочитаем сделать конкретное утверждение, которое можем подтвердить, а не обещать всем прирост FPS.

8. Оставляем, изменяем или отклоняем

Каждая оптимизация приводит к одному из трех решений.

Оставляем

Мы оставляем ее, когда:

• Механизм понятен
• Целевой показатель улучшается
• Результат повторяется
• Риск оправдан
• Изменение обратимо
• Мы знаем, где его следует применять

«Приемлемый риск» не означает отсутствие риска. Это значит, что возможные негативные последствия ограничены, понятны и устранимы.

Изменяем

Иногда идея обоснована, но реализация еще не готова.

Настройка может улучшать один показатель и ухудшать другой. Возможно, ее следует применять только к определенному оборудованию или играм. Также ей могут потребоваться другие параметры или более безопасный откат.

Положительный результат теста не означает, что мы автоматически выпустим настройку.

Отклоняем

Мы отклоняем настройку, когда:

• Не можем объяснить, что она меняет
• Результат не повторяется
• Польза слишком мала, чтобы иметь значение
• Она вызывает нестабильность или подтормаживания
• Риск несовместимости слишком высок
• Ее нельзя безопасно отменить
• Доказательства не подтверждают заявленный эффект

Отклонение настройки всегда является частью процесса; выпуск недоказанной настройки — это провал.

Пример: привязка устройств

Мы проверили эту оптимизацию по методике, описанной в статье. Использовали одну и ту же конфигурацию, сценарии и параметры, сделали пять замеров до применения настройки и пять после. Результаты показали небольшой рост средней производительности примерно с 177 FPS до 182 FPS. Среднее время кадра и измеренная задержка ПК также немного улучшились.

Вместо преждевременного заявления «эта настройка повышает FPS» мы пришли к следующему выводу:

На этой системе настройка улучшила средний FPS и измеренную задержку ПК. Прежде чем делать более общий вывод, нужны дополнительные тесты.

На небольших экранах установите фокус на рисунке и прокручивайте его по горизонтали стрелками или жестом.

Чего Hone не утверждает

Hone не утверждает, что каждая оптимизация улучшит работу каждого компьютера.

Один тест не может доказать, что настройка работает в разных играх, на разном оборудовании, с разными драйверами и версиями Windows. Мы также не изменяем память игр, файлы античитов или другие чувствительные игровые файлы ради прироста производительности. Производительность не должна зависеть от широких заявлений, которые лишь звучат технически.

Наша цель — не собрать самый длинный список настроек. Вместо этого мы выбираем изменения, которые можем объяснить, проверить, точно применить и отменить.

Именно этому стандарту должна соответствовать каждая оптимизация Hone.