Hone이 성능 최적화를 평가하는 방법

많은 PC 조정은 그럴듯하게 들리는 데 집중합니다. 레지스트리 키를 바꾸고 Windows 기능을 끄고 설정을 조정한 다음, 곧바로 FPS 향상이라고 부릅니다.

Hone에서는 그것만으로 충분하지 않습니다.

최적화를 추가하기 전에 무엇이 바뀌는지, 왜 도움이 될 수 있는지, 어떻게 테스트할 수 있는지 이해해야 합니다. 이 질문에 답할 수 없다면 출시하지 않습니다.

간단히 말하면

모든 Hone 최적화에는 다음이 필요합니다.

• 해결해야 할 실제 문제
• 무엇을 변경하는지에 대한 명확한 설명
• 측정 가능한 목표
• 알려진 위험
• 안전하게 되돌리는 방법
• 변경을 정당화할 만큼 강한 근거
• 어떤 시스템에서 효과를 기대할 수 있는지에 대한 명확한 정의

조정이 모든 PC에 도움이 될 필요는 없습니다. 다만 논리적이어야 하며 해결하는 문제보다 더 큰 문제를 만들지 않아야 합니다.

작은 화면에서는 그림에 초점을 맞춘 뒤 방향키나 스와이프로 가로 이동하세요.

1. 문제에서 시작합니다

먼저 플레이어가 알아차릴 수 있는 일반적인 문제를 살펴봅니다. 예를 들면 다음과 같습니다.

• 백그라운드 작업으로 인한 끊김
• 불안정한 프레임 시간
• 높은 입력 지연
• 순간 멈춤을 일으키는 디스크 작업
• 연결에 부하가 걸릴 때의 네트워크 지연
• CPU 또는 메모리를 두고 게임과 경쟁하는 앱

문제를 설명할 수 없으면 해당 조정은 자동으로 제외됩니다.

“이 설정이 존재한다”는 사실은 변경할 이유가 아닙니다. “이 설정이 게임 중 지연을 일으킬 수 있는 동작을 제어한다”면 조사할 수 있습니다.

2. 조정이 무엇을 바꾸는지 이해합니다

모든 최적화에는 직접적인 설명이 필요합니다.

다음 질문에 답할 수 있어야 합니다.

• Windows의 어느 부분에 영향을 주는가?
• 적용 후 어떤 동작이 바뀌는가?
• 그 변화가 게임에 영향을 줄 수 있는 이유는 무엇인가?
• 어떤 시스템에서 효과를 볼 가능성이 높은가?

특정 하드웨어 작업을 CPU 코어에 배정하는 방식을 바꾸는 장치 선호도 조정을 예로 들어보겠습니다. 일부 시스템에서는 해당 작업을 옮겨 리소스 경합과 지연을 줄일 수 있습니다.

이것만으로 조정이 항상 도움이 된다고 입증되지는 않습니다. 하지만 테스트할 수 있는 작동 원리를 제공합니다.

작동 원리를 설명할 수 없다면 해당 조정을 추측으로 취급합니다.

3. 위험을 찾습니다

성능 향상을 찾기 전에 무엇이 잘못될 수 있는지부터 살펴봅니다.

변경 내용에 따라 최적화는 다음 요소에 영향을 줄 수 있습니다.

• 안정성
• 프레임 표시의 일관성
• 입력 지연
• 드라이버와 연결된 장치
• 게임 실행
• 안티치트 호환성
• 전력 사용량과 온도
• Windows 업데이트

어떤 변경은 다른 변경보다 제어하기 쉽습니다. 게임 중 백그라운드 작업을 줄이는 것은 장치의 저수준 동작을 바꾸는 것보다 쉽게 되돌릴 수 있습니다.

위험이 큰 조정을 자동으로 제외하지는 않습니다. 다만 더 강한 근거, 더 좁은 적용 범위, 신뢰할 수 있는 복구 방법이 필요합니다.

변경을 안전하게 되돌릴 수 없다면 가볍게 다루지 않습니다.

4. 성공의 의미를 정의합니다

모든 최적화가 평균 FPS 향상을 목표로 하는 것은 아닙니다.

조정의 목적은 끊김 감소, 프레임 표시 일관성 개선, 입력 지연 감소, 백그라운드 작업 축소 또는 네트워크 성능 안정화일 수 있습니다.

주장하는 효과에 맞춰 테스트를 선택합니다.

• FPS와 부드러움: 평균 FPS, 1% 하위 값, 0.1% 하위 값, 프레임 시간, 끊김
• 지연: 측정된 PC 지연, 드라이버 타이밍, 인터럽트 동작 또는 CPU 스케줄링
• 저장 장치: 읽기 및 쓰기 지연, 응답 시간, 에셋 로딩 중 발생하는 순간 멈춤
• 네트워크: Ping, 지터, 패킷 동작, 버퍼블로트

잘못된 측정으로 약한 결과가 성공처럼 보일 수 있기 때문에 이 선택은 중요합니다.

네트워크 변경을 FPS로 판단해서는 안 됩니다. 평균 FPS가 그대로라는 이유로 지연 개선을 무시해서도 안 됩니다. 끊김이 더 심해졌다면 평균 FPS 상승도 성공이 아닙니다.

작은 화면에서는 그림에 초점을 맞춘 뒤 방향키나 스와이프로 가로 이동하세요.

5. 통제된 테스트를 실행합니다

PC 성능에는 변동이 있습니다.

셰이더 컴파일, Windows 작업, 온도, 백그라운드 앱, 서로 다른 맵, 서버 상태, 심지어 테스트 중 플레이어가 보는 방향에 따라서도 결과가 달라질 수 있습니다.

가능한 한 많은 조건을 통제합니다.

• 동일한 PC와 하드웨어
• 동일한 게임, 맵, 장면, 경로 또는 리플레이
• 동일한 그래픽 설정
• 동일한 Windows 및 드라이버 버전
• 동일한 전원 관리 옵션
• 동일한 백그라운드 앱
• 동일한 캡처 방식과 테스트 시간
• 동일한 FPS 제한과 동기화 설정
• 동일한 재시작 조건

또한 한 번에 하나의 변경만 테스트합니다. 5가지 조정을 함께 켜면 어느 것이 도움이 됐거나 문제를 일으켰는지 알 수 없습니다.

한 번의 좋은 결과만으로는 부족합니다.

각 PC에서 조정을 적용하기 전에 기준 테스트를 35회 실행합니다. 그런 다음 조정을 한 번 적용하고 필요한 경우 재시작한 뒤, 적용 후 동일한 테스트를 35회 실행합니다.

따라서 각 PC의 전후 비교에는 총 6~10회의 실행이 포함됩니다. 테스트를 반복하면 정상적인 변동을 고려하고 셰이더 컴파일, 캐싱 또는 다른 일시적 조건의 영향을 받은 결과를 식별할 수 있습니다.

결과를 비교하기 전에 기준 테스트끼리 얼마나 차이가 나는지 살펴봅니다. 적용 후 결과가 정상적인 기준 변동보다 좋고, 그 변화가 여러 번의 테스트에서 일관되게 나타날 때만 개선으로 판단합니다.

적용 전후 결과가 너무 비슷하면 결론은 “측정 가능한 차이 없음”입니다.

결론을 내리기 전에 모든 조정에 같은 절차를 적용합니다. 반복 테스트를 견디지 못하는 결과는 개선이라고 부르지 않습니다. 이 점이 Hone을 대부분의 최적화 도구와 구분합니다.

작은 화면에서는 그림에 초점을 맞춘 뒤 방향키나 스와이프로 가로 이동하세요.

6. 결과와 위험을 비교합니다

측정 가능한 개선이라고 해서 항상 출시할 가치가 있는 것은 아닙니다.

위험이 낮은 변경으로 얻는 작지만 반복 가능한 이득은 유용할 수 있습니다. 그러나 같은 이득이 충돌, 끊김 또는 장치 문제를 일으킬 수 있는 변경을 정당화하지는 못할 수 있습니다.

전체 결과를 검토합니다.

• 개선 폭이 얼마나 컸는가?
• 결과가 반복됐는가?
• 프레임 시간 일관성이 개선됐는가?
• 지연이 개선됐는가?
• 다른 측정 항목이 악화됐는가?
• 시스템이 안정적으로 유지됐는가?
• 변경을 되돌릴 수 있는가?
• 특정 하드웨어나 게임에서만 도움이 되는가?

단순히 숫자가 올랐는지만 보는 것이 아닙니다. 이점이 변경을 정당화해야 합니다.

7. 도움이 되는 조건과 그렇지 않은 조건을 정의합니다

대부분의 최적화에는 조건이 있습니다.

조정은 다음과 같은 상황에서 도움이 될 수 있습니다.

• 게임 성능이 CPU에 제한되는 경우
• 백그라운드 앱이 게임과 리소스를 두고 경쟁하는 경우
• 시스템에 드라이버 지연 급증이 있는 경우
• 저장 장치 작업이 순간 멈춤을 일으키는 경우
• CPU가 오래됐거나 사용 가능한 리소스가 적은 경우
• 연결이 혼잡할 때 네트워크 지연이 증가하는 경우

조건이 있다고 해서 약한 조정인 것은 아닙니다.

모두에게 FPS 향상을 약속하기보다 근거로 뒷받침할 수 있는 구체적인 주장을 선택합니다.

8. 유지, 변경 또는 제외합니다

모든 최적화는 세 가지 결정 중 하나에 도달합니다.

유지

다음 조건을 충족하면 유지합니다.

• 작동 원리가 명확하다
• 목표 측정 항목이 개선된다
• 결과가 반복된다
• 위험이 정당화된다
• 변경을 되돌릴 수 있다
• 어디에 사용해야 하는지 알고 있다

“허용 가능한 위험”은 위험이 없다는 뜻이 아닙니다. 발생할 수 있는 단점이 제한적이고 이해됐으며 복구 가능하다는 뜻입니다.

변경

아이디어는 타당하지만 구현이 아직 준비되지 않은 경우가 있습니다.

한 측정 항목을 개선하면서 다른 항목을 악화시킬 수 있습니다. 특정 하드웨어나 게임만 대상으로 삼아야 할 수도 있습니다. 더 나은 설정이나 더 안전한 복구 방법이 필요할 수도 있습니다.

벤치마크 결과가 긍정적이라고 해서 자동으로 출시하지는 않습니다.

제외

다음과 같은 경우 조정을 제외합니다.

• 무엇을 변경하는지 설명할 수 없다
• 결과가 반복되지 않는다
• 이점이 의미가 없을 정도로 작다
• 불안정이나 끊김을 일으킨다
• 호환성 위험이 너무 높다
• 안전하게 되돌릴 수 없다
• 근거가 주장을 뒷받침하지 않는다

조정을 제외하는 것은 항상 절차의 일부입니다. 입증되지 않은 조정을 출시하는 것이 실패입니다.

예시: 장치 선호도

이 글에서 설명한 방식과 동일하게 이 최적화를 테스트했습니다. 동일한 구성, 시나리오, 설정을 사용했고, 조정 적용 전 5회와 적용 후 5회를 측정했습니다. 결과에서는 평균 성능이 약 177 FPS에서 182 FPS로 소폭 상승했습니다. 평균 프레임 시간과 측정된 PC 지연도 조금 개선됐습니다.

“이 조정이 FPS를 높인다”고 성급하게 주장하는 대신 다음과 같이 결론을 내렸습니다.

이 시스템에서 조정은 평균 FPS와 측정된 PC 지연을 개선했습니다. 더 넓은 범위에 적용되는 결론을 내리려면 추가 테스트가 필요합니다.

작은 화면에서는 그림에 초점을 맞춘 뒤 방향키나 스와이프로 가로 이동하세요.

Hone이 주장하지 않는 것

Hone은 모든 최적화가 모든 PC를 개선한다고 주장하지 않습니다.

하나의 벤치마크만으로는 조정이 서로 다른 게임, 하드웨어, 드라이버, Windows 버전에서 작동한다고 입증할 수 없습니다. 또한 성능 향상을 위해 게임 메모리, 안티치트 파일 또는 기타 민감한 게임 파일을 변경하지 않습니다. 성능은 기술적으로 들리기만 하는 광범위한 주장에 의존해서는 안 됩니다.

가장 긴 조정 목록을 만드는 것이 목표가 아닙니다. 설명하고, 테스트하고, 적절한 대상에 적용하고, 되돌릴 수 있는 변경만 선별합니다.

모든 Hone 최적화에 적용하려는 기준은 이것입니다.