Comment Hone évalue les optimisations de performance

De nombreux réglages pour PC cherchent à paraître convaincants. Modifiez une clé de registre, désactivez une fonctionnalité de Windows, changez un paramètre et, d’un coup, présentez cela comme un gain de FPS.

Cela ne suffit pas pour Hone.

Avant d’ajouter une optimisation, nous devons comprendre ce qu’elle modifie, pourquoi elle pourrait être utile et comment la tester. Si nous ne pouvons pas répondre à ces questions, nous ne la publions pas.

En bref

Chaque optimisation Hone doit réunir les éléments suivants :

• Un problème réel à résoudre
• Une explication claire de ce qu’elle modifie
• Un objectif mesurable
• Des risques connus
• Un moyen sûr de l’annuler
• Des preuves assez solides pour justifier la modification
• Une définition claire des systèmes susceptibles d’en bénéficier

Un réglage n’a pas besoin d’aider tous les PC, mais il doit être cohérent et ne pas créer un problème plus important que celui qu’il résout.

Sur les petits écrans, placez le focus sur la figure, puis utilisez les flèches ou balayez horizontalement.

1. Partir du problème

Nous commençons par les problèmes courants qu’un joueur peut remarquer, par exemple :

• Des saccades causées par l’activité en arrière-plan
• Des temps d’image instables
• Une latence d’entrée élevée
• Une activité du disque qui provoque des à-coups
• Une latence réseau lorsque la connexion est sollicitée
• Des applications qui disputent au jeu les ressources du processeur ou de la mémoire

Si nous ne pouvons pas décrire le problème, le réglage est automatiquement rejeté.

« Ce paramètre existe » n’est pas une raison de le modifier. « Ce paramètre contrôle un comportement qui peut provoquer de la latence pendant le jeu » constitue une piste à étudier.

2. Comprendre ce que le réglage modifie

Chaque optimisation doit avoir une explication directe.

Nous devons pouvoir répondre aux questions suivantes :

• Quelle partie de Windows est concernée ?
• Quel comportement change après l’application du réglage ?
• Pourquoi cela pourrait-il avoir un effet sur le jeu ?
• Quels systèmes sont susceptibles d’en bénéficier ?

Prenons comme exemple notre réglage d’affinité des périphériques, qui modifie la répartition de certaines tâches matérielles entre les cœurs du processeur. Sur certains systèmes, déplacer ces tâches peut réduire la contention et la latence.

Cela ne prouve pas que le réglage est toujours utile, mais nous donne un mécanisme à tester.

Si nous ne pouvons pas expliquer ce mécanisme, nous considérons le réglage comme une supposition.

3. Repérer les risques

Nous cherchons d’abord ce qui pourrait mal se passer, avant de rechercher un gain de performances.

Selon la modification, une optimisation peut affecter :

• La stabilité
• La régularité des images
• La latence d’entrée
• Les pilotes et les périphériques connectés
• Le lancement des jeux
• La compatibilité avec les systèmes antitriche
• La consommation électrique et les températures
• Les mises à jour de Windows

Certaines modifications sont plus faciles à maîtriser que d’autres. Réduire l’activité en arrière-plan pendant une session de jeu est plus facile à annuler que de modifier le comportement de bas niveau d’un périphérique.

Un réglage plus risqué n’est pas automatiquement rejeté. Il exige toutefois des preuves plus solides, un ciblage plus précis et un retour arrière fiable.

Si nous ne pouvons pas annuler une modification en toute sécurité, nous ne la traitons pas à la légère.

4. Définir la réussite

Toutes les optimisations ne sont pas destinées à augmenter les FPS moyens.

Un réglage peut plutôt réduire les saccades, améliorer la régularité des images, diminuer la latence d’entrée, réduire l’activité en arrière-plan ou stabiliser les performances du réseau.

Nous choisissons le test en fonction de l’affirmation :

• FPS et fluidité : FPS moyens, valeurs basses à 1% et 0.1%, temps d’image et saccades
• Latence : latence du PC mesurée, synchronisation des pilotes, comportement des interruptions ou ordonnancement du processeur
• Stockage : latence en lecture et en écriture, temps de réponse et à-coups lors du chargement des ressources
• Réseau : ping, gigue, comportement des paquets et bufferbloat

Ce choix est important, car une mauvaise mesure peut faire paraître concluant un résultat peu probant.

Une modification du réseau ne doit pas être jugée sur les FPS. Une baisse de latence ne doit pas être écartée parce que les FPS moyens sont restés identiques. Une hausse des FPS moyens n’est pas un progrès si les saccades s’aggravent.

Sur les petits écrans, placez le focus sur la figure, puis utilisez les flèches ou balayez horizontalement.

5. Effectuer des tests contrôlés

Les performances d’un PC sont variables.

Les résultats peuvent changer à cause de la compilation des shaders, des tâches de Windows, des températures, des applications en arrière-plan, des cartes différentes, de l’état du serveur ou même de l’endroit regardé par le joueur pendant le test.

Nous contrôlons autant de paramètres que possible :

• Même PC et même matériel
• Même jeu, carte, scène, parcours ou replay
• Mêmes paramètres graphiques
• Mêmes versions de Windows et des pilotes
• Même mode d’alimentation
• Mêmes applications en arrière-plan
• Même méthode de capture et même durée de test
• Même limite de FPS et mêmes paramètres de synchronisation
• Mêmes conditions de redémarrage

Nous ne testons également qu’une seule modification à la fois. Si cinq réglages sont activés ensemble, nous ne pouvons pas savoir lequel a aidé ou causé un problème.

Une seule bonne exécution ne suffit pas.

Pour chaque PC, nous exécutons le test de référence 3 à 5 fois avant d’appliquer le réglage. Nous appliquons ensuite le réglage une seule fois, redémarrons si nécessaire, puis exécutons le même test 3 à 5 fois après.

Chaque comparaison avant-après comprend donc 6 à 10 exécutions au total par PC. La répétition du test permet de tenir compte des variations normales et de repérer les résultats influencés par la compilation des shaders, la mise en cache ou d’autres conditions temporaires.

Avant de comparer les résultats, nous examinons l’écart entre les exécutions de référence. Un réglage n’est considéré comme une amélioration que si les résultats obtenus après son application dépassent cette variation normale et si la différence apparaît régulièrement sur plusieurs exécutions.

Si les résultats avant et après sont trop proches, la conclusion est « aucune différence mesurable ».

Chaque réglage suit ce même processus avant que nous tirions une conclusion. Si le résultat ne résiste pas à des tests répétés, nous ne parlons pas d’amélioration. C’est sur ce point que Hone se distingue de la plupart des outils d’optimisation.

Sur les petits écrans, placez le focus sur la figure, puis utilisez les flèches ou balayez horizontalement.

6. Comparer le résultat aux risques

Une amélioration mesurable ne mérite pas toujours d’être publiée.

Un gain faible mais reproductible issu d’une modification peu risquée peut être utile. Le même gain peut ne pas justifier une modification susceptible de provoquer des plantages, des saccades ou des problèmes de périphériques.

Nous examinons l’ensemble du résultat :

• Quelle était l’ampleur de l’amélioration ?
• S’est-elle répétée ?
• La régularité des temps d’image s’est-elle améliorée ?
• La latence a-t-elle diminué ?
• Une autre mesure s’est-elle dégradée ?
• Le système est-il resté stable ?
• La modification peut-elle être annulée ?
• N’aide-t-elle que certains matériels ou certains jeux ?

La question ne consiste pas seulement à savoir si une valeur a augmenté. Le bénéfice doit justifier la modification.

7. Définir les cas où le réglage aide ou non

La plupart des optimisations dépendent de certaines conditions.

Un réglage peut être utile lorsque :

• Le jeu est limité par le processeur
• Des applications en arrière-plan disputent des ressources au jeu
• Le système connaît des pics de latence des pilotes
• L’activité du stockage provoque des à-coups
• Le processeur est ancien ou dispose de moins de ressources
• La latence réseau augmente lorsque la connexion est occupée

Cela ne signifie pas que le réglage est mauvais.

Nous préférons formuler une affirmation précise que nous pouvons étayer plutôt que de promettre un gain de FPS à tout le monde.

8. Conserver, modifier ou rejeter

Chaque optimisation aboutit à l’une de ces trois décisions.

Conserver

Nous la conservons lorsque :

• Le mécanisme est clair
• La mesure visée s’améliore
• Le résultat se répète
• Le risque est justifié
• La modification est réversible
• Nous savons dans quels cas l’utiliser

Un « risque acceptable » ne signifie pas une absence de risque. Cela signifie que l’inconvénient possible est limité, compris et réversible.

Modifier

L’idée est parfois bonne, mais sa mise en œuvre n’est pas prête.

Le réglage peut améliorer une mesure tout en en dégradant une autre. Il peut devoir cibler certains matériels ou certains jeux. Il peut aussi nécessiter de meilleurs paramètres ou un retour arrière plus sûr.

Un résultat positif lors d’un benchmark ne signifie pas automatiquement que nous allons le publier.

Rejeter

Nous rejetons un réglage lorsque :

• Nous ne pouvons pas expliquer ce qu’il modifie
• Le résultat ne se répète pas
• Le bénéfice est trop faible pour être pertinent
• Il provoque de l’instabilité ou des saccades
• Le risque de compatibilité est trop élevé
• Il ne peut pas être annulé en toute sécurité
• Les preuves ne confirment pas l’affirmation

Le rejet d’un réglage fait toujours partie du processus. Publier un réglage qui n’a pas été prouvé constitue l’échec.

Exemple : l’affinité des périphériques

Nous avons testé cette optimisation selon la méthode décrite dans cet article. La configuration, les scénarios et les paramètres étaient identiques, avec cinq captures avant l’application du réglage et cinq après. Les résultats ont montré une légère hausse des performances moyennes, d’environ 177 FPS à 182 FPS. Le temps d’image moyen et la latence du PC mesurée se sont également légèrement améliorés.

Plutôt que d’affirmer prématurément que « ce réglage augmente les FPS », nous avons tiré la conclusion suivante :

Sur ce système, le réglage a amélioré les FPS moyens et la latence du PC mesurée. Des tests supplémentaires sont nécessaires avant de formuler une conclusion plus générale.

Sur les petits écrans, placez le focus sur la figure, puis utilisez les flèches ou balayez horizontalement.

Ce que Hone n’affirme pas

Hone n’affirme pas que chaque optimisation améliore tous les PC.

Un seul benchmark ne peut pas prouver qu’un réglage fonctionne avec différents jeux, matériels, pilotes et versions de Windows. Nous ne modifions pas non plus la mémoire des jeux, les fichiers des systèmes antitriche ni d’autres fichiers de jeu sensibles pour obtenir des gains de performances. Les performances ne devraient pas dépendre de grandes affirmations aux consonances techniques.

Notre objectif n’est pas de dresser la plus longue liste de réglages. Nous sélectionnons plutôt les modifications que nous pouvons expliquer, tester, cibler et annuler.

C’est la norme à laquelle nous voulons que chaque optimisation Hone réponde.