Présentation du N-testing

Qu’est-ce que le N-testing et qui peut l’utiliser ?

Le N-testing est un module de Homa Lab qui permet aux équipes de jeu de gérer la configuration d’un jeu à distance et de réaliser des tests A/B sur le comportement des joueurs en définissant des paramètres du jeu à modifier (« configs ») ainsi que l’audience à laquelle ces changements s’appliquent. Des tests statistiques sont ensuite effectués afin de déterminer si les différences entre les groupes obtenus sont significatives. Lorsqu’un résultat clair (victoire ou échec) est établi, il est affiché à côté de la configuration concernée, qui peut alors être déployée à l’ensemble de l’audience du jeu pour accroître l’engagement ou la LTV (valeur vie client).

Le N-testing est géré par nos équipes internes, et les développeurs externes peuvent ne pas avoir l’autorisation de configurer et de lancer des N-tests. Veuillez contacter votre Publishing Manager à ce sujet.

Principes essentiels du N-testing

• Une proportion de joueurs est sélectionnée pour le test (par exemple 10 % des joueurs). Des filtres peuvent être appliqués pour garantir la pertinence des comparaisons entre les audiences. Exemple : pour un test basé sur la LTV, il est recommandé d’utiliser une seule plateforme et un seul pays (ex. iOS, États-Unis) afin d’éviter que les différences ne proviennent des écarts entre plusieurs marchés.

• Il est possible de configurer les paramètres exacts du jeu à modifier pour chaque test (ex. tutorial_on ou tutorial_off).

• Les gagnants sont déterminés par des tests statistiques. Il est important d’attendre un résultat clair (victoire/défaite) avant d’appliquer une configuration, pour éviter les faux positifs/négatifs.

• Une fois une conclusion atteinte, il est possible d’appliquer la configuration à tous les nouveaux joueurs.

Comment les différentes équipes utilisent le N-testing

Comment notre équipe utilise le N-testing

Les membres qui utilisent fréquemment les tests A/B sont : les Publishing Managers, les équipes Live Ops, ainsi que les game designers et producers internes. Ils l’utilisent pour :

• Créer des tests A/B afin de comparer les résultats entre plusieurs valeurs d’un même paramètre (ex. button_red ou button_green). Le N-testing commence généralement lorsqu’un jeu a atteint une base suffisante de joueurs, souvent au moment du lancement, et se poursuit tout au long de la vie du jeu.

• Estimer le nombre d’utilisateurs ajoutés à un test. Lors de la sélection de l’audience, Homa Lab calcule et affiche combien de joueurs devraient être inclus.

• Définir l’audience du test (partage en % et paramètres clés comme OS et géo). Exemple : cibler un pourcentage plus large de joueurs pour obtenir des résultats rapides, ou appliquer un changement global à tous les marchés.

• Décider quelle configuration déployer après le test. Exemple : si la configuration gagnante a été appliquée à 10 % des joueurs, elle peut ensuite être généralisée à 100 % des nouveaux joueurs sans nouvelle build. En cas de simple amélioration probable, l’équipe peut attendre pour obtenir des résultats plus fiables.

• Tester la modification des paramètres en local (sur un device ou une IP spécifique) pour vérifier leur bon fonctionnement.

Comment les studios partenaires utilisent le N-testing

Les studios et développeurs utilisant Homa Lab peuvent se servir du N-testing pour :

• Consulter les résultats des tests A/B réalisés sur leur jeu. Ces tests sont généralement initiés par les Publishing Managers, mais les studios peuvent aussi proposer de nouveaux tests et analyser ceux qui ont déjà fonctionné.

• Examiner les paramètres configurés dans leurs jeux. Comme les tests s’accumulent avec le temps, il est utile de pouvoir visualiser tous les paramètres en un seul endroit.

Création de nouveaux tests A/B

L’accès à la configuration distante et au module A/B testing est accordé au cas par cas, selon les responsabilités définies entre les studios et les Publishing Managers.

Les tests peuvent être créés et consultés depuis la page AB test.

Pourquoi lancer des N-tests ?

L’objectif du N-testing est d’augmenter la LTV. Cela peut se faire directement (ex. tester le nombre d’annonces affichées ou leur placement) ou indirectement (ex. améliorer la rétention ou le temps de jeu).

Un des grands avantages du N-testing est qu’il permet de configurer l’expérience des joueurs sans publier de nouvelles builds sur les stores, ni exiger que les utilisateurs mettent à jour leur jeu. Cela fait gagner beaucoup de temps. Exemple : tester deux campagnes de Noël en parallèle et déployer ensuite la meilleure à tous les joueurs, en étant certain que tous ceux installant le jeu à partir d’une date donnée en bénéficieront, même sans mise à jour avant les fêtes.

Exemples concrets de N-tests réussis