Quel(s) acteur(s)/personnage(s) devrait figurer sur cette vignette, le cas échéant ? Combien ? Quelle variante de cadre ou d’affiche générée automatiquement serait la plus incitative pour qu’un utilisateur particulier clique dessus ? Quel éclairage fonctionne le mieux ? Filtres ?
Quelles données avons-nous sur le comportement passé des autres utilisateurs en matière de clics pouvons-nous tirer des associations pour aider à informer cette décision de vignette à l’échelle ?
- Augmenter les taux de clics (CTR) des recommandations de films – signifiant l’engagement
- Hypothèse selon laquelle des taux d’engagement plus élevés entraîneront une plus grande satisfaction et une plus grande fidélité des abonnés
C’est donc un problème vraiment intéressant avec la vignette d’image qui peut avoir un impact énorme sur la probabilité que quelqu’un clique sur une vidéo et la regarde.
Si l’objectif est de maximiser cette probabilité de regarder en peaufinant la vignette – quelles sont les décisions de produit à prendre en compte ?
Considérations de produit dans les vignettes d’image personnalisées
Nous n’allons pas plonger dans chacun des cas d’utilisation ci-dessus, mais plongeons un peu plus dans le second : Personnalisation des œuvres d’art / vignettes
Il s’agit d’une fonctionnalité de personnalisation basée sur les données qui se trouve au-dessus du moteur de recommandation de films
Considérations sur le produit
Les algorithmes sont formidables, mais ils ont des limites. Un gestionnaire de produit devrait toujours penser à l’avance à des scénarios de cas limite possibles dans lesquels l’algorithme pourrait ne pas produire les meilleurs résultats.
- Chaque film devrait idéalement avoir une vignette personnalisée qui maximise les clics. Puisque Netflix a des données sur le comportement de clics d’autres personnes ayant des intérêts similaires, c’est une hypothèse raisonnable pour deviner que si d’autres personnes ayant des intérêts et un historique de visionnage similaires ont eu un taux de clics élevé sur une certaine vignette, alors il est probable que cette vignette d’image sera performante sur une nouvelle personne qui n’a pas encore été recommandée ce film / vignette.
- La vignette personnalisée devrait prendre en considération d’autres films là sont recommandés en même temps – et ce que sont ces recommandations d’images. Disons que Netflix recommande 2 films différents de Spiderman à un utilisateur côte à côte – et ils ont tous deux Spiderman face au masque de la caméra. L’un est de Tobey Maguire et l’autre d’Andrew Garfield. Ne serait-il pas étrange pour l’utilisateur de voir les deux portraits de Maguire et Garfield dans le rôle de Spiderman, sans masque, côte à côte ? Quelque chose à prendre en compte si cela devait se produire un jour.
Une vignette d’image pourrait bien fonctionner de manière isolée, mais cela peut ne pas être suffisant lorsqu’une page d’une douzaine de vignettes s’affiche. Si elles sont toutes optimisées pour avoir le même aspect, alors en tant que groupe, chacune d’entre elles peut sembler moins convaincante. Il sera donc important de regarder chaque vignette en même temps que ce qui est présenté par ailleurs. - Les données, c’est bien, mais attention aux algorithmes qui font trop bien leur travail, ce qui entraîne des conséquences involontaires / des faux positifs !
En statistiques, on appelle cela une erreur de type I – suggérer faussement (ou incorrectement) une vignette d’image qui ne devrait pas être suggérée.
Cas concret : Il suffit de regarder l’exemple ci-dessous de Like Father, un film mettant en vedette Kristen Bell. Pourtant, l’algorithme de Netflix a (sans doute) fait de fausses recommandations de vignettes de soutien aux acteurs/actrices noirs qui ne représentent pas vraiment ce dont parlait le film, mais a connu un taux de clics plus élevé parmi certains publics ethniques.
Soyez donc conscient qu’une expérience trop optimisée / personnalisée pourrait créer une expérience utilisateur monotone qui, dans certains cas, peut être trompeuse pour l’utilisateur. Nous voulons fournir un mélange sain du familier avec l’inattendu, mais aussi dépeindre avec précision le contenu à l’utilisateur afin qu’il ne soit pas induit en erreur de manière inappropriée.
Voici un autre exemple :
Sur la base d’une probabilité élevée de taux de clics (CTR), Netflix a fini par présenter des vignettes aux utilisateurs qui correspondaient à l’ethnicité d’un utilisateur – – même lorsque cet acteur/actrice de soutien (habituellement) avait très peu de temps d’antenne dans ce film.
Bien qu’il s’agisse d’une initiative soutenue par des données, il est assez évident pour l’utilisateur qu’il y a un sentiment de manque de sincérité qui peut être trompeur en termes de vignette représentant précisément ce film (erreur de faux positif de type I).
Bien sûr, cet algorithme sera probablement affiné au fil du temps, mais la leçon ici est de ne pas en faire trop lorsqu’on capitalise sur les données – appliquez un peu de bon sens pour l’équilibrer.
Nous ne voulons pas induire indûment les utilisateurs en erreur ou leur faire savoir qu’ils sont traités différemment en raison de leur race, par exemple.
4. Enfin, l’algorithme devrait prendre en considération les vignettes que l’utilisateur a vues précédemment en association avec ce film et viser à fournir une expérience utilisateur cohérente et non confuse.
Nous voulons éviter que l’utilisateur voie différentes vignettes chaque fois que ce film apparaît à l’utilisateur. Non seulement cela rendrait l’utilisateur confus, mais il serait également difficile pour un gestionnaire de produit d’attribuer une attribution à un clic – quelle image a entraîné un taux de clics (CTR) plus élevé lorsqu’elle change constamment ? Les PM doivent être en mesure d’attribuer correctement chaque nouveau résultat à un changement spécifique – il est donc important de maintenir une attribution cohérente des données.
Ce sont donc des éléments qu’un chef de produit prendrait en compte lors de la conception de scénarios de cas limite et de ce que les cas extrêmes d’utilisation des données peuvent entraîner. En parlant de données, sur quoi Netflix travaille-t-il spécifiquement ?
Quelles sont les données dont nous disposons ?
Il y a 2 parties à cela :
- Quelles sont les données utilisées par Netflix pour créer ces vignettes / œuvres d’art personnalisées ?
- Quelles sont les données utilisées par Netflix pour cibler ces vignettes créées sur mesure vers la personne appropriée ?
Pour la première question, considérez que
- Un épisode d’une heure de Stranger Things comporte >86 000 images vidéo statiques
- Ces images vidéo peuvent chacune se voir attribuer individuellement certains attributs qui sont ensuite utilisés pour filtrer les meilleurs candidats aux vignettes grâce à un ensemble d’outils et d’algorithmes appelés Analyse visuelle esthétique (AVA). Celle-ci est conçue pour trouver la meilleure image de vignette personnalisée parmi chaque image statique de la vidéo
- Annotation Netflix – Netflix crée des métadonnées pour chaque image, notamment la luminosité (,67), le nombre de visages (3) , les tons de peau (,2), la probabilité de nudité (,03), le niveau de flou de mouvement (4), la symétrie (.4)
- Rapport d’images Netflix – Netflix utilise les métadonnées de ce qui précède pour choisir les images spécifiques qui sont de la plus haute qualité (bon éclairage, pas de flou de mouvement, contient probablement un certain plan de visage des personnages principaux sous un angle décent, ne contient pas de contenu de marque non autorisé, etc.) et les plus cliquables
Pour la deuxième question de savoir quelles données Netflix utilise pour identifier vers qui cibler ces vignettes générées sur mesure, considérez que Netflix suit :
- # de films regardés, # de minutes de chaque émission regardée
- % d’achèvement pour chaque vidéo/série
- # de upvotes, quels films ont été favorisés, etc
- % du contenu global regardé qui est attribuable à une émission spécifique (et donc le niveau d’affinité que l’utilisateur a avec une émission spécifique ou les membres du casting associés)
- toutes les tendances saisonnières ou hebdomadaires liées au niveau d’engagement d’un utilisateur, etc.
Intéressant de noter qu’à la mi 2018, Netflix a cessé d’accepter les avis des utilisateurs comme point de données, qu’il sollicitait auparavant uniquement sur son site web. Pourquoi ? Parce que cette « fonctionnalité » réduit en réalité le nombre de spectateurs, car les avis négatifs découragent les utilisateurs d’essayer une vidéo. Ce n’est qu’un autre exemple de la façon dont un besoin commercial supplante un besoin populaire des utilisateurs !
Donc Netflix a une TONNE de données sur chacun de ses clients – des vidéos regardées aux images cliquées. Que font-ils avec toutes ces données ?
Comment Netflix utilise les données pour construire un univers d’intérêts de profils d’utilisateurs
Eh bien, ils les utilisent pour établir un profil à 360° de chaque utilisateur et indexer mathématiquement chaque utilisateur selon des centaines, voire des milliers d’attributs différents.
Ils font cela pour essayer de regrouper les personnes ayant des intérêts similaires afin de pouvoir utiliser les données d’un utilisateur pour aider à prédire le comportement probable d’autres utilisateurs similaires.
Comment ce regroupement de profils d’utilisateurs similaires fonctionne-t-il et comment un chef de produit donne-t-il du sens à ces données ?
Après avoir parcouru les mathématiques et les algorithmes complexes associés aux matrices, aux vecteurs et à l’analyse des caractéristiques à n dimensions, j’ai trouvé que la façon la plus simple de comprendre comment cela fonctionne est à travers une représentation spatiale en 3D de 10+ dimensions.
Voici une capture d’écran que j’ai prise en utilisant le TensorBoard de Google sur la base de données mNIST de chiffres manuscrits. C’est un tracé fantaisiste appelé le tracé t-SNE – effectivement une représentation 3D de beaucoup plus de dimensions que 3. Dans ce cas, nous montrons 10 dimensions (une pour chaque chiffre de 1 à 10) sur un système de coordonnées 3D de type sphère.
La position de chaque chiffre écrit à la main dans cette représentation spatiale peut être décrite par un vecteur – une série de nombres ressemblant à des coordonnées sur un nombre quelconque de dimensions de caractéristiques.
De même, avec les utilisateurs de Netflix, la position de chaque profil d’utilisateur dans le graphique ci-dessus pourrait être décrite par des valeurs numériques représentant chacune une dimension individuelle de l’intérêt de cet utilisateur – notamment le genre de film, les acteurs/actrices préférés, le sujet du film, etc.
Réimaginer les utilisateurs de Netflix en relation mathématique les uns avec les autres
Faisons comme si dans le diagramme de chiffres ci-dessus :
- « 6 » = comédie romantique
- « 4 » = thriller
Si un utilisateur est étiqueté « 6 » par Netflix, il sera placé à proximité générale de l’endroit où se trouvent tous les autres 6 turquoise dans la représentation spatiale ci-dessus (près du bas).
De même, si un utilisateur est étiqueté « 4 » par Netflix, il sera placé dans le voisinage général où se trouvent tous les autres 4 magenta dans la représentation spatiale ci-dessus (près du haut).
Notez comment la région turquoise « 6 » (comédie romantique) chevauche quelque peu la région grise « 5 ». Cela pourrait être analogue à la façon dont les utilisateurs qui aiment les comédies romantiques pourraient également aimer les films de parodie ou de satire parce qu’ils impliquent tous deux le rire.
De même, puisque la région magenta « 4 » (thriller) est quelque peu proche de la région rose « 9 » – cette région rose « 9 » pourrait représenter ceux qui aiment les films d’action – mathématiquement plus proche de la région « 4 » (thriller) que de la région « 6 » (comédie romantique).
Cela a du sens ? Ainsi, lorsqu’elle est représentée dans l’espace, la distance entre deux profils d’utilisateurs représente la similitude / différence de leurs goûts. Bien sûr, cela peut devenir infiniment plus complexe lorsque quelqu’un qui aime les comédies romantiques aime aussi les thrillers – mais le but de cette analogie est de montrer l’idée générale des relations mathématiques / spatiales entre différentes catégories.
Les groupes d’intérêt qui sont liés les uns aux autres apparaîtraient plus proches les uns des autres et pourraient être de bons prédicteurs de ce qu’un utilisateur aimera, étant donné que l’utilisateur aime quelque chose d’autre à proximité.
C’est ainsi que Netflix, ou vraiment toute entreprise tirant parti des modèles ML, crée des relations entre des données apparemment non structurées et transforme ces données en chiffres. Ces chiffres en eux-mêmes n’ont pas beaucoup de sens, mais ensemble, en relation les uns avec les autres, ils commencent à avoir du sens.
Pour le même film Good Will Hunting ci-dessous, un utilisateur identifié comme un fan de comédie se verrait montrer une vignette de Robin Williams (comédien), tandis qu’un autre utilisateur identifié comme un fan de comédie romantique se verrait montrer une vignette de baiser mettant en scène Matt Damon et Minnie Driver. Bien qu’il ne soit pas parfait, les algorithmes de Netflix suggèrent qu’un tel niveau de personnalisation basé sur les caractéristiques du profil de l’utilisateur augmente la probabilité des taux de clics.
Donc, résumons. Un tas de vignettes d’images Netflix est un tas de données non structurées.
Mais une fois que Netflix annote chaque vignette et lui attribue des métadonnées pour décrire ce qu’elle contient – nous avons maintenant une représentation numérique de ces données non structurées.
Placer cette représentation numérique sous forme de vecteurs sur une sphère 3D comme nous l’avons fait ci-dessus – et maintenant Netflix commence à former des relations entre les points de données.
Netflix trouve alors des points de données qui sont relativement proches les uns des autres et les utilise pour aider à prédire le comportement futur des clics. Si les prédictions s’avèrent mauvaises ou bonnes, ils ajustent le positionnement mathématique de ces caractéristiques en conséquence jusqu’à ce que le modèle devienne de mieux en mieux au fil du temps.
Voilà donc comment Netflix transforme des données non structurées en représentations mathématiques. Il utilise la distance relationnelle entre les points de données comme base pour faire et améliorer les recommandations de vignettes d’images.
Qu’a appris Netflix de toutes ces données ?
Maintenant que nous savons comment Netflix transforme les images en chiffres dans un modèle d’apprentissage automatique, quelles sont les connaissances que Netflix a trouvées à partir de tout le traitement des données et des tests A/B qu’ils ont effectués pendant tant d’années ?
Eh bien, outre l’apprentissage des millions de vignettes individuelles qui ont converti les utilisateurs en abonnés fidèles au fil du temps, voici quelques éléments supplémentaires que Netflix a appris pour ce qui fonctionne en termes de vignettes :
- Présenter des gros plans de visages émotionnellement expressifs
- Présenter des méchants plutôt que des héros
- Ne pas montrer plus de trois personnages
En conclusion : Netflix a déployé l’IA (principalement) de la bonne manière. Apprenons de leur approche.
Netflix a fait un travail phénoménal d’application de l’IA, de la science des données et de l’apprentissage automatique de la « bonne façon » – en utilisant une approche basée sur le produit qui se concentre sur le besoin commercial d’abord, puis sur la solution d’IA ensuite, plutôt que l’inverse.
Lorsqu’elle est appliquée correctement, l’IA peut faire des merveilles.
Nous avons vu à quel point les solutions d’IA peuvent être efficaces pour personnaliser l’expérience au profit à la fois de Netflix en termes d’abonnements et des utilisateurs en termes de satisfaction globale.
Nous avons également vu les limites des algorithmes qui « en font trop » et avons discuté d’exemples spécifiques dans lesquels l’algorithme de Netflix a présenté des vignettes trompeuses aux personnes de couleur parce que l’algorithme a optimisé les clics, « trompant » effectivement les utilisateurs pour qu’ils cliquent sur l’appât. Cela s’est produit même lorsque cette vignette ne représentait pas précisément cette vidéo.
Aucun algorithme ne sera parfait pour rendre compte de toutes les nuances d’une expérience humaine. En fait, les algorithmes conçus pour exploiter les métriques ne feront que cela – c’est donc le rôle du chef de produit de travailler avec la conception ou d’autres membres de l’équipe pour trouver des moyens de combler ces lacunes dans les algorithmes.
A l’avenir, l’intégration de l’IA dans la société ainsi que dans l’espace des entreprises continuera à devenir de plus en plus prévalente.
Les technologues peuvent avoir tendance à prescrire des solutions d’IA existantes, mais en réalité, la façon la plus efficace d’adopter l’IA est la façon dont Netflix l’a fait – d’abord d’un point de vue axé sur les affaires.
Diguez profondément et vous verrez que Netflix a généré des données de soutien avant de faire le pas stratégique en avant.
Alors que le monde de l’IA, de la science des données et de l’apprentissage automatique continue de croître, nous, les gestionnaires de produits, pouvons tous prendre une leçon ou deux du playbook de Netflix quand il s’agit de déployer correctement des solutions d’IA.
.