Data Lab'1

Les applications de contrôle parental

Nous avons lancé notre premier programme d’analyse de données, Data Lab’1 (mai 2020- sept 2021), en le centrant sur la problématique de la protection de l’enfance, et plus précisément sur les applications mobiles de contrôle parental. Les avis publics laissés par les parents et les enfants dans les appstores ont constitué un gisement de données accessible pendant les confinements successifs sur toute la période marquée par la crise du Covid.

Le programme Data Lab’1 nous a permis d’initier et de développer un savoir-faire spécifique dans le TAL (Traitement Automatique des Langues) contextualisé dans le champ sémantique spécifique des usages numériques de la famille. Ce premier programme a constitué la preuve de concept pour toute la chaîne d’acquisition, de traitement et d’analyse de la donnée et pour la création d’un outil informatique dédié.

Nos travaux d’analyse sémantique et de sentiments ont porté sur 24.000 verbatims en langue française. Nous avons séparé la parole des parents (88% des verbatims) de celle des enfants (12% des verbatims) Nous avons extrait 18 thématiques (ergonomie, données personnelles,…) et 7 catégories concernant les sentiments et la notation (voir ci-après le détail de la méthodologie).

Le sujet central et transversal à une grande majorité des verbatims parentaux est la question de la gestion du temps d’écran, de sa limitation, notamment pour les applications de jeu. Quant aux enfants, leurs verbatims expriment leur sentiment d’injustice, de “perte” de vie personnelle, ainsi que la description factuelle des activités bloquées ou des actions de contournement. Une des thématiques est relative au rôle des mères, aux commandes du contrôle parental.

Suites à donner

1- L’approfondissement des travaux de recherche

Il s’agit de compléter nos analyses sur les contrôles parentaux suivant deux axes :

1.1- Étendre notre analyse sur un corpus de données plus important

Étendu à un volume de verbatims français plus important (supérieur à 50.000)
Étendu à d’autres applications mobiles, et à d’autres plateformes (mac, windows)

1.2- Étendre à un corpus structuré après enquête de grande envergure

Passer de l’analyse de données non structurées à celle de données structurées
Approfondir les analyses
Faire réagir les familles sur les sujets non abordés

C’est cette deuxième voie que nous avons choisie d’emprunter dans le programme Data Lab’2 (2022-2024) et pour laquelle nous avons développé un outil innovant d’enquête qualitative et quantitative, auprès des parents et des enfants, l’application DiPaf’.

2- La création d’un observatoire de la protection parentale en ligne

Étant donnée la progression du nombre d’avis laissés par les familles à propos de leur vécu, la création d’un « Observatoire des usages du contrôle parental » ou « Observatoire de la protection parentale » apparaît pertinente. Cet observatoire permettrait d’informer les parties prenantes de la vie numérique des enfants sur l’évolution des tendances, des attentes et des besoins des familles en matière de protection des enfants dans l’espace numérique. Une telle initiative favoriserait l’émulation entre éditeurs et l’émergence de solutions performantes au regard de l’évolution des usages.

Dans une deuxième phase, il pourrait s’agir de piloter une analyse des flux en temps réel de verbatims, avec pour objectif de :

Détecter de nouveaux sujets (signaux faibles et forts)
Suivre des indicateurs et repérer les tendances
Prédire des attentes et besoins des familles

3- Un exemple d’application pouvant être développée

Création d’un moteur multicritères destiné aux parents pour étayer un choix dans le domaine des applications de contrôle parental

le DATA LAB’ POUR LES APPLICATIONS
DE CONTRôLE PARENTAL

LE CADRE DE L’ÉTUDE

CHAMP D’ÉTUDE

Le sujet des contrôles parentaux est l’un des tout premiers sujets sur lequel nous nous sommes investis pour trois raisons.

Tout d’abord, pendant la période de gestation de notre projet en 2018, nous avions identifié que très peu de parents installaient une solution de contrôle parental et en étaient satisfaits. Or un parent doit protéger et éduquer son enfant dans la vie numérique comme dans la vie.

Ensuite, nous nous sommes tournés vers les travaux de la Commission Européenne dédiés au contrôle parental. En 2006, la commission avait lancé un programme spécifique dans le cadre du Safer Internet Program, le SIP BENCH, destiné à évaluer les dispositifs de contrôles parentaux. Ce programme s’est étendu sur 3 phases, jusqu’en 2016. En 2017, le rapport final concluait à l’inefficacité des outils d’aide à la parentalité (« Commission study suggests that most parental control tools fail to sufficiently address the needs of the parents to protect children against online risks”). En mars 2018, le rapport d’étape du programme Better Internet for Kids – BIK – indiquait que 85% des états membres n’avaient pas mis en place de dispositifs de test ou de certification des outils de contrôle parental.

Enfin, la troisième raison réside en la possibilité d’accéder à un grand volume de données publiques. Dans les App Stores, les parents et les enfants laissent des témoignages relatifs à leur expérience de l’usage des applications de contrôle parental que les parents ont installées sur le téléphone ou sur la tablette de leur enfant. Depuis la naissance du Google Play et de l’App Store en 2008, il existe plus de 1,4 millions de verbatims (avis, commentaires, témoignages) sur une sélection de 59 applications de contrôle parental pour mobile ou tablette. Nous avons constitué un dataset couvrant un tiers de ce gisement de données.

OBJECTIFS DE NOS TRAVAUX

Ces travaux doivent permettre aux parties prenantes de la parentalité numérique (politiques, institutionnels, industriels et éditeurs de solutions, monde de l’éducation, professionnels de la santé…) d’écouter les parents qui s’expriment en masse sur leur expérience d’usage d’une solution d’application parentale, afin d’être en capacité de :

Aider les parents et les enfants à comprendre les enjeux liés à l’usage du contrôle parental.
Leur permettre de progresser dans leurs pratiques respectives et favoriser le dialogue parents-enfants.
Favoriser l’émergence de solutions plus performantes.

méthodologie

Conformément à notre approche, il s’agit de :

Collecter des témoignages en nombre postés sur les appstores par les familles sur leur expérience des applications de contrôle parental.
Analyser les retours à l’aide d’outils informatiques de traitement du langage naturel, identifier les thèmes abordés et les sentiments associés.

PRÉSENTATION DES DATASETS

Nos jeux de données s’étalent de l’émergence des App stores en 2009 jusqu’en novembre 2020.

Notre data set au niveau mondial :

VERBATIMS

Applications

Langues

Pays

Notre data set en langue française :

Nous avons extrait de notre «data set mondial», un data set « français » de 24.000 commentaires de parents et d’enfants s’exprimant en langue française.

le DATA LAB’ POUR LES APPLICATIONS
DE CONTRôLE PARENTAL

quelques résultats

1 – ANALYSES STATISTIQUES

L’étude statistique des variables collectées (nom d’application, date de l’avis, pays, langue, app store, sentiment, note) permet d’exprimer des tendances et d’avoir une vision mondiale des usages des applications mobiles de contrôle parental.

1) Nombre de verbatims des familles en fonction du temps

Le nombre de verbatims suit une progression cohérente avec l’évolution du nombre d’appareils dans le monde. Elle est fortement tirée en 2019 et 2020 par l’application Google Family Link qui a été déployée au niveau mondial fin 2018. A elle seule, l’application représente 57% de l’ensemble des verbatims.

2) Répartition des avis des parents et des enfants sur le dataset en langue française

Extraction de la parole des enfants

Nos algorithmes permettent d’isoler les verbatims des enfants qui représentent 12% du dataset en langue française.

Avis des parents et des enfants

Les enfants qui postent leurs commentaires expriment majoritairement leur mécontentement d’être restreints dans leurs pratiques du smartphone ou de la tablette. : ils attribuent à 95% la note la plus basse d’1/5.

Les parents sont plutôt satisfaits : le sentiment positif domine puisque les notes 4 et 5 totalisent 66% des commentaires.

2 – Extraction automatique de thèmes

Intérêt du topic modeling avec le LDA (Latent Dirichlet Allocation)

En intelligence artificielle, les méthodes d’apprentissage « non supervisées » de TAL permettent de laisser l’algorithme découvrir des thématiques présentes dans un ensemble de données. Le rôle du data scientist est de choisir l’algorithme, un LDA en l’occurence, et de régler ses paramètres d’apprentissage en fonction du type de données et de l’objectif de recherche. Le LDA est un modèle statistique (modèle génératif probabiliste) qui génère des thèmes basés sur la fréquence des mots à partir d’un ensemble de documents.

Approche méthodologique

Le graphique en étoile illustre un résultat d’extraction automatique de 25 thèmes distincts dans le data set français. Chaque thème (couleur) est constitué d’un sous-ensemble de 10 mots clés.

Quelques résultats

Ce paramétrage apporte un éclairage intéressant sur les sujets associés à chaque thème :

Le thème N°2 fait ressortir que les parents s’expriment davantage à propos de leurs grands enfants, les adolescents.
Le thème N°3 est lié aux aspects relatifs à l’ergonomie des applications.
La thématique du jeu est couverte par 4 thèmes qui renvoient, par ordre d’importance, au contrôle du temps (N°1), aux limites des fonctionnalités permettant de définir des profils par joueur (N°4) et de définir des seuils et des plages horaires (N°6 & N°9).
La question du contournement des applications par les enfants et de l’inefficacité du dispositif de contrôle parental fait l’objet des regroupements au sein des thèmes N°5 et N°10.
Les thèmes N°12, 15 et 24 traitent des problèmes que les parents rencontrent tout au long du cycle de vie des App, dans les phases d’installation, de paramétrage, jusqu’à la désinstallation.
Les thèmes N°16, 18, 23 et 25 traitent des fonctionnalités attendues, comme la gestion des messages et des appels, le filtrage de la navigation web, la géolocalisation et l’utilisation de YouTube.
Enfin, les thèmes N°19 et 21 traitent des aspects relatifs à la relation commerciale des parents avec les éditeurs d’applications, notamment les problèmes de service après-vente.

3 – Prédiction de la présence de thèmes

Intérêt des modèles de deep learning de type BERT

En 2018, Google a rendu open source le code du modèle de langue BERT . En 2019, les équipes de Facebook AI Research associées aux chercheurs de l’INRIA ont rendu public CamemBERT, un modèle de type BERT, pré-entraîné sur 138 GB de textes français.

Camembert est donc un modèle qui « connait la langue française » et qui peut être utilisé pour des tâches de classification automatique « multi-labels » appartenant au champ des méthodes dites « supervisées ».

Approche méthodologique

La supervision nécessite de fournir au modèle de langue un data set d’entraînement préalablement labellisé par nos soins : chaque verbatim a été associé à 27 colonnes, une par thème. La labellisation consiste à tagger chaque colonne si le thème correspondant est présent dans le verbatim.

Nous paramétrons l’algorithme afin qu’il s’entraîne et réduise ses erreurs de prédiction : il « cache » les taggs, tente de les prédire, puis ensuite vérifie pour chaque verbatim s’il s’est trompé, prend en compte son erreur, et recommence ainsi de suite pendant plusieurs heures.

Les approches deep learning nécessitent des machines puissantes et à mémoire élevée du fait de la volumétrie et de la parallélisation des calculs requis. Nous avons travaillé sur des solutions cloud avec des GPU NVIDIA TESLA P100.

Une fois le modèle entraîné et performant, nous l’utilisons en production pour réaliser des prédictions sur des verbatims nouveaux. Les méthodes supervisées de deep learning sont très performantes, pour autant, elles ne permettent que de prédire des thèmes sur lesquels le modèle a été préalablement entraîné.

Nous avons opté pour une prédiction en mode « multi-labels » qui permet d’associer un verbatim à plusieurs labels. Concrètement, nous avons entraîné un modèle à détecter une variété de thématiques au sein d’un verbatim – ou d’un ensemble de verbatims – et nous obtenons pour chaque label le score de son poids relatif dans le verbatim.

Nous avons dans un premier temps adapté CamemBERT au champ sémantique de la parentalité numérique (fine-tuning), puis nous l’avons entraîné avec un jeu de données labellisées sur 27 thèmes.

Thématiques issues de l’ontologie à capturer dans les verbatims

Exemple d’extraction de thèmes dans un verbatim parental

Voici ci-dessous un exemple de verbatim parental dont le résultat d’analyse est présenté dans le graphe circulaire :

» Très franchement application bien et facile d’utilisaton, pratique. l’installation s’est passée sans trop de problèmes, malgré l’intervention du support technique que j’ai du appeler. en famille on respire mieux et le calme est de retour. filtrage ok mon fils ne peut pas la contourner. il faut dialoguer avec l’enfant pour lui apprendre les règles et échanger en famille est toujour une bonne chose »

Lecture du graphique :
Le modèle renvoie une prédiction sur une échelle allant de 0 (absence de présence du thème) à 1 (thématique principale). La légende sous le graphique indique les zones de couleurs correspondant aux intervalles de poids de la présence du thème.
Dans cet exemple, notre modèle fait apparaître par ordre décroissant les thématiques principales suivantes :

Locuteur : Un parent s’exprime
Thématiques : Ergonomie & UX (« facile d’utilisation », « pratique »), robustesse (« pas la contourner »), MAJ & Maintenance (« intervention support technique »), Education ( « dialoguer », « apprendre les règles »), Vie de famille (« en famille on respire… »)
Sentiment : Positif
Note : l’appartenance à la catégorie 4&5 est jugée la plus probable

Notre modèle de langage a correctement capturé les thèmes abordés, le sentiment associé, ainsi que la note probable. Il peut être amélioré, car les prédictions « filtrage WEB » et « installation et paramétrage » devraient avoir des scores supérieurs.

Les métriques par label et globaux attestent d’une performance à l’état de l’art (roc_auc_score_micro: 0.9959, Hamming_loss : 0.0203, F1_micro: 0.9403).

Cette performance a été atteinte grâce au développement d’un processus de labellisation semi-automatique des données d’entraînement irrigué par un ensemble de dictionnaires thématiques élaborés par le DATA Lab’.

Exemples d’applications immédiates et concrètes de la classification automatique

Amélioration d’une fonctionnalité sur une (ou plusieurs) application (s) de contrôle parental.
Création d’un moteur de recherche multicritères destiné aux parents pour étayer un choix dans le domaine des applications de contrôle parental