Vous vous souvenez peut-être de cet anniversaire où vous vous étiez cassé le bras en sautant de la balançoire. Mais comment notre cerveau fait-il pour mémoriser de nouveaux événements aussi rapidement et se les rappeler tout aussi précisément des années après ? Cette question est devenue importante en intelligence artificielle et dans les réseaux de neurones artificiels actuels.
Une facette de la réponse réside dans le concept d'oubli catastrophique, popularisé par Robert French, directeur de recherche CNRS au Laboratoire d'Étude de l'Apprentissage et du Développement (LEAD – CNRS/Université de Bourgogne Franche-Comté). Il explique que, contrairement aux populations de neurones biologiques qui retiennent l'information passée sans grande perte lorsque de nouvelles sont apprises, les réseaux de neurones artificiels, eux, dégradent de façon abrupte leur performance en comparaison.
Notre cerveau doit posséder des mécanismes très efficaces pour préserver ses souvenirs dans la mémoire, sans perte ni erreur, pour en apprendre à la fois beaucoup et les retrouver très rapidement. Pourtant, nos neurones sont à la fois peu fiables et extrêmement nombreux. Alors, comment fait-il ? Les scientifiques pensent que le cerveau exploite la faiblesse de ses neurones à son avantage : leur hétérogénéité, c’est-à-dire leur capacité à recevoir des signaux variés, crée un espace de grande dimension où toutes les informations sont séparables les unes des autres malgré leur faiblesse individuelle.
Dans une publication récente, l’équipe d’Alexandre Pitti, maître de conférences à CY Cergy Paris Université, membre d’ETIS, fait l'hypothèse que le cerveau effectue une sorte de codage "numérique" de l'information, comme pour une image encodée en bits. Le nombre de bits correspond à la quantité d’information contenue dans l'image et augmente linéairement alors que la résolution de l'image augmente de façon exponentielle. Dans le cas d’un réseau de neurones, le nombre de neurones artificiels nécessaires à la génération de l’image dépendrait de la résolution de l'image et non de sa taille.
L’hypothèse de cette équipe de chercheurs propose qu’un codage efficace de l'information peut être effectué en maximisant l'"entropie" des neurones, c'est-à-dire en optimisant leur variabilité, indépendamment de leur capacité d'apprentissage. L’entropie maximisée est atteinte en diversifiant les apprentissages d’une même information sur plusieurs neurones, même si chacun d’entre eux n’en apprend qu’une petite partie. Ainsi, la faible précision des neurones limite certes leur capacité d’apprentissage et dégrade l'information apprise, mais leurs connexions aléatoires diversifient leurs apprentissages et permettent de reconstruire l’information de départ, au-delà de leurs capacités individuelles.
Étonnamment, les équations théoriques et les simulations informatiques des chercheurs montrent qu'un tout petit nombre de ces neurones aléatoires (moins d’une dizaine seulement) est nécessaire pour apprendre de longues séquences d'éléments pris dans un grand répertoire, par exemple incluant mille éléments. De plus, quand la taille du répertoire d'entrée augmente de façon exponentielle, avec plus d'un milliard d'éléments différents, le nombre de neurones nécessaire à retrouver cette séquence sans erreur n'augmente que de quelques neurones supplémentaires. Autrement dit, il suffit de quelques essais pour retrouver une aiguille (un souvenir) dans une botte de foin (la mémoire), et le nombre d'essais supplémentaires n'augmente que faiblement même si la taille de la botte (la mémoire) s'en trouve multipliée de manière exponentielle.
Ce résultat a conduit Alexandre Pitti et son équipe à dériver une équation générale qui lie l'entropie (faible) des codes aléatoires et de faible précision des neurones artificiels à celle de l’entropie (forte) de l’information donnée en entrée de grande précision. Le nombre de neurones nécessaire pour atteindre l’égalité entre les deux entropies rend compte aussi de la capacité maximale possible du réseau de neurones. Ils ont ainsi pu montrer que ce modèle suit la limite théorique de Shannon en termes de capacité de stockage d'information. Cela signifie que chaque neurone artificiel transporte un maximum d'information et qu'il faut donc moins de neurones pour apprendre la même quantité d'information que dans un réseau de neurones conventionnel.
Cette hypothèse a possiblement de profondes implications en neurosciences computationnelles et en intelligence artificielle sur la compréhension des mécanismes d'apprentissage et de mémoire. Ce modèle peut servir de cadre mathématique pour le développement de nouvelles architectures neuronales efficaces et frugales, et conduire au développement d'une théorie neuronale de l'information. Il permettra aussi de savoir comment les neurones biologiques peuvent apprendre de grandes quantités d’information, et mesurer leur capacité maximale de stockage.
Article rédigé par Georges Simmonds pour RT Flash
