RTFlash

Un nouveau modèle d'IA modulaire

Tout le monde a entendu parler des grands modèles de langage (LLM). Ce sont des modèles d’apprentissage profond à grande échelle entraînés sur d’immenses quantités de texte qui constituent la base des chatbots tels que ChatGPT d’OpenAI. Les modèles multimodaux (MM) de nouvelle génération peuvent apprendre à partir d’entrées autres que du texte, y compris la vidéo, les images et le son.

La création de modèles multimodaux à plus petite échelle soulève des défis majeurs, dont celui de la fiabilité face aux informations manquantes non aléatoires. Il s’agit d’informations dont ne dispose pas un modèle, souvent en raison d’une disponibilité biaisée des ressources. Il est donc essentiel de veiller à ce que le modèle n’apprenne pas les schémas d’absence biaisés en faisant ses prédictions.

Pour remédier à ce problème, des chercheuses et chercheurs du Laboratoire d’apprentissage machine pour l’éducation (ML4ED) et du Laboratoire d’apprentissage machine et d’optimisation (MLO) de la Faculté informatique et communications de l’EPFL ont développé et testé l’exact opposé d’un grand modèle de langage. Créé sous l’impulsion de la professeure Mary-Anne Hartley, responsable du Laboratory for intelligent Global Health Technologies, hébergé conjointement au Laboratoire MLO et à l’École de médecine de Yale, et de la professeure Tanja Käser, responsable du Laboratoire ML4ED, MultiModN est un modèle multimodal modulaire unique, récemment présenté lors de la conférence NeurIPS2023.

À l’instar des modèles multimodaux actuels, MultiModN peut apprendre à partir de textes, d’images, de vidéos et de sons. Contrairement aux modèles multimodaux existants, ce dernier est composé d’un nombre de modules plus petits, autonomes et spécifiques aux entrées, qui peuvent être sélectionnés selon les informations disponibles, puis enchaînés dans une séquence de n’importe quel nombre, combinaison ou type d’entrée. Il peut ensuite produire n’importe quel nombre ou combinaison de prédictions. « Nous avons évalué MultiModN dans dix tâches réelles, dont l’aide au diagnostic médical, la prédiction des résultats scolaires et les prévisions météorologiques. Grâce à ces expériences, nous pensons que MultiModN est la première approche de la modélisation multimodale intrinsèquement interprétable et résistante aux données manquantes de façon non aléatoire (MNAR) », explique Vinitra Swamy, doctorante aux Laboratoires ML4ED et MLO et co-autrice principale du projet.

Le premier cas d’utilisation de MultiModN sera un système d’aide à la décision clinique destiné au personnel médical dans les environnements à faibles ressources. Dans le domaine de la santé, les données cliniques sont souvent manquantes, peut-être en raison de contraintes de ressources (un patient ou une patiente n’a pas les moyens de passer le test) ou d’une abondance de ressources (le test est redondant en raison d’un test supérieur qui a été effectué). MultiModN peut apprendre à partir de ces données réelles sans adopter ses biais, et adapter ses prédictions à n’importe quel nombre ou combinaison d’entrées. « L’absence est une caractéristique des données dans les environnements à faibles ressources. Lorsque les modèles apprennent ces schémas d’absence, ils peuvent encoder des biais dans leurs prédictions. Le besoin de flexibilité face à des ressources disponibles de manière imprévisible est à l’origine de MultiModN », précise Mary-Anne Hartley, qui est également médecin.

La publication n’est toutefois que la première étape de la mise en œuvre. Mary-Anne Hartley travaille avec des collègues du Centre hospitalier universitaire vaudois (CHUV) et Inselspital, de l’hôpital universitaire de Berne uBern pour mener des études cliniques axées sur le diagnostic de la pneumonie et de la tuberculose dans des environnements à faibles ressources et recruter des milliers de patientes et patients en Afrique du Sud, en Tanzanie, en Namibie et au Bénin. Les équipes de recherche ont entrepris une vaste initiative de formation pour apprendre à plus de 100 médecins à collecter systématiquement des données multimodales, y compris des images et des vidéos d’échographie. L’objectif est d’entraîner MultiModN à être attentif aux données réelles provenant de régions à faibles ressources.

EPFL

Noter cet article :

 

Vous serez certainement intéressé par ces articles :

Recommander cet article :

  • geometrydash

    21/05/2024

    After perusing your most recent responses and experimenting with the happy wheels game, I believe I now have a fundamental understanding of how it operates. I look forward to conducting additional tests to determine how I can make everything function.Many thanks to each of you!

  • natalie321

    5/06/2024

    The modular approach to multimodal AI seems like a game-changer, especially for low-resource Retro Bowl settings. Its ability to handle non-random missing data and avoid biases impresses me.

  • xeniaern

    17/06/2024

    Geometry Dash Game is a love-hate relationship! Frustrating at times, but incredibly satisfying to master.

  • Loord1998

    20/10/2024

    Great insights on the new modular AI model! It's impressive to see how flexible AI has become in different applications, much like the range of interactive experiences offered on poki games. The possibilities for innovation are endless!

  • kjkoi

    15/11/2024

    Tubidy is an all-encompassing media platform designed to provide free access to a vast array of music and video content for users worldwide. Known for its simple, user-friendly interface, Tubidy allows users to search, stream, and download audio and video files in various formats, such as MP3 and MP4, compatible with different devices. With Tubidy, users can enjoy the latest chart-topping hits as well as timeless classics, exploring music and video content across a wide range of genres. This makes Tubidy an ideal choice for those who love creating personal libraries for offline enjoyment. The platform is designed for convenience and accessibility, making it easy to download high-quality media files with just a few clicks. Whether you’re looking for trending songs, rare tracks, or popular videos, Tubidy’s extensive library has something for everyone. The best part is that all of Tubidy content is available at no cost, allowing users to enjoy endless entertainment without subscriptions. Tubidy has become a go-to platform for music and video enthusiasts, thanks to its extensive library of downloadable content and its straightforward, accessible interface. Designed with simplicity in mind, Tubidy offers easy access to popular songs, music videos, and much more, all available for streaming or downloading. Users can search for media by title, artist, or genre, ensuring that they find exactly what they’re looking for with minimal effort. Tubidy supports multiple formats, including MP3 for audio and MP4 for video, making it compatible with a wide range of devices. The platform allows users to build a personal media collection, which can be enjoyed offline at any time. From international hits to independent tracks, Tubidy’s library spans a multitude of genres, catering to diverse tastes. Best of all, Tubidy is completely free, providing an affordable way for users to enjoy high-quality music and video content anytime, anywhere. Tubidy is celebrated for its simplicity and versatility, providing a vast array of downloadable media content to satisfy even the most avid music and video fans. Unlike other streaming platforms, Tubidy places a strong emphasis on accessibility and ease of use, allowing users to download files in high-quality MP3 and MP4 formats quickly and easily. Its library includes everything from the latest chart-topping hits to classic tunes and viral videos, providing an endless selection of media. Tubidy is a user-friendly platform that allows users to access a vast library of music and videos, providing quick and easy downloads in multiple formats like MP3 and MP4. With a simple search, users can find and download their favorite songs and videos for free. Tubidy’s extensive collection includes content across genres and decades, making it an ideal choice for anyone looking to build a diverse media library for offline enjoyment. Tubidy offers a convenient way to download high-quality music and video content, giving users access to an extensive library of multimedia files. From current chart-toppers to classic tracks, Tubidy has something for everyone. Users can easily search for songs, albums, or artists, and download content in various formats. Best of all, it’s completely free, allowing music and video lovers to enjoy their favorite media without subscriptions or fees. Tubidy is a popular platform for downloading music and videos, providing users with access to millions of songs and clips at no cost. The platform is known for its simplicity, allowing quick downloads in MP3 and MP4 formats. Tubidy caters to a broad audience by offering content in various genres and styles, making it easy for users to discover new music and enjoy their favorites offline anytime, anywhere. Tubidy provides a massive library of music and video downloads, available for free and compatible with most devices. Its simple search functionality lets users find and download their favorite songs, music videos, and other media content effortlessly. Tubidy supports various formats, making it ideal for users who want quality media files. With an extensive collection across genres, Tubidy ensures a wide variety of content for all tastes and preferences. Tubidy offers a quick and reliable way to download music and video files, with a broad selection across genres and languages. Users can easily search for content and download it in MP3 or MP4 formats for offline use. Tubidy’s free platform makes it a favorite among music enthusiasts who want unlimited access to their favorite songs and videos without any subscriptions, creating a user-friendly experience for everyone. Tubidy is a highly accessible platform for downloading MP3 and MP4 files, allowing users to create their own offline media libraries without any cost. With a wide selection of music and videos across different genres, Tubidy is designed to meet the needs of diverse audiences. Its intuitive search and download features make it simple for users to find and save their favorite tracks and videos, providing endless entertainment on demand.

  • kjkoi

    15/11/2024

    Download lagu MP3 gratis merupakan pilihan terbaik untuk menikmati musik tanpa harus membayar biaya langganan. Dengan banyaknya situs download lagu yang tersedia, pengguna bisa menemukan beragam lagu dari berbagai genre dengan kualitas audio terbaik. Download lagu MP3 gratis memudahkan penggemar musik untuk mengoleksi lagu favorit mereka dan memutarnya kapan saja, bahkan saat offline, sehingga lebih hemat data internet. Mendapatkan akses ke download lagu MP3 gratis memberikan kesempatan kepada pengguna untuk menikmati musik favorit tanpa batas. Dengan fitur download lagu ini, siapa saja bisa menyimpan lagu-lagu terbaik dari artis lokal maupun internasional langsung di perangkat mereka. Proses download lagu ini cepat dan mudah, menjadikannya solusi praktis bagi para penggemar musik yang ingin mendengarkan lagu kapan saja tanpa gangguan iklan. Download lagu MP3 gratis memberikan kemudahan bagi penggemar musik untuk mendapatkan koleksi lagu berkualitas tanpa biaya tambahan. Melalui berbagai situs dan aplikasi yang menyediakan fitur download lagu, pengguna bisa memilih lagu-lagu favorit dari genre apa pun, mulai dari pop, rock, jazz, hingga dangdut. bursalagu Proses download yang cepat dan kualitas audio yang jernih membuat pengalaman mendengarkan musik semakin menyenangkan. Dengan download lagu MP3 gratis, siapa pun bisa menikmati koleksi lagu-lagu terbaru dan terpopuler tanpa perlu berlangganan. Banyak platform download lagu yang menyediakan pilihan musik dari berbagai artis terkenal dengan kualitas audio HD. Dengan begitu, pengguna dapat mendengarkan musik favorit secara offline, kapan pun diinginkan, tanpa khawatir kehabisan kuota internet atau terganggu oleh iklan. download lagu Download lagu MP3 gratis memudahkan penggemar musik untuk mendengarkan lagu favorit mereka di mana saja tanpa harus terhubung ke internet. Tersedia di berbagai situs terpercaya, fitur download lagu ini memberikan akses instan ke berbagai genre musik dengan kualitas suara yang tinggi. Prosesnya yang sederhana menjadikan download lagu pilihan ideal bagi pengguna yang ingin mengoleksi musik tanpa batas. download lagu Fitur download lagu MP3 gratis memungkinkan pengguna untuk mengakses ribuan lagu dari berbagai genre musik tanpa biaya. Dengan download lagu ini, penggemar musik bisa menyimpan lagu-lagu favorit mereka langsung di perangkat dan mendengarkannya kapan saja. Tidak hanya menghemat kuota internet, download lagu MP3 gratis juga memastikan pengalaman mendengarkan yang lancar dan bebas iklan. Download lagu MP3 gratis menjadi solusi ideal bagi mereka yang ingin menikmati musik kapan saja tanpa biaya. Dengan banyaknya platform yang menyediakan layanan download lagu, pengguna bisa mendapatkan musik dengan kualitas audio terbaik. Fitur download lagu ini memungkinkan pengguna untuk mendengarkan musik secara offline, membuatnya lebih nyaman dan hemat data internet, terutama bagi mereka yang memiliki koleksi lagu favorit. Kemudahan download lagu MP3 gratis membuat banyak orang bisa menikmati musik favorit mereka dengan cepat dan praktis. download lagu Berbagai situs download lagu menyediakan pilihan lagu dari genre musik apa pun, baik lokal maupun internasional, dengan kualitas audio yang baik. Pengguna bisa menyimpan lagu langsung di perangkat mereka dan memutarnya kapan saja, menjadikan download lagu pilihan yang ekonomis dan fleksibel. Melalui fitur download lagu MP3 gratis, siapa saja bisa mengakses musik dari seluruh dunia tanpa perlu mengeluarkan biaya. Download lagu ini tersedia di berbagai platform dengan pilihan genre yang lengkap, mulai dari pop hingga jazz. Prosesnya yang mudah menjadikan download lagu MP3 favorit para pengguna yang ingin memiliki koleksi lagu offline untuk didengarkan kapan saja tanpa gangguan. Download lagu MP3 gratis menawarkan solusi bagi penggemar musik untuk mengoleksi lagu-lagu favorit secara bebas tanpa berlangganan. download lagu Fitur download lagu ini tersedia di berbagai situs yang menawarkan kualitas audio terbaik. Pengguna dapat menyimpan lagu-lagu populer dari berbagai genre dan mendengarkannya kapan saja, tanpa terhubung ke internet, sehingga menjadi pilihan terbaik bagi mereka yang ingin hemat kuota. Akses ke download lagu MP3 gratis memudahkan pengguna untuk mendapatkan musik favorit tanpa perlu biaya tambahan. download lagu Banyak situs download lagu menyediakan koleksi lagu dari artis lokal hingga internasional. Proses download yang mudah memungkinkan siapa saja untuk menyimpan musik di perangkat mereka dan mendengarkannya kapan saja, membuat download lagu ini praktis dan ekonomis. Dengan download lagu MP3 gratis, pengguna bisa mengoleksi lagu-lagu hits dan mendengarkannya kapan pun tanpa memerlukan internet. Banyak platform yang menyediakan fitur download lagu, memungkinkan pengguna untuk menikmati kualitas audio yang jernih. download lagu Download lagu ini sangat membantu bagi mereka yang sering bepergian dan membutuhkan hiburan musik tanpa gangguan jaringan. Download lagu MP3 gratis memberikan kenyamanan bagi penggemar musik untuk mendengarkan lagu kesukaan kapan pun. Tersedia dalam berbagai genre, download lagu memungkinkan siapa saja untuk menikmati musik tanpa biaya langganan. Fitur ini sangat cocok bagi pengguna yang ingin mengoleksi lagu-lagu terbaik dan menikmatinya secara offline di perangkat pribadi mereka. download lagu Melalui download lagu MP3 gratis, pengguna bisa menikmati akses cepat ke berbagai lagu dari artis favorit mereka tanpa biaya. Situs download lagu memberikan kemudahan bagi pengguna untuk memilih lagu sesuai genre kesukaan. Dengan kualitas audio yang mumpuni, download lagu MP3 gratis memberikan pengalaman mendengarkan musik yang memuaskan kapan saja tanpa batas. download lagu Download lagu MP3 gratis memudahkan penggemar musik untuk menyimpan lagu-lagu favorit mereka secara offline. Dengan begitu, mereka bisa menikmati musik kapan saja tanpa harus terhubung ke internet. Fitur download lagu ini tersedia di berbagai platform dan menawarkan pilihan lagu berkualitas tinggi dari berbagai genre, sehingga pengguna dapat menikmati musik tanpa gangguan. metrolagu

  • kjkoi

    15/11/2024

    Thank you for creating such a fantastic Tubidy blog! The time and effort you put into every post really shines through.

  • back-to-top