Je suis doctorante en apprentissage automatique, sous la direction de Gabriel Peyré et Pierre Ablin à l’École Normale Supérieure, Paris. Je suis actuellement en stage doctoral à Apple Machine Learning Research à Paris.

J’étudie les propriétés théoriques et pratiques des Transformers.

Contact : valerie.castin (at) dma.ens.fr

Actualités

• Juin 2026 : J’étais à Saint-Malo pour présenter un poster sur BaLoRA à Curves and Surfaces 2026
• Juin 2026 : Notre article A Unified Perspective on the Dynamics of Deep Transformers a été accepté dans la revue Foundations of Computational Mathematics !
• Mai 2026 : J’ai commencé un stage dans l’équipe Apple MLR à Paris !
• Mars 2026 : J’ai reçu le Prix du meilleur exposé étudiant (prix Dodu) pour ma présentation de BaLoRA à SMAI MODE 2026 à Nice !
• Janvier 2026 : J’étais à Alicante pour présenter mes travaux au symposium de la RSME PDEs, Inverse Problems and Machine Learning. Diapositives
• Septembre 2025 : J’étais à Hambourg pour présenter mes travaux récents au workshop Mathematics of Transformers. Diapositives
• Juin 2025 : Notre article Opening the Black Box: Reverse-Engineering of Sparse Neural Networks a été accepté comme exposé oral à GRETSI 2025 ! Travail réalisé avec Rémi Gribonval.
• Janvier 2025 : Notre nouveau preprint A Unified Perspective on the Dynamics of Deep Transformers est disponible ! Travail réalisé avec J. A. Carrillo, G. Peyré, P. Ablin. À l’aide d’un formalisme d’EDP, nous étudions la dynamique des tokens lorsqu’ils traversent un Transformer infiniment profond.
• Janvier 2025 : J’ai présenté notre article How Smooth Is Attention? au séminaire MLSP, ENS de Lyon
• Septembre 2024 : J’ai officiellement commencé ma thèse !
• Juin 2024 : J’ai présenté un poster à l’école de recherche du CIRM Frontiers in Interacting Particle Systems. Travail réalisé avec J. A. Carrillo
• Avril 2024 : Notre article How Smooth Is Attention? a été accepté à ICML 2024 ! Nous y étudions la constante de Lipschitz (locale) de l’auto-attention, et montrons qu’elle croît avec la longueur de la séquence.
• Octobre 2023 : Je commence une visite de 3 mois à l’Université d’Oxford, pour travailler avec José Antonio Carrillo.
• Avril 2023 : J’ai commencé mon mémoire de master à l’ENS PSL avec Gabriel Peyré et Pierre Ablin !