What is a diffusion model?
Traditional autoregressive language models generate text one word – or token – at a time. This sequential process can be slow, and limit the quality and coherence of the output.
Diffusion models work differently. Instead of predicting text directly, they learn to generate outputs by refining noise, step-by-step. This means they can iterate on a solution very quickly and error correct during the generation process. This helps them excel at tasks like editing, including in the context of math and code.
Disons… que ce n'est pas encore parfaitement au point ! Et pourtant, quoi de plus commun que l'iconique Villa Savoye.
Résultat : un fichier (“un blob!”) de 40 Mo, là où un bon modeleur ne dépasserait pas 1Mo.
Et surtout : un maillage totalement “abstrait”, … inexploitable.
On savait que les Grands Modèles de Langage n'allaient pas remplacer l'activité des programmeurs avant un bon moment… on peut dire, avec cet exemple issu de la recherche de haut niveau (Meta/Oxford), que l'activité de modélisation 3D n'est pas non plus menacée, à court terme à tout le moins. Une bonne nouvelle ?
Fater.ai : Villa Savoye