Kimi K3, le nouveau meilleur modèle IA de tous les temps (ou pas)

Le mois dernier, j’écrivais un article pour expliquer qu'il n’y a pas de “meilleur” modèle d’intelligence artificielle, que les classements changent constamment et qu’il faut surtout revenir à une chose importante : notre besoin.

Il n’a pas fallut attendre longtemps. Tout récemment (on parle de 48h à peine), un nouveau modèle a été dévoilé et la situation illustre bien ce que je disais. Souhaitons la bienvenue à Kimi K3, le nouveau nouveau meilleur.

Comme d’habitude, ça fait sensation. Si on regarde les créateurs de contenu, les influenceurs et même certains médias (ce qui est ecnore plus triste), tout le monde lâche ses plus beaux superlatifs : “C’est le meilleur”, “Ça va tout tuer”, “Fable 5 est déjà dépassé”. Bon, si on regarde dans le passé, c’est systématiquement la même chanson à chaque sortie de grand modèle.

J’ai envie d’en profiter pour prendre tout ça à contrepied, apporter de la nuance et sortir de cette logique de faire du sensationnel pour avoir des vues.

Un point sur les benchmarks

Qu’est-ce que ça veut dire concrètement, “être meilleur” ?

Souvent, l’élément phare cité dans les articles/vidéos/newsletter est un benchmark. Un tel est le nouveau meilleur parce qu’il a gagné plus de points que l’autre.

Mais rappellons quelques éléments :

• les benchmarks sont plus ou moins fiables, ils mesurent une fration des capacités et sont parfois purement subjectifs,
• c’est arrivé que certains modèles ont été (in)volontairement entraînés sur des benchmarks, ce qui fausse la donne,
• on a vu plusieurs fois des modèles devenir “moins bon” un peu après la release,
• le classement bouge sans cesse, pas de quoi se précipiter à changer.

Donc le benchmark, oui c’est un moyen de comparer, mais il ne faut pas rester dessus. Je pense qu’il faudrait plutôt garder ça comme un moyen d’avoir un aperçu, un tri rapide.

Là comme ça, j’ai l’idée de l’atelier eXtreme quotation qui me traverse l’esprit - ce modèle fait partie da la famille du top top (XL), ou non plutôt basique (du M).

Kimi K3, en surface

Parlons maintenant de Kimi K3 pour donner du contexte. C’est un modèle open-source de 2,8 billions de paramètres, qui rivalise avec les géants propriétaires sur certains tests de programmation, et qui occupe même la première place du classement Arena.ai pour le code front-end.

Il est devant Fable 5, qui était jusque-là le nouveau roi avec GPT 5.6 Sol, et tout ça, pour un prix bien inférieur.

Donc en résumé, on a mieux et moins chère. Que demander de plus ?

En profondeur

Ce qui m’a donné envie d’écrire, c’est une vidéo du créateur Chase AI. Il a sorti une comparaison intéressante entre Kimi K3, Claude Fable 5 et GPT 5.6 (ou ChatGPT).

Déjà, on commence à voir de la nuance - il y a d’autres aspects qui sont analysés. Par exemple, la rapidité, les hallucinations, l’économie des tokens, etc. On ne reste pas juste sur le classement de quelques benchmarks. Et c’est intéressant car on voit que ça pêche sur certains points.

Je ne vais pas tout détailler, car mon but n’est pas de descendre Kimi K3 ou d’encenser Fable 5, on s’en fout. Mais plutôt de montrer que la réponse est plus complexe qu’il n’y paraît. Donc rapidement, quelques aspects :

• La “consommation de token” : Pour une même tâche, pour un même prompt, chaque modèle va consommer plus ou moins de tokens. Kimi est réputé pour en gaspiller beaucoup plus.
• Le “coût par tâche” : Un comparaison du coût réel pour accomplir une tâche complexe. Kimmy K3 (0,95 $) est légèrement moins cher que GPT 5.6 (1,04 $), mais Fable 5 est beaucoup plus onéreux (2,75 $). Malgré le “coût par token” très faible de Kimi, le coût réel ne se démarque pas autant des autres à cause d’une plus grande consommation d’un côté / d’un meilleur optimisation de l’autre côté.
• L' “index d’omniscience” : C’est une mesure sur la fiabilité des réponses et la quantité d’hallucinations. Fable score 40 points sur 100, GPT score 22, Kimi score 18.
• La “vitesse d’exécution” : Kimi est plus lent que ses copains Fable et GPT.

On s’éloigne finalement un peu de la hype qui entoure sa sortie et de tous les superlatifs. Finalement, il y a du bon et du moins bon, on nuance, on mitige. On n’est plus trop sur le fameux “Fable-killer”.

Le cas pratique

J’aime bien aussi l’expérience que montre Chase AI dans sa vidéo. Il a fait créer un dashboard de voyage avec la planète en 3D aux trois modèles, avec les mêmes instructions. On obtient des informations concrètes à analyser.

Dans ce cadre là, Kimi K3 s’avère être un énorme consommateur de tokens. Pour la même demande, il a englouti 21,5 millions de tokens là où Fable 5 n’en a consommé que 3,5 millions. Donc oui, Fable coûte plus cher au token mais il a été drastiquement plus efficace. Le prix final ne reflète pas la simple grille tarifaire. GPT 5.6 s’avère même être le moins cher des trois.

Le temps d’exécution est un autre indicateur. Là où Kimi K3 a ramé pendant plus d’une heure et demie, Fable 5 a plié l’affaire en 17 minutes et ChatGPT en 25 minutes.

Attention, cette expérience est imparfaite et unique. Ça ne vaut aucune vérité. Il faut aussi voir la qualité du rendu (subjectif) et surtout avoir bien plus d’expériences. Et probablement avoir une approche plus scientifique. Je m’appuie simplement sur ces résultats pour démontrer qu’il faut relativiser.

Retour à la base

Tout ça pour rappeler quelque chose que j’aime bien dire : quel est notre besoin ? Selon ce que l’on souhaite entreprendre, on aura besoin d’un outil moins cher, d’un modèle qui hallucine moins, d’une exécution plus rapide ou d’une plus grande qualité. Et puis, il y a différents domaines - un modèle peut exceller en design frontend et être à la traîne sur des questions scientifiques ou de la rédaction pure.

Donc sortons du sensationnalisme facile. Apportons de la nuance et restons centrés sur nos besoins réels.