Baidu a annoncé ce mardi 27 juin que son intelligence artificielle (IA) générative, ERNIE Bot, serait plus puissante que ChatGPT d’OpenAI dans plusieurs domaines clés. Elle est désormais capable d’être intégrée dans des applications chinoises.

ERNIE doit encore faire des progrès dans le domaine des sciences

Le 16 mars dernier, devant deux millions de spectateurs sur WeChat, Robin Li, fondateur du moteur de recherche chinois Baidu, a présenté les performances de son IA baptisée ERNIE Bot. Après la conférence d’une cinquantaine de minutes, la valeur de l’action de l’entreprise a chuté de plus de 6 % à la Bourse de Hong Kong. Aucun bug, ni erreur n’ont été détectés lors de cet événement. Les investisseurs n’ont tout simplement pas aimé le manque de prise de risque autant que le manque d’innovation de l’entreprise.

Sur scène, Robin Li avait reconnu lui-même « Je ne peux pas dire que nous sommes tout à fait prêts. L’analyse comparative d’ERNIE Bot par rapport à ChatGPT, ou même GPT-4 est une barre haute ». Aujourd’hui, cela semble avoir changé. Baidu a annoncé dans un communiqué la nouvelle version de son IA, ERNIE 3.5.

« Trois mois seulement après la sortie d’ERNIE Bot, le grand modèle de langage de Baidu basé sur ERNIE 3.0, sa nouvelle version, ERNIE 3.5 a réalisé de vastes améliorations en termes d’efficacité, de fonctionnalité et de performances » déclare l’entreprise. Elle ajoute qu’ERNIE 3.5 a dépassé ChatGPT dans un certain nombre de tests de référence.

L’entreprise affirme que les tests étaient basés sur des examens d’admission et de qualification standard pour entrer à l’université ou encore devenir avocat. Les résultats publiés dans le China Daily Science indiquent que l’IA de Baidu a atteint un score de 57.11, contre 44.73 pour ChatGPT dans le test AGIEval. Un ensemble d’évaluations créé par Microsoft pour déterminer le niveau de performance d’une IA dans 20 examens de hauts niveaux scolaires.

Sur l’ensemble des tests, GPT-4, le modèle le plus récent et le plus avancé d’OpenAI, bat sans aucun problème les performances de ERNIE. L’IA chinoise parvient, tout de même, à tirer son épingle du jeu dans une évaluation de langue chinoise contenant plus de 13 000 questions à choix multiples sur plus de 50 sujets différents. Elle obtient un score de 71.93 contre 68.57 pour GPT-4 et 51.70 pour sa version antérieure. ERNIE doit, cependant, progresser sur le sujet des sciences globales et notamment sur les sciences humaines où elle a obtenu un score largement inférieur à celles d’OpenAI.

Dans son communiqué, Baidu affirme que son IA est désormais prête à être exploitée à travers des applications. « Toute application impliquant du langage, du texte ou du code peut potentiellement utiliser ERNIE Bot » avance l’entreprise. Si l’entreprise souhaite améliorer davantage son IA, elle devra être attentive à la situation géopolitique entre la Chine et les États-Unis. Depuis quelques mois, les sociétés de l’Empire du Milieu ont été placées sur l’Entity List, la liste noire du département du Commerce américain. Elles ne peuvent plus acheter des puces suffisamment puissantes pour entraîner et faire fonctionner de puissantes IA. Leader du marché, Nvidia a tout de même développé des composants suffisamment bridés pour être exportés.