Quoi de neuf dans la Silicon Valley ?
Retour
Depuis mi-septembre 2024, les choses se sont accélérées dans le domaine du numérique avec une cadence très vive pour l'innovation et le déploiement de l'IA. Cela contraste avec le déclin de l'intérêt pour les autres technologies comme le métavers et les cryptomonnaies et la baisse des levées de fonds et des investissements dans la tech par les sociétés de capital-risque. Les valorisations trop élevées des startups d'IA inquiètent et les tickets d'entrée sont trop élevés pour beaucoup d'investisseurs. Il y a plutôt quelques gros deals. Le plus remarquable est la levée de 6,6 milliards de dollars par OpenAI. Ainsi, fait très rare, la société californienne de capital-risque CRV devrait rembourser 275 millions de dollars non utilisés à ses investisseurs sur les 500 M $ de son fond. D'un côté on voit l'emballement autour de l'IA, et de l'autre la décroissance de l'intérêt pour les autres techs : curieusement, l'expansion et la récession semblent se produire en même temps.
Selon Pitchbook, il n'y a actuellement rien de vraiment intéressant en dehors de l'IA pour les investisseurs de capital-risque.
L’activité mondiale de capital-risque a diminué au T3, confirmant que 2024 sera une autre année faible pour les investissements en capital-risque et les sorties (exits)
37,9 milliards de dollars ont été investis dans des startups basées aux États-Unis et le chiffre mondial était de 66,5 milliards de dollars au T3 2024 selon Crunchbase et Pitchbook/NVCA.
Ce dernier chiffre est en baisse de 16 % par rapport au T2 2024 et de 15 % par rapport aux 78 milliards de dollars comptabilisés pour les transactions mondiales de capital-risque au T3 2023.
Les startups d’IA sont celles qui ont clairement levé le plus de fonds. À l’échelle mondiale elles ont levé 19 milliards de dollars, ce qui représente un peu plus d’un quart de tous les investissements en capital-risque au troisième trimestre (28 %). Par ailleurs la concentration aux États-Unis était encore plus forte, les startups d’IA ayant levé 27 % du nombre total de transactions de capital-risque aux États-Unis au cours des trois premiers trimestres de 2024, et 36 % du total des dollars. Et les valorisations des sociétés d'IA sont 40% plus élevés que dans d'autres secteurs. Et cela sans tenir compte de la levée spectaculaire de 6,6 milliards de dollars par OpenAI pour une valorisation de 157 milliards de $.
Les modèles se spécialisent par type d'application ou par secteur d'activité la plupart des applications exploiteront plusieurs modèles en fonction du modèle qui convient le mieux à l’application et sont de plus en plus optimisées par type d'utilisation. Plutôt que d'utiliser des modèles sur étagère les développeurs vont de plus en plus personnaliser des modèles pré-entraînés pour coller à des besoins spécifiques. On observe aussi une décroissance importante du coup de déploiement de ces modèles qui laisse imaginer qu'un jour ils deviendront des produits de base ou presque.
Les agents, eux, sont des programmes autonomes capables d’effectuer et d’accomplir une tâche au nom de l’utilisateur avec des agents dans différents secteurs verticaux ainsi que des agents à usage général qui peuvent fonctionner dans des cas d’utilisation horizontales.
On estime que l'usage des agents va se populariser, se propager et ils qu'ils interagiront avec d’autres agents, en collaboration avec les humains.
Une composante importante de l'efficacité des agents est la mémoire car c'est un composant essentiel de la personnalisation. Cette capacité améliorera les expériences telles que le support client, en rendant les interactions plus pertinentes et adaptées aux besoins individuels. La mémoire pour l'IA est un thème d'actualité.
Les BigTech, à la recherche d’une électricité non polluante par le carbone pour leurs centres de données d'IA ont besoin de beaucoup d'énergie électrique et relancent ainsi l’énergie nucléaire aux États-Unis. Amazon et Microsoft ont chacun signé des accords majeurs cette année avec des centrales nucléaires aux États-Unis. Et Microsoft et Google ont tous deux manifesté leur intérêt pour la prochaine génération de petits réacteurs modulaires qui sont encore en développement.
Ces réacteurs de nouvelle génération ne devraient pas être prêts à être connectés au réseau électrique avant les années 2030 au plus tôt. Google regarderait aussi du côté du solaire.
Microsoft a signé un accord sur 20 ans pour acheter de l’électricité à la centrale nucléaire Three Mile Island, fermée depuis 1979. Le plan est de relancer l’usine d’ici 2028. L'accident historique de cette centrale nucléaire le 28 Mars 1979 est dans tous les esprits, comme celui de Fukushima au Japon. De ce fait, les acteurs de l'IA ont dû faire face à une certaine résistance.
Oracle a aussi annoncé la construction d'un datacenter de 800-megawatt et prépare un autre pour l'IA de plus d'un gigawatt qui sera alimenté par des réacteurs nucléaires. De son côté le CEO de Meta, Mark Zuckerberg, avait annoncé qu’un jour des data centers consommant des gigawatts seraient construits. Contrairement aux centres de données actuels, qui consomment environ (seulement !) 50 mégawatts d’énergie.
Le ministère de l’Énergie américain a publié un nouveau rapport prévoyant que la capacité nucléaire américaine pourrait tripler d’ici 2050. Après avoir stagné pendant des années, la demande d’électricité devrait augmenter aux États-Unis du fait des véhicules électriques, des nouveaux centres de données, du minage de cryptomonnaies et des usines. "Il est raisonnable de penser que les entreprises technologiques pourraient catalyser une nouvelle vague d’investissements dans le nucléaire, aux États-Unis et dans le monde."
Selon The Economist, au cours du premier semestre de cette année, plus d’argent a été consacré au financement des startups de puces IA qu’au cours des trois dernières combinées.
Il y a d'autres pistes de recherche pour baisser les coûts des puces IA. Par exemple l’exécution de l’IA sur les processeurs CPU classiques comme ceux des PCs ne serait pas une mission impossible.
Une startup pense qu’elle peut fabriquer un processeur CPU 100 fois plus rapide.
Selon Spectrum de l'IEEE le "Flow Computing" est une nouvelle architecture pour les processeurs à usage général (CPU) qui combine des cœurs conçus pour le traitement parallèle avec des cœurs à usage général. Elle vise à renforcer les unités centrales de traitement avec leurs "unités de traitement parallèle".
Les arguments en faveur de l’exécution de l’IA sur les processeurs CPU ne sont donc pas encore morts. Les GPU peuvent dominer, mais les CPU pourraient s'avérer adéquats pour les modèles d’IA plus petits.
Au lieu d’essayer d’accélérer le calcul en mettant 16 cœurs de processeur identiques dans, par exemple, un ordinateur portable, un fabricant pourrait mettre 4 cœurs de processeur standard et 64 de l’unité de traitement parallèle (PPU) de Flow Computing.
Le PPU offre une accélération dans les cas où la tâche de calcul est parallélisable, là où un processeur traditionnel n’est pas bien équipé pour tirer parti de ce parallélisme, mais le déporter vers quelque chose comme un GPU serait trop coûteux.
Ainsi, tout CPU peut potentiellement être boosté avec des PPUs. (source : Spectrum de l'IEEE)
Est également apparu un autre outil de programmation important basé sur l’IA : Cursor qui est une alternative bien appréciée à GitHub Copilot .
Selon O'Reilly, les deux nouveaux modèles d'OpenAI sont OpenAI o1-mini et o1-preview réduisent les erreurs et les hallucinations en implémentant le raisonnement par chaines de pensée. OpenAI, 01, est conçu pour mieux "raisonner", mais pas pour générer du texte.
Pixtral 12B de Mistral permet de mélanger des images avec du texte et des documents en entrée. Roblox a créé un modèle génératif qui construit des scènes 3D à partir d’invites textuelles.
Anthropic a annoncé Claude for Enterprise, qui offre des fenêtres contextuelles plus grandes, l’intégration de GitHub et des fonctionnalités de sécurité (authentification unique, accès basé sur les rôles, journaux d’audit et gestion des identités)
La course très onéreuse aux LMs toujours plus gros rend la compétition difficile. Ainsi la startup "pépite" allemande Aleph Alpha que l'on a comparée à la française Mistral a renoncé à construire des LLMs car bien trop onéreux. Elle se repositionne sur une sorte d'OS pour le déploiement de l'IA dans les entreprises.
Par ailleurs, pour les LLMs la tendance est à donner des possibilités de "raisonnement" à l'IAG mais il y a beaucoup de sceptiques.
La quantité et la qualité des informations utilisées pour l'entrainement des LLMs reste un problème avec la pollution des données créées par des systèmes de génération synthétiques par des IAs qui provoquent l'effondrement des modèles et une dégradation sévère des informations.
Les techniques d'affinage des réponses des LLMs comme Rag et Fine Tuning sont améliorées par l'approche "Chain Of Thought" ou chaines de pensée appliquée aux "invites".
Une intéressante réalisation de google sur son LLM Gemini: NotebookLM (gratuit) peut lire jusqu'à 50 de vos documents et sur cette base produire un Podcast très réaliste et simuler des conversations entre humains.
Enfin la Californie a tenté d'instaurer la loi SB 1047 règlementant la sécurité de l'IA avec un certain nombre de contraintes. Mais le Gouverneur de l'Etat, Gavin Newsom -pourtant démocrate- a apporté son veto face à la réprobation des milieux technologiques. La compétition des USA avec la Chine sur l'IA y est aussi pour quelque chose.
Georges Nahon
15 Octobre 2024
Analyste des technologies numériques et de la Silicon Valley, conférencier et auteur.
Précédemment directeur général d'Orange à San Francisco pendant quinze ans.
Les résultats du capital-risque au T3, 2024
Le capital risque est en baisse au T3 2024, mais l'IA domine largement alors que les sorties (exits) sont en berne.Selon Pitchbook, il n'y a actuellement rien de vraiment intéressant en dehors de l'IA pour les investisseurs de capital-risque.
L’activité mondiale de capital-risque a diminué au T3, confirmant que 2024 sera une autre année faible pour les investissements en capital-risque et les sorties (exits)
37,9 milliards de dollars ont été investis dans des startups basées aux États-Unis et le chiffre mondial était de 66,5 milliards de dollars au T3 2024 selon Crunchbase et Pitchbook/NVCA.
Ce dernier chiffre est en baisse de 16 % par rapport au T2 2024 et de 15 % par rapport aux 78 milliards de dollars comptabilisés pour les transactions mondiales de capital-risque au T3 2023.
Mais le financement de l’IA se poursuit avec intensité.
OpenAI ait annoncé le plus grand tour de financement par capital-risque de tous les temps : 6,6 milliards de dollars pour une valorisation de 157 milliards de dollars, ce qui fait qu’OpenAI vaut instantanément plus de ~90% du S&P 500. Elle a également mis en place une ligne de crédit renouvelable de 4 milliards de dollars, ce qui porte ses liquidités totales à plus de 10 milliards de dollars. Selon Crunchbase, OpenAI a maintenant levé un total de 21,9 milliards de dollars, y compris le financement par emprunt.Les startups d’IA sont celles qui ont clairement levé le plus de fonds. À l’échelle mondiale elles ont levé 19 milliards de dollars, ce qui représente un peu plus d’un quart de tous les investissements en capital-risque au troisième trimestre (28 %). Par ailleurs la concentration aux États-Unis était encore plus forte, les startups d’IA ayant levé 27 % du nombre total de transactions de capital-risque aux États-Unis au cours des trois premiers trimestres de 2024, et 36 % du total des dollars. Et les valorisations des sociétés d'IA sont 40% plus élevés que dans d'autres secteurs. Et cela sans tenir compte de la levée spectaculaire de 6,6 milliards de dollars par OpenAI pour une valorisation de 157 milliards de $.
Tendances pour l'IA
Le temps des expérimentations et POC est dépassé. La question est maintenant de savoir comment mettre l'IA en production avec des cas réels d'utilisation qui génèrent des retours sur investissement viables.Personnalisation et spécialisation et des modèles LLM ; émergence des usages multi-modèles
Une tendance se détache face à la prolifération rapide de modèles : c'est que l’avenir de l’IA comprendra de nombreux modèles, et qu’aucun modèle ne dominera à lui seul: la plupart des applications exploiteront plusieurs modèles en fonction du modèle qui convient le mieux à l’application.Les modèles se spécialisent par type d'application ou par secteur d'activité la plupart des applications exploiteront plusieurs modèles en fonction du modèle qui convient le mieux à l’application et sont de plus en plus optimisées par type d'utilisation. Plutôt que d'utiliser des modèles sur étagère les développeurs vont de plus en plus personnaliser des modèles pré-entraînés pour coller à des besoins spécifiques. On observe aussi une décroissance importante du coup de déploiement de ces modèles qui laisse imaginer qu'un jour ils deviendront des produits de base ou presque.
De la RAG (La génération augmentée de récupération) aux "agents" : l'IA "agentique"
Grâce à la capacité de consulter des bases de données ou des documents externes en temps réel, la RAG améliore la précision, la pertinence et la richesse du contenu généré par rapport à un LLM qui, lui, se base uniquement sur son entraînement préalable et ce, sans augmenter les coûts liés à un réentraînement complet du modèle (jusqu'à 100 millions de dollars -voire plus disent les experts .cf plus bas l'article de The Economist).Les agents, eux, sont des programmes autonomes capables d’effectuer et d’accomplir une tâche au nom de l’utilisateur avec des agents dans différents secteurs verticaux ainsi que des agents à usage général qui peuvent fonctionner dans des cas d’utilisation horizontales.
On estime que l'usage des agents va se populariser, se propager et ils qu'ils interagiront avec d’autres agents, en collaboration avec les humains.
Une composante importante de l'efficacité des agents est la mémoire car c'est un composant essentiel de la personnalisation. Cette capacité améliorera les expériences telles que le support client, en rendant les interactions plus pertinentes et adaptées aux besoins individuels. La mémoire pour l'IA est un thème d'actualité.
L'IA demande de plus en plus d'énergie électrique : la nouvelle course au nucléaire des BigIA
Selon The Economist, "les LLMs ont un vif appétit pour l’électricité. L’énergie utilisée pour entraîner le modèle GPT-4 d’OpenA1 aurait pu alimenter 50 foyers américains pendant un siècle. Et à mesure que les modèles deviennent plus grands, les coûts augmentent rapidement. Selon une estimation, les plus grands modèles d’aujourd’hui coûtent 100 millions de dollars à entrainer ; la prochaine génération pourrait coûter 1 milliard de dollars, et la suivante 10 milliards de dollars "Les BigTech, à la recherche d’une électricité non polluante par le carbone pour leurs centres de données d'IA ont besoin de beaucoup d'énergie électrique et relancent ainsi l’énergie nucléaire aux États-Unis. Amazon et Microsoft ont chacun signé des accords majeurs cette année avec des centrales nucléaires aux États-Unis. Et Microsoft et Google ont tous deux manifesté leur intérêt pour la prochaine génération de petits réacteurs modulaires qui sont encore en développement.
Ces réacteurs de nouvelle génération ne devraient pas être prêts à être connectés au réseau électrique avant les années 2030 au plus tôt. Google regarderait aussi du côté du solaire.
Microsoft a signé un accord sur 20 ans pour acheter de l’électricité à la centrale nucléaire Three Mile Island, fermée depuis 1979. Le plan est de relancer l’usine d’ici 2028. L'accident historique de cette centrale nucléaire le 28 Mars 1979 est dans tous les esprits, comme celui de Fukushima au Japon. De ce fait, les acteurs de l'IA ont dû faire face à une certaine résistance.
Oracle a aussi annoncé la construction d'un datacenter de 800-megawatt et prépare un autre pour l'IA de plus d'un gigawatt qui sera alimenté par des réacteurs nucléaires. De son côté le CEO de Meta, Mark Zuckerberg, avait annoncé qu’un jour des data centers consommant des gigawatts seraient construits. Contrairement aux centres de données actuels, qui consomment environ (seulement !) 50 mégawatts d’énergie.
Le ministère de l’Énergie américain a publié un nouveau rapport prévoyant que la capacité nucléaire américaine pourrait tripler d’ici 2050. Après avoir stagné pendant des années, la demande d’électricité devrait augmenter aux États-Unis du fait des véhicules électriques, des nouveaux centres de données, du minage de cryptomonnaies et des usines. "Il est raisonnable de penser que les entreprises technologiques pourraient catalyser une nouvelle vague d’investissements dans le nucléaire, aux États-Unis et dans le monde."
Du nouveau dans le silicium pour l'IA: le retour des CPUs classiques ?
A côté de la domination de Nvidia avec ses puces GPUs pour l'IA d'autres entreprises développent des puces spécialement conçues pour optimiser le fonctionnement des grands modèles de langages (LLMs). Par exemple des BigTech, Microsoft, Google, Amazon et également Cerebras qui va faire son introduction en bourse au NASDAQ.Selon The Economist, au cours du premier semestre de cette année, plus d’argent a été consacré au financement des startups de puces IA qu’au cours des trois dernières combinées.
Il y a d'autres pistes de recherche pour baisser les coûts des puces IA. Par exemple l’exécution de l’IA sur les processeurs CPU classiques comme ceux des PCs ne serait pas une mission impossible.
Une startup pense qu’elle peut fabriquer un processeur CPU 100 fois plus rapide.
Selon Spectrum de l'IEEE le "Flow Computing" est une nouvelle architecture pour les processeurs à usage général (CPU) qui combine des cœurs conçus pour le traitement parallèle avec des cœurs à usage général. Elle vise à renforcer les unités centrales de traitement avec leurs "unités de traitement parallèle".
Les arguments en faveur de l’exécution de l’IA sur les processeurs CPU ne sont donc pas encore morts. Les GPU peuvent dominer, mais les CPU pourraient s'avérer adéquats pour les modèles d’IA plus petits.
Au lieu d’essayer d’accélérer le calcul en mettant 16 cœurs de processeur identiques dans, par exemple, un ordinateur portable, un fabricant pourrait mettre 4 cœurs de processeur standard et 64 de l’unité de traitement parallèle (PPU) de Flow Computing.
Le PPU offre une accélération dans les cas où la tâche de calcul est parallélisable, là où un processeur traditionnel n’est pas bien équipé pour tirer parti de ce parallélisme, mais le déporter vers quelque chose comme un GPU serait trop coûteux.
Ainsi, tout CPU peut potentiellement être boosté avec des PPUs. (source : Spectrum de l'IEEE)
Le rythme élevé de lancement de nouveaux LLMs se poursuit.
On a vu apparaitre le Pixtral 12B multimodal de Mistral, les modèles o1 d’OpenAI et le modèle de Roblox pour la construction de scènes 3D.Est également apparu un autre outil de programmation important basé sur l’IA : Cursor qui est une alternative bien appréciée à GitHub Copilot .
Selon O'Reilly, les deux nouveaux modèles d'OpenAI sont OpenAI o1-mini et o1-preview réduisent les erreurs et les hallucinations en implémentant le raisonnement par chaines de pensée. OpenAI, 01, est conçu pour mieux "raisonner", mais pas pour générer du texte.
Pixtral 12B de Mistral permet de mélanger des images avec du texte et des documents en entrée. Roblox a créé un modèle génératif qui construit des scènes 3D à partir d’invites textuelles.
Anthropic a annoncé Claude for Enterprise, qui offre des fenêtres contextuelles plus grandes, l’intégration de GitHub et des fonctionnalités de sécurité (authentification unique, accès basé sur les rôles, journaux d’audit et gestion des identités)
La course très onéreuse aux LMs toujours plus gros rend la compétition difficile. Ainsi la startup "pépite" allemande Aleph Alpha que l'on a comparée à la française Mistral a renoncé à construire des LLMs car bien trop onéreux. Elle se repositionne sur une sorte d'OS pour le déploiement de l'IA dans les entreprises.
Les autres développements
La sécurité de l'IA reste une préoccupation très présente.Par ailleurs, pour les LLMs la tendance est à donner des possibilités de "raisonnement" à l'IAG mais il y a beaucoup de sceptiques.
La quantité et la qualité des informations utilisées pour l'entrainement des LLMs reste un problème avec la pollution des données créées par des systèmes de génération synthétiques par des IAs qui provoquent l'effondrement des modèles et une dégradation sévère des informations.
Les techniques d'affinage des réponses des LLMs comme Rag et Fine Tuning sont améliorées par l'approche "Chain Of Thought" ou chaines de pensée appliquée aux "invites".
Une intéressante réalisation de google sur son LLM Gemini: NotebookLM (gratuit) peut lire jusqu'à 50 de vos documents et sur cette base produire un Podcast très réaliste et simuler des conversations entre humains.
Enfin la Californie a tenté d'instaurer la loi SB 1047 règlementant la sécurité de l'IA avec un certain nombre de contraintes. Mais le Gouverneur de l'Etat, Gavin Newsom -pourtant démocrate- a apporté son veto face à la réprobation des milieux technologiques. La compétition des USA avec la Chine sur l'IA y est aussi pour quelque chose.
En conclusion
Le moins que l'on puisse dire c'est qu'à la rentrée 2024, l'IA domine le secteur du numérique, du financement aux innovations. Il faut s'attendre à de nouvelles avancées majeures avec une adoption croissante par les acteurs de l'économie. Mais il faudra aussi que les chiffres d'affaires et les ROIs soient au rendez-vous. Pas trop tard.Georges Nahon
15 Octobre 2024
Analyste des technologies numériques et de la Silicon Valley, conférencier et auteur.
Précédemment directeur général d'Orange à San Francisco pendant quinze ans.
Autres articles sur le même thème
Quoi de neuf dans la Silicon Valley ?
Trump 2.0 et la tech américaine
par Georges Nahon
par Georges Nahon
Mag #19
Lire l'article
Quoi de neuf dans la Silicon Valley ?
Les sceptiques de l'IA ont dominé les médias pendant l'été technologique 2024 Bulle ou pas Bulle ? Et quel ROI ?
Mag #17
Lire l'article
