jakiro
L’ancien PDG de Google, Eric Schmidt, qui est « ni un employé de Google maintenant », l’a partagé à Stanford il n’y a pas longtemps.
La part a été filmée comme une vidéo téléchargée sur le compte officiel de la classe de Stanford en ligne YouTube, qui comprenait plus de 40 minutes de la session de Schmidt avec l’étudiant Q & amp; a.
Parce que les opinions sont trop directes et que les mots sont trop réalistes, le partage de Schmidt est à l’actualité.
Le compte officiel de Stanford a caché toutes les vidéos.
Enfin, Schmidt s’est excusé pour les « remarques d’erreur » dans une interview par e-mail.
Blogueur technologique bien connuLanxiLe contenu clé partagé par Schmidt, TLDR, est résumé.Les questions et réponses à temps plein de Schmidt sont également jointes à la fin de l’article.
Pourquoi Google est-il maintenant supprimé par Openai dans le domaine de l’IA?Parce que Google estime que ramener les employés à la maison tôt et équilibrer leur travail est plus important que gagner la compétition.Si vos employés ne viennent que l’entreprise pour travailler un jour par semaine, comment pourriez-vous comparer à Openai ou anthropic?
Regardez Musk, regardez TSMC. Les doctorants aux États-Unis se rendent-ils à la chaîne de montage?
J’ai fait de nombreuses erreurs, telles que je pensais que Cuda de Nvidia était un langage de programmation stupide, mais maintenant Cuda est le plus génial de Nvidia. Cela ne peut pas être ébranlé par d’autres puces.
Je me suis également senti incroyable lorsque Microsoft a coopéré avec Openai. sont vraiment tous bureaucratiques, et toutes les difficultés démarrent une entreprise.
Tiktok enseigne aux Américains une leçon. L’argent pour embaucher les meilleurs avocats vous aide à essuyer vos fesses, et si vous ne le faites pas, personne ne vous poursuivra.
Le Stargate d’Openai a déclaré que cela coûterait 100 milliards de dollars au cours de sa publicité, mais en fait, il pourrait ne pas être en mesure d’attraper 300 milliards de dollars. De bonnes relations avec le Canada à l’avenir, ont des ressources en eau et en électricité abondantes et ont la main-d’œuvre.
L’Europe a disparu, Bruxelles (l’emplacement du siège de l’UE) a détruit des opportunités d’innovation technologique. «Les alliés et les États-Unis ont perdu la Chine.
L’open source est très bonne. investi dans, sera converti en une voie de source fermée.
L’IA rendra les riches plus riches et les plus pauvres, tout comme le pays.
Les puces AI appartiennent à l’industrie de la fabrication haut de gamme, avec une valeur élevée, mais il est peu probable qu’ils stimulent l’emploi. Et sale, donc ne vous attendez pas à l’industrie manufacturière.
Historiquement, après l’introduction de l’électricité dans les usines, aucune productivité n’a été créée que les moteurs à vapeur.L’IA d’aujourd’hui est aussi précieuse que la puissance de l’original, mais elle nécessite toujours l’innovation organisationnelle pour vraiment obtenir des rendements énormes.
Cliquez pour suivre pour découvrir plus d’entrepreneurs d’IA
1 et 1Trois technologies d’IA qui changeront l’avenir
Hôte: Que pensez-vous du développement de l’IA à court terme?La définition à court terme de vous devrait être la prochaine ou deux ans, non?
Eric Schmidt: Les choses vont trop vite, et j’ai l’impression que tous les six mois, je dois à nouveau prononcer un discours sur l’avenir.Y a-t-il une majeure en informatique ici?Quelqu’un peut-il vous expliquer quelle est une fenêtre de contexte de jeton à un million?
public: Le sens de base est que demander une invite peut utiliser un million de jetons ou un million de mots, ou quelque chose de similaire.
Eric Schmidt: Ainsi, un million de jeton signifie que vous pouvez poser une question d’une longueur de million de mots.
public: Oui, je sais que c’est une grande direction pour les Gémeaux pour le moment.
Introduction au site officiel de Gemini (la traduction chinoise est un effet de plug-in, grâce à la traduction immersive)
Eric Schmidt: Non, leur objectif est d’atteindre dix millions.Anthropic a atteint 200 000 et se développe toujours.L’objectif est d’un million ou plus, et il est concevable qu’Openai ait des objectifs similaires.Quelqu’un peut-il nous donner une définition technique et expliquer ce qu’est un agent d’IA?
public: L’agent AI doit effectuer des tâches en ligne, acheter des choses en votre nom et diverses opérations similaires.
Eric Schmidt: Ainsi, l’agent est quelque chose qui effectue une certaine tâche, et une autre définition est un modèle grand langage avec des fonctions de mémoire.Permettez-moi de poser une autre question, un étudiant en informatique, quelqu’un peut-il expliquer ce qu’est le texte à l’action?
public: Cela signifie élargir le texte à plus de texte, entrer du texte, puis l’IA déclenche les opérations en fonction du texte.
Eric Schmidt: Une autre définition consiste à convertir le langage en python – un langage de programmation que je n’aurais jamais pensé continuer à survivre.Mais maintenant, tout dans l’IA est fait à Python.Récemment, il y a une nouvelle langue qui vient d’être publiée intitulée Mojo, qui semble enfin résoudre le problème de la programmation de l’IA, mais nous devons également voir s’il peut survivre dans la situation de Python.
Permettez-moi de poser une autre question technique, pourquoi Nvidia vaut-elle 2 billions de dollars tandis que d’autres entreprises sont en difficulté?
public: Pour des raisons techniques.Je pense que cela est principalement dû à l’optimisation du code en cours d’exécution.La plupart du code doit actuellement s’exécuter dans un environnement optimisé, et actuellement seul le GPU de Nvidia peut le faire.En fait, d’autres entreprises ont la capacité de développer diverses technologies et peuvent avoir jusqu’à dix ans d’expérience en développement de logiciels, mais elles n’ont pas d’équipes qui optimisent spécifiquement pour l’apprentissage automatique.
Eric Schmidt: J’aime considérer Cuda comme la langue C du GPU.C’est ma façon de comprendre préférée.Il est né en 2008 et j’ai toujours pensé que c’était une mauvaise langue, mais il est devenu courant.Il y a maintenant un ensemble complet de bibliothèques open source, toutes très optimisées pour CUDA.Ceci est ignoré par tous ceux qui construisent ces piles technologiques.Nous l’appelons la technologie VLM, ainsi que d’autres bibliothèques open source similaires, elles sont toutes optimisées pour CUDA.C’est difficile à reproduire pour les concurrents.
Que signifie ce qui précède?
Au cours de la prochaine année, vous verrez les capacités des fenêtres, des agents et du texte-action de texte plus grand.Lorsqu’ils sont appliqués à grande échelle, l’impact sera encore plus élevé que l’énorme impact des médias sociaux que nous voyons maintenant, du moins à mon avis.Dans la fenêtre de contexte, vous pouvez l’utiliser comme mémoire à court terme, et il est choquant d’être si grand, et le service techniquement et l’informatique sont très complexes.
La chose intéressante à propos de la mémoire à court terme est de le laisser lire 20 livres, de saisir le texte de ces livres comme une question et de le laisser vous dire ce qu’est le livre.Le cerveau humain oublie la partie centrale.Il y a des gens qui construisent maintenant des agents LLM de base.La façon dont ils fonctionnent est, par exemple, de lire le contenu de la chimie, de découvrir les principes de chimie, puis de le tester, puis d’ajouter les résultats à leur compréhension.C’est très puissant.
Le troisième point est le texte à l’action que j’ai mentionné.Par exemple, le gouvernement envisage maintenant d’interdire Tiktok.Nous ne savons pas si cela se produira.Si Tiktok est banni, je vous suggère de dire à votre LLM: Copiez un tiktok, obtenez tous les utilisateurs, obtenez toute la musique, rejoignez mes préférences, générez et publiez dans les 30 secondes.S’il n’y a pas de feu dans l’heure, puis passez à une approche similaire, c’est la commande.Bang Bang Bang, cela sera fait immédiatement.
Est-ce que tu comprends?Si vous pouvez générer directement des instructions numériques à partir de n’importe quelle langue, c’est essentiellement ce que fait Python dans ce scénario.Imaginez que tout le monde a un programmeur qui peut travailler comme vous le demandez, et plus ceux qui travaillent pour moi mais sont désobéissants.(Rires) Les programmeurs savent tous de quoi je parle.Imaginez un programmeur qui n’est pas arrogant et fait ce que vous demandez sans payer autant d’argent.Et ces programmeurs sont disponibles illimités.Et ceux-ci …
hôte: Il sera réalisé dans les prochaines années.
Eric Schmidt: Il sera réalisé bientôt.Je suis très confiant qu’ils se produiront dans la prochaine vague de technologie.
Écouteur: Vous avez mentionné que la combinaison de fenêtres de contexte étendu, de proxy et de texte-action aura des effets inimaginables.Premièrement, pourquoi ces combinaisons sont-elles importantes?Deuxièmement, je sais que vous ne pouvez pas prédire l’avenir, mais pourquoi pensez-vous que cela sera au-delà de notre imagination actuelle?
Eric Schmidt: Je pense que c’est principalement parce que les fenêtres de contexte étendu peuvent résoudre le problème de la rapidité.Les modèles d’IA actuels mettent environ un an pour s’entraîner, y compris 6 mois de préparation, 6 mois de formation et 6 mois de réglage fin, ils sont donc toujours un peu à la traîne.Mais la fenêtre de contexte étendu vous permet de saisir les dernières informations, qui est très puissante et peut être mise à jour en temps réel comme Google.
En ce qui concerne le modèle des agents, je donne un exemple.J’ai construit une fondation, financé un organisme à but non lucratif, et ils ont commencé un projet avec un outil appelé ChemCrow, un système basé sur un modèle de langue large pour apprendre la chimie.Ils utilisent ce système pour générer des hypothèses chimiques sur les protéines, puis le laboratoire fera des tests la nuit, et le système continuera d’apprendre.Cela a considérablement accéléré les progrès de la recherche dans les domaines de la chimie et de la science des matériaux.
Je pense que le « texte à l’action » peut être compris comme l’effet apporté par un grand nombre de programmeurs bon marché.Mais je ne pense pas que nous comprenons vraiment ce qui se passe lorsque tout le monde a son propre programmeur.
Vous pouvez imaginer un scénario, comme si vous n’aimez pas Google.Disons simplement, aidez-moi à créer un concurrent Google, à la recherche de pages Web, à créer des interfaces, à ajouter une AI générative et à le faire en 30 secondes.Ces sociétés établies, comme Google, sont susceptibles d’être menacées par de telles attaques, et nous verrons.
2« Je ne suis plus un employé de Google. »
hôte: Vous avez travaillé chez Google pendant de nombreuses années, et ils ont inventé l’architecture du transformateur, et Peter (Peter Norvig, ancien directeur de l’ingénierie chez Google Research) est l’un des principaux.Merci à des gens intelligents comme Peter et Jeff Dean.Mais maintenant, Google semble avoir perdu son avantage dans l’initiative, et Openai s’est rattrapé.Claude d’Anthropic est disponible dans les derniers classements que j’ai vus.J’ai demandé à Sundar (Sandar Pichai) et il ne m’a pas donné de réponse définitive.Peut-être que vous avez une explication plus claire ou objective sur ce qui s’est passé exactement là-bas.
Eric Schmidt: Je ne suis plus un employé de Google.Franchement, Google accorde plus d’attention à l’équilibre entre vie professionnelle et vie privée, sortir du travail tôt et travailler à domicile semble être plus important que de remporter une bataille.Le secret du succès d’une startup est que les employés travaillent dur.Je suis désolé, c’est tellement simple, mais c’est la vérité.Si vous démarrez une entreprise après l’obtention du diplôme, vous ne laisserz pas les employés ne venir à l’entreprise un jour par semaine et travailler à domicile la plupart du temps.Cela ne fonctionnera pas si vous souhaitez rivaliser avec d’autres startups.
hôte: La situation précoce de Google est très similaire à Microsoft à ce moment-là …
Eric Schmidt:Oui.
Dans notre industrie, il y a un phénomène commun:Certaines entreprises ont remporté le marché d’une manière très innovante, dominant complètement un domaine, mais ne passant à la prochaine étape en douceur.
Il existe de nombreuses situations de ce type.Je pense que les fondateurs sont importants, et c’est un problème très important, ils sont à la tête de l’entreprise.Bien que les fondateurs soient souvent difficiles à s’entendre et à exiger leurs employés, ils poussent également l’entreprise vers l’avant.
Bien que nous ne soyons peut-être pas aimer certains des comportements personnels d’Elon, regardez ce qu’il fait au travail.Le jour où j’ai dîné avec lui, il a continué à voler dans les deux sens.J’étais au Montana et il s’envoyait pour la réunion tôt le matin avec XAI à 10 heures ce soir-là.
Quand je suis allé à Taiwan, j’ai senti que différents endroits avaient des cultures différentes.Pouvez-vous imaginer laisser un doctorat aux États-Unis faire ce genre de travail?Presque impossible.
Les résultats du travail sont différents.La raison pour laquelle je suis si sévère à propos du travail est à cause de l’effet réseau de ces systèmes.Le temps est très critique, et dans la plupart des industries, le temps n’est pas si important, ils ont assez de temps.Coca-Cola et Pepsi existeront toujours, et la concurrence entre les deux continuera, changeant lentement comme les glaciers.
Lorsque je travaille avec une entreprise de télécommunications, il faut 18 mois pour qu’un contrat de télécommunications général soit signé.Je ne pense pas que ce soit nécessaire pendant cette longue, les choses devraient être faites dès que possible.Nous sommes maintenant au sommet de la croissance et des gains, et nous avons encore besoin de quelques idées folles.
Par exemple, lorsque Microsoft a décidé de travailler avec Openai, j’ai pensé que c’était l’une des idées les plus stupides.Il était incroyable que Microsoft ait remis le leadership de l’IA aux équipes d’Openai et de Sam.Aujourd’hui, cependant, ils deviennent progressivement l’une des entreprises les plus précieuses, comparables à la concurrence d’Apple.Apple n’a pas de bonne solution pour l’IA, et il semble que la stratégie de Microsoft ait fonctionné.
3 et 3L’écart dans le modèle s’élargit
Eric Schmidt: Vous venez de demander, ce qui se passera ensuite, tous les six mois, mes pensées fluctueront.Nous sommes maintenant dans une fluctuation périodique de l’Odd et même de l’oscillation.À l’heure actuelle, l’écart entre les modèles de pointe – sur trois modèles maintenant – et d’autres modèles semblent s’élargir.Il y a six mois, je pensais que l’écart se rétrécit, alors j’ai investi beaucoup d’argent pour certaines petites entreprises, mais maintenant je n’en suis pas si sûr.
J’ai commencé à parler à de grandes entreprises, et les grandes entreprises m’ont ditIls ont besoin de 10 milliards, 20 milliards, 50 milliards, voire 100 milliards de fonds.
Hôte: L’objectif est de 100 milliards, non?
Eric Schmidt: Oui, c’est très difficile.Sam Altman et moi sommes de bons amis, et il pense que cela pourrait prendre 300 milliards, ou plus.Je lui ai dit que j’avais calculé le pouvoir nécessaire.Je suis allé à la Maison Blanche vendredi dernier et je lui ai dit ouvertement que nous devons avoir une bonne relation avec le Canada parce que le Canada est non seulement bon, mais aussi aidé à inventer l’IA et a beaucoup de ressources d’eau et d’électricité.Et notre pays n’a pas assez d’électricité pour soutenir ce développement.
Une autre option consiste à faire contribuer les pays arabes.Personnellement, j’aime l’Arabie et je suis là depuis longtemps.Mais ils ne respecteront pas nos règles de sécurité nationale, et le Canada et les États-Unis pourront travailler ensemble.
hôte: C’est exact.Ces centres de données d’une valeur de 100 milliards et 300 milliards,L’électricité deviendra une ressource rare.
Eric Schmidt:Oui.Suivant cette idée, si 300 milliards sont investis dans Nvidia, savez-vous quelles actions acheter, non?(Rires) Bien sûr, je ne recommande pas les actions.
hôte: C’est exact.Nous aurons besoin de plus de jetons, Intel obtient beaucoup d’argent du gouvernement américain, et AMD, ils travaillent tous pour construire des usines de puces.
Eric Schmidt: S’il y a un appareil utilisant des puces Intel sur site, veuillez le lever la main (l’auditeur lève la main).Son monopole semble s’être terminé ici.
hôte: Intel était en effet un monopole.Et maintenant, c’est le monopole de Nvidia.Alors, y a-t-il d’autres sociétés qui peuvent faire des obstacles techniques comme CUDA?J’ai parlé à un autre entrepreneur il y a quelques jours qu’il basculerait entre les puces TPU et NVIDIA en fonction des ressources qu’il pourrait obtenir.
Eric Schmidt: Parce qu’il n’a pas d’autre choix.S’il avait des fonds illimités, il choisirait certainement l’architecture B200 de Nvidia aujourd’hui parce que c’est plus rapide.Je ne suggère rien, la compétition est bien sûr une bonne chose.J’ai discuté en détail avec Lisa Sue d’AMD.Ils s’améliorent toujours.
4Nous vivrons une énorme bulle,Ensuite, le marché s’ajustera
Écouteur: Vous êtes très optimiste quant aux perspectives de l’IA.Selon vous, qu’est-ce qui motive ces progrès?Est-ce plus d’argent?Ou plus de données?Ou une percée technologique?
Eric Schmidt: Je regarde essentiellement tous les projets, car je ne peux pas dire lequel peut réussir.De plus, il y a maintenant beaucoup de fonds qui m’approchent.Je pense qu’une partie de la raison est que les premiers investissements ont fait de l’argent. .Ils ne peuvent pas faire la différence entre le bien et le mal.L’IA que je comprends est le type de système qui peut vraiment apprendre, et je pense que cela compte.
De plus, il existe maintenant de nouveaux algorithmes très avancés qui ne se limitent plus à l’architecture du transformateur.J’ai un ami, qui est également mon partenaire à long terme, qui a fait une toute nouvelle architecture non transformatrice.
Enfin, il est largement cru au marché que le développement de technologies intelligentes apportera d’énormes rendements.Par exemple, si vous investissez 50 milliards de dollars dans une entreprise, vous voulez vraiment gagner beaucoup d’argent grâce à la technologie intelligente.Nous pouvons donc vivre une énorme bulle d’investissement et le marché s’adaptera.Cela a toujours été comme ça dans le passé, et cela ne fait peut-être pas exception maintenant.
hôte: Vous avez déjà mentionné que les principales sociétés se rapprochent de plus en plus.
Eric Schmidt: Oui, c’est en effet le cas maintenant.Il y a une entreprise appelée Mistral en France, et ils font du bon travail et j’y ai investi.Ils ont lancé une deuxième édition du modèle, mais la troisième édition peut être fermée car le coût est trop élevé.Ils ont besoin de revenus et ne peuvent plus fournir des modèles gratuitement.
Le débat entre l’open source et la source fermée est très féroce dans notre industrie.Toute ma carrière personnelle a été basée sur la volonté des gens de partager des logiciels open source.Le travail technique que je fais est l’open source, et bon nombre des technologies de base de Google sont également open source.Mais maintenant ça peutParce que le coût du capital est trop élevé, la façon dont le développement logiciel peut subir des changements fondamentaux.
Je pense personnellement que la productivité des programmeurs de logiciels sera au moins doubler.Il y a maintenant trois ou quatre sociétés de logiciels qui travaillent dur pour atteindre cet objectif, et j’ai investi dans ces sociétés.Leur objectif est d’améliorer l’efficacité des programmeurs logiciels.Une entreprise très intéressante que j’ai rencontrée récemment appelée Augment.Je pense toujours aux programmeurs individuels, mais leur objectif est en fait les grandes équipes logicielles qui peuvent avoir des millions de lignes de code, mais personne ne peut déterminer les détails de l’exécution de tout le code.Ce problème est très adapté à la résolution avec l’IA.Peuvent-ils gagner de l’argent?J’espère que cela peut.
hôte: Donc, il y a encore de nombreux problèmes à discuter.
Public: Je ne pense pas qu’il y ait beaucoup de discussions sur les architectures non transformatrices, mais maintenant ils ont fait plus de progrès.
Eric Schmidt: Je n’ai pas une compréhension approfondie des mathématiques, et les mathématiques ici sont très compliquées.Mais fondamentalement, ils utilisent différentes méthodes pour faire de la multiplication de la descente et de la matrice, ce qui est plus rapide et meilleur.Transformers est un moyen systématique d’effectuer des opérations de multiplication en même temps, donc je le comprends.C’est similaire à cela, mais les principes mathématiques sont différents.
Écouteur: Vous êtes ingénieur et compte tenu des capacités que ces modèles peuvent avoir à l’avenir, avons-nous encore besoin de passer du temps à apprendre la programmation?
Eric Schmidt: C’est comme si vous saviez déjà parler anglais, pourquoi avez-vous encore besoin de continuer à apprendre l’anglais?L’apprentissage peut toujours faire en sorte que les gens fassent un pas en avant.Vous devez comprendre comment ces systèmes fonctionnent.
5L’informatique distribuée ne peut pas le résoudreProblèmes de puissance de calcul dans l’IA
Écouteur: Deux questions simples: Premièrement, l’impact économique des modèles de grande langue est-il plus lent que l’impact du marché que vous attendiez au début?Deuxièmement, pensez-vous que la communauté universitaire devrait recevoir des subventions en IA?Ou devrions-nous coopérer avec les grandes entreprises?
Eric Schmidt: J’ai travaillé dur pour construire un centre de données pour l’université.Si j’étais professeur au département d’informatique ici, je serais très insatisfait parce que je ne pouvais pas développer ces algorithmes avec des étudiants diplômés et j’ai été contraint de coopérer avec ces grandes entreprises.À mon avis, ces entreprises n’en font pas assez à cet égard.J’ai parlé à certains professeurs et beaucoup d’entre eux doivent passer beaucoup de temps à attendre les quotas d’utilisation de Google Cloud.C’est un domaine prospère, et la bonne façon de le faire est de fournir des ressources à l’université, et je travaille dur pour promouvoir cela.
Quant à l’impact du marché du travail que vous avez mentionné, je crois essentiellement que l’enseignement collégial et les travaux connexes très qualifiés devraient être bien parce que les gens travailleront avec ces systèmes.Je pense que ces systèmes ne sont pas différents de la vague de technologie précédente, et les emplois et les emplois dangereux qui ne nécessitent pas de jugement humain seront finalement remplacés.
Écouteur: Avez-vous déjà étudié les environnements distribués?J’ai demandé cela car il est difficile de construire un grand cluster, mais le MacBook est toujours très puissant.Il y a beaucoup de petites machines partout dans le monde.Pensez-vous que des idées comme plier @ home peuvent être utilisées pour la formation?
Remarque: « pliing @ home » est un projet qui utilise des ressources informatiques distribuées globales, en utilisant les ressources inactives des ordinateurs des participants mondiaux pour effectuer des calculs de repliement des protéines.
Eric Schmidt: Les environnements distribués sont en effet un défi.Il n’est en effet pas facile de construire un grand cluster, mais chaque MacBook a sa propre puissance de calcul.Il y a tellement de petites machines dans le monde, et l’idée de les unir a du potentiel.Cela peut être utilisé pour la formation, mais il y a encore de nombreux détails techniques à résoudre.
Nous avons étudié ce problème en profondeur, et le principe de travail de ces algorithmes est le suivant: vous avez une très grande matrice, qui est essentiellement la multiplication.Vous pouvez imaginer que ce processus est répété.Les performances de ces systèmes dépend entièrement de la vitesse de transfert des données de la mémoire au CPU ou au GPU.En fait, les puces de nouvelle génération de NVIDIA ont intégré ces fonctions dans une puce.De plus, le processus d’emballage est très fin et la puce et l’emballage sont complétés dans une salle blanche.Donc, à l’heure actuelle, l’interconnexion entre les superordinateurs et la transmission de la vitesse de lumière, en particulier la mémoire, est le facteur clé.Par conséquent, je ne pense pas qu’il soit possible de réaliser ce que vous avez dit à court terme.
Hôte: Est-il possible de séparer le modèle de grande langue?
Eric Schmidt: Pour ce faire, vous devez avoir des millions de ces modèles.Et la façon dont vous posez des questions sera très lente.
6.À l’avenir, nous ne comprenons peut-être pas l’IA.Mais ils doivent être connus
hôte: Je veux changer le sujet et parler de quelque chose de philosophique.L’année dernière, vous et Henry Kissinger et Daniel HuttenlocherÉcrivez un article ensemble, explore la nature des connaissances et son évolution.J’ai également parlé aux autres de ce sujet récemment.Votre article indique que les modèles deviennent de plus en plus complexes et difficiles à comprendre, afin que nous ne soyons plus aussi clairs sur leurs mécanismes internes.
Feynman a dit un jour,« Je ne peux pas comprendre ce que je ne peux pas créer.«J’ai mentionné cette phrase récemment, mais à l’heure actuelle, les gens semblent créer quelque chose qu’ils ne comprennent même pas.Cela signifie-t-il que notre compréhension des connaissances change?Devons-nous commencer à accepter les conclusions de ces modèles, même s’ils ne peuvent pas donner des explications claires?
Eric Schmidt: Permettez-moi de vous donner un exemple, c’est un peu comme un jeune homme.Si vous avez des adolescents dans votre famille, vous savez que ce sont des humains, mais vous ne savez pas toujours ce qu’ils pensent.Cependant, notre société a appris à s’adapter à leur existence et sait qu’ils finiront par mûrir.Ainsi, nous pouvons avoir un système de connaissances,Nous ne pouvons pas comprendre pleinement, mais nous pouvons comprendre leurs limites.Nous savons ce qu’ils peuvent faire et ce qu’ils ne peuvent pas faire.C’est peut-être le meilleur résultat que nous pouvons nous attendre.
Hôte: Pensez-vous que nous pouvons saisir ces restrictions?
Eric Schmidt: Je pense que nous pouvons le gérer.La petite équipe dont nous discutons chaque semaine estime que nous pouvons utiliser ce type de technologie de l’IA conflictuelle à l’avenir.Imaginez qu’à l’avenir, il y aura des entreprises qui se spécialiseront dans cela. AI.Toute l’industrie s’engagera dans une telle IA contre l’IA, en particulier les parties que nous ne comprenons pas très bien.Je pense que c’est assez fiable.Stanford peut également considérer cette direction.Si un étudiant diplômé s’intéresse à la façon de casser ces grands modèles et d’étudier comment il fonctionne, c’est un bon point de compétence pour eux.Je pense donc que ces deux choses s’amélioreront ensemble.
Public: Vous avez mentionné les commentaires liés à une IA de confrontation.Quels sont les principaux défis pour que l’IA fasse vraiment ce que nous voulons?
Eric Schmidt: Il est en effet nécessaire d’améliorer les modèles de performances supérieures.Vous devez supposer que, à mesure que la technologie progresse, l’hallucination de l’IA diminuera, même si je ne dis pas qu’elle disparaîtra complètement.Vous devez également supposer qu’il existe un moyen de vérifier l’effet, nous devons donc savoir si les résultats ont répondu aux attentes.
Par exemple, l’exemple des concurrents Tiktok que je viens de mentionner.Soit dit en passant, je ne vous suggère pas de voler illégalement la musique de tout le monde.Si vous êtes un entrepreneur dans la Silicon Valley – j’espère que vous deviendrez tous de tels entrepreneurs –Si votre produit devient populaire, vous embaucherez un grand nombre d’avocats pour vous aider à résoudre le problème;.Mais ne prenez pas mes mots au sérieux.
La Silicon Valley effectuera ces tests et résoudra ces problèmes.C’est ainsi que nous y faisons habituellement.Je crois donc qu’à l’avenir, nous verrons de plus en plus de systèmes à haute performance, et les tests deviendront de plus en plus raffinés, et il y aura éventuellement des tests contradictoires pour garantir que l’IA se situe dans une fourchette contrôlable.Techniquement, nous l’appelons « raisonnement de pensée en chaîne ».Il est prévu que dans les prochaines années, vous pourrez générer 1000 étapes de raisonnement en chaîne, tout comme la cuisson par des recettes.Vous pouvez suivre la recette étape par étape, puis vérifier que le résultat final est correct.C’est ainsi que le système fonctionne.À moins que vous ne jouiez au jeu, bien sûr.
7Les fausses informations semblent insolubles à court terme
Auditeurs: Comment empêcher l’IA de créer de fausses informations dans l’opinion publique, en particulier dans les prochaines élections?Y a-t-il une solution à court et à long terme?
Eric Schmidt: Dans les prochaines élections, et même dans le monde, la plupart des fausses informations seront réparties via les médias sociaux, et les sociétés de médias sociaux n’ont pas assez de pouvoir pour gérer ces informations pour le moment.Si vous regardez Tiktok, certaines personnes critiquent Tiktok pour avoir été biaisé vers une sorte de fausse information plutôt que d’une autre.J’ai l’impression que nous sommes en désordre à cet égard et nous devons apprendre à penser de manière critique.Cela peut être un défi difficile, mais juste quelqu’un vous dit que quelque chose ne signifie pas que c’est vrai.
Écouteur: Allez-vous à l’autre extrême?Personne ne croit la vérité?Certaines personnes résument ce phénomène comme une «crise épistémologique».
Eric Schmidt: Je pense que nous sommes confrontés à une crise de confiance maintenant.Je pense que la plus grande menace pour la société est de fausses informations, car nous deviendrons de plus en plus puissants pour créer de fausses informations.Le plus gros problème que j’ai rencontré lorsque je gérais YouTube, c’est que les gens téléchargent de fausses vidéos et laissaient même quelqu’un mourir.
Remarque: YouTube n’autorise aucun contenu qui encourage les activités dangereuses ou illégales qui peuvent entraîner des blessures corporelles graves ou la mort.
C’était vraiment douloureux d’essayer de résoudre ces problèmes, et il n’y avait pas d’IA générative à ce moment-là.Pour être honnête, je n’ai pas de solution particulièrement bonne.
hôte: Les moyens techniques ne sont pas une solution universelle, mais il existe un moyen qui semble être capable de soulager ce problème, qui est l’authentification clé de la clé.Par exemple, lorsque Biden est monté sur scène pour prononcer un discours, pourquoi ne peut-il pas ajouter des signatures numériques à ce qu’il a dit comme SSL?Ou lorsque les célébrités ou les personnalités publiques parlent, peuvent-ils avoir leur propre clé publique?Tout comme lorsque j’ai donné mes informations de carte de crédit à Amazon, je savais que le destinataire était en effet Amazon.
Eric Schmidt: Il s’agit en effet d’un moyen d’authentification des clés publics, couplé à d’autres méthodes de vérification, pour nous assurer que nous connaissons la source des informations.
J’ai écrit un article avec les autres, et ce que je soutiens, c’est votre argument tout à l’heure, mais malheureusement, ce document n’a aucun effet du tout.Alors peut-être que le système n’est pas organisé pour résoudre ce problème comme vous l’avez dit.
Dans l’ensemble, les PDG visent à maximiser les revenus, et pour ce faire, ils doivent poursuivre un engagement maximal des utilisateurs.La maximisation de la participation signifie enflammer plus de colère.L’algorithme donnera la priorité à la poussée de contenu scandaleux, car il rapportera plus de revenus.Par conséquent, il y a une tendance à tendre vers un contenu extrême dans son ensemble, et cela n’est pas divisé en camps.C’est un problème qui doit être résolu dans notre société.
Nous avons déjà parlé de la solution de Tiktok en privé.Quand j’étais enfant, il y avait une règle appelée « règle de temps égale ».Parce que Tiktok n’est pas en fait des médias sociaux, cela ressemble plus à la télévision et il y a des programmeurs contrôlant le contenu.Les données montrent que les utilisateurs de Tiktok aux États-Unis passent en moyenne 90 minutes à regarder 200 vidéos par jour, ce qui est assez grand.Le gouvernement ne peut pas fixer des règles de temps égales, mais une certaine forme d’équilibre est nécessaire.
8Big Model est un concours que seuls quelques pays sont éligibles pour participer
Écouteur: En termes de sécurité nationale ou d’intérêts, quel rôle pensez-vous que l’IA jouera dans la concurrence avec la Chine?
Eric Schmidt: J’ai été président du comité de l’IA, qui a examiné cette question en détail.Le rapport compte 752 pages, vous pouvez le vérifier.Permettez-moi de résumer brièvement: nous dirigeons maintenant, nous devons continuer à diriger et nous avons besoin de beaucoup d’argent pour y parvenir.
La situation générale est que si les modèles d’IA de pointe continuent de se développer et que quelques modèles open source sont impliqués, seuls quelques pays sont éligibles pour participer.Ces pays avec beaucoup d’argent, un système éducatif solide et sont déterminés à gagner.Les États-Unis en sont l’un, tout comme la Chine.Il y a peut-être d’autres pays.Mais il est certain que dans votre vie, la concurrence dans le domaine des connaissances entre les États-Unis et la Chine sera la plus grande confrontation.
Le gouvernement américain a essentiellement interdit l’exportation des puces Nvidia vers la Chine, et même s’il ne le permet pas, ils le font.Nous avons environ 10 ans d’avance sur la Chine dans la technologie des puces.Nous ouvrons également la voie de la technologie de lithographie d’environ 10 ans.Je suppose que nous pouvons mener quelques années de plus à l’avenir.Le projet de loi sur la puce était une décision de l’administration Trump et a été approuvé par l’administration Biden.
Hôte: Pensez-vous que le gouvernement actuel et le Congrès écoutent vos suggestions?Pensez-vous qu’ils feront un investissement aussi important?En plus de l’acte de puce, les systèmes d’IA à grande échelle continueront-ils à être construits?
Eric Schmidt: Comme vous le savez, j’ai dirigé un groupe informel, qui n’est pas un groupe officiel, et ce groupe comprend tous les participants communs du secteur de l’IA.Les recommandations formulées par ces participants sont devenues la base des décisions dans le domaine de l’IA de l’administration Biden, un projet de loi qui pourrait être la plus longue directive présidentielle de l’histoire.
Remarque: le président Biden des États-Unis a publié le décret exécutif sur la lutte contre les investissements américains dans certaines technologies de sécurité nationale le 9 août de l’année dernière et les produits en matière de préoccupation
hôte: Vous faites progresser un projet de recherche concurrentiel spécial.
Eric Schmidt: Il s’agit du projet de loi de mise en œuvre réel du bureau exécutif.Ils sont occupés à mettre dans les détails et ont fait du bon travail jusqu’à présent.Par exemple, l’année dernière, nous avons discuté d’une question: comment détecter les dangers potentiels dans le système.Ce système a peut-être appris des choses dangereuses, mais vous ne savez pas quoi demander.En d’autres termes, c’est un problème central.Le système a appris quelque chose de mauvais, mais il ne vous dira pas ce que vous avez appris, et vous ne savez pas comment poser des questions.Il existe de nombreuses menaces ici, telles qu’elle a peut-être appris à mélanger les produits chimiques que vous ne comprenez pas.Alors maintenant, beaucoup de gens travaillent dur pour résoudre ce problème.
Enfin, nous avons fixé un seuil dans le mémorandum appelé fonctionnement du point flottant à la puissance de 10 ^ 26, qui est une mesure de la puissance de calcul.Lorsque ce seuil est dépassé, vous devez signaler votre comportement au gouvernement.Cela fait partie de la règle, l’UE définit le seuil au 25e pouvoir de 10, mais la différence n’est pas grande.Je pense que ces différences techniques finiront par disparaître.Nous pouvons donc ne pas être en mesure d’éviter complètement les menaces apportées par ces nouvelles technologies.
hôte: J’ai entendu dire qu’Openai a dû le faire, en partie parce que la consommation d’énergie est trop élevée et qu’aucune place ne peut supporter tous les calculs seuls.
9.L’IA est un jeu pour les riches.Les plus riches sont plus riches
Écouteur: Le New York Times a poursuivi Openai pour des modèles de formation avec leurs œuvres.Que pensez-vous que cela signifie pour l’utilisation des données?
Eric Schmidt: J’ai beaucoup d’expérience dans le droit d’auteur de la musique.Dans les années 1960, il y avait une série de poursuites qui ont finalement conduit à un accord que chaque fois que votre chanson était jouée, que l’auditeur savait qui vous étiez, vous obtiendriez une certaine redevance et que l’argent serait déposé dans votre banque. Compte.Je suppose que la situation sera similaire à l’avenir, avec de nombreux poursuites et, éventuellement, une sorte d’accord est conclue qui nécessite un certain pourcentage de revenus à payer lors de l’utilisation de ces travaux.Vous pouvez consulter les exemples de l’ASCAP (Association des compositeurs, écrivains et distributeurs) et BMI (Broadcast Music, Inc., une organisation américaine de droits de performance), et bien qu’il semble un peu dépassé, je pense que ce sera le cas dans le fin.
Écouteur: Il semble qu’il existe plusieurs sociétés qui dominent et continueront d’être dans le domaine de l’IA, et ces entreprises semblent être au centre de toutes les lois antitrust.Que pensez-vous de ces deux tendances?Pensez-vous que les régulateurs diviseront ces entreprises?Quel impact cela aura-t-il sur l’industrie?
Eric Schmidt: Dans ma carrière, j’ai poussé à diviser Microsoft, mais il n’a pas été divisé.J’ai également essayé d’empêcher Google d’être divisé, et ce n’était pas non plus divisé.Donc, à mon avis, tant que ces entreprises évitent de devenir des géants monopoliques comme John D. Rockefeller (fondateur de Standard Oil), la tendance n’est pas une scission.C’est l’origine de la loi antitrust.
Je ne pense pas que le gouvernement prenne des mesures.La raison pour laquelle vous voyez ces grandes entreprises dominer le marché est qu’elles ne disposent que des fonds pour construire ces centres de données.Donc, mes amis Reed Hastings (Netflix et PDG) et Elon Musk le font.
Par conséquent, les riches s’enrichissent et les pauvres ne peuvent faire de leur mieux.C’est le fait, c’est un jeu pour le pays riche, nécessitant un capital énorme, une grande quantité de talents techniques et un fort soutien du gouvernement.Il existe de nombreux autres pays ayant divers problèmes, ils n’ont pas ces ressources, ils doivent donc travailler avec d’autres pays.
Écouteur: Vous avez passé beaucoup de temps à aider les jeunes à créer de la richesse et vous êtes très enthousiaste à ce sujet.Avez-vous des suggestions pour cette étape de votre carrière et de votre avenir pour les étudiants ici?
Eric Schmidt: Je suis très impressionné par votre capacité à montrer rapidement de nouvelles idées.Dans l’un des hackathons dans lesquels j’ai participé, l’équipe gagnante a été chargée de faire voler le drone entre les deux tours.Ils ont accompli cette tâche dans un espace de drone virtuel, permettant au drone de comprendre le sens de « entre … », a écrit du code dans Python et a permis avec succès au drone de passer par la tour dans le simulateur.Si vous êtes un programmeur professionnel qui fait cela, cela peut prendre une semaine ou deux.
Ce que je veux dire, c’est,La capacité de fabriquer rapidement des prototypes est vraiment importante.En tant qu’entrepreneur, l’un des problèmes est que tout se passe très rapidement.Maintenant, si vous ne pouvez pas prototyper avec divers outils en une journée, vous devez y penser parce que vos concurrents peuvent le faire.
Mon conseil est donc que lorsque vous commencez à penser à démarrer une entreprise, il est bon d’écrire un plan d’affaires, et vous devriez avoir l’ordinateur vous aider à rédiger un plan d’affaires. prototypes.Parce que c’est sûr, quelqu’un fait la même chose dans une autre entreprise, une autre université ou un endroit que vous n’avez jamais été.
