jakiro
Autor: Instituto de Investigación de Wangshu Tencent Post -Doctoral Post -Doctoral
Ya en 2001, algunos estudios señalaron que el campo de la inteligencia artificial en el juego tiene un gran potencial para realizar o crear inteligencia artificial (IA a nivel humano) [1].Como punto de partida de la investigación de inteligencia artificial, el juego, con la complejidad y la diversidad de su escena de tareas, proporciona garantía para la inteligencia artificial en términos de amplitud, profundidad y flexibilidad.
En la actualidad, con el rápido desarrollo de la IA de la generación y la tecnología de IA de toma de decisiones, la tendencia de desarrollo de los juegos y la resonancia de inteligencia artificial es más obvia.En el GDC2024 (Conferencia de Desarrollo de Jugadores Globales 2024), AI se convirtió en el foco de la conferencia, con discursos con temas de IA de 64 juegos, representando el 8%.En el campo de la IA de la generación, el 62%de los encuestados de la industria del juego están utilizando herramientas de IA para hacer contenido del juego [2].En el campo de la IA de toma de decisiones, el equipo de Google Deepmind lanzó nuevamente el GMA SIMA (agente de instructor escalable multiworld) después de Alphastar, que puede realizar más de 600 tareas en varios mundos de juegos 3D de acuerdo con las instrucciones del lenguaje natural humano.
Campo de prueba técnica:
El juego proporciona un estándar de medición claro para la toma de decisiones. tecnología.En la actualidad, la mayoría de los equipos de investigación de IA en decisión, incluidos OpenAi, DeepMind, etc., han seleccionado juegos como escenarios de entrenamiento, y se comprometen a crear inteligencia universal en diferentes tipos de escenarios de juegos, y usar esto para crear inteligencia artificial general.
El 13 de marzo de 2024, el equipo de Google Deepmind lanzó una inteligencia de IA llamada SIMA (Instructor escalable Multiworld Agent).La capacidad de una fuerte comprensión del lenguaje natural y el aprendizaje de la migración ha permitido a muchos investigadores ver la apariencia de Sima como «Momentos de Chatgpt de inteligencia».
DeepMind explica los principios básicos y los caminos técnicos de Sima en el informe técnico, y lo define como un cuerpo inteligente de juego universal que puede ser escalable e instruido en múltiples mundos virtuales 3D.El equipo de DeepMind seleccionó 9 populares juegos en línea en 3D y 4 escenas 3D hechas de motores de unidad como entorno de entrenamiento Sima Smart.En el proceso de entrenamiento específico, la experiencia inteligente observa continuamente la información de la imagen del juego en la pantalla de aprendizaje, y la combina con las diversas instrucciones de operaciones del jugador en el juego, y luego se da cuenta de la salida del teclado y el mouse para controlar los personajes en los personajes en el Juego para realizar la ejecución de roles Varias operaciones [3].
>
Figura 1 Descripción general del proyecto SIMA Smart
El proyecto SIMA es un hito importante en el campo del equipo de DeepMind en el campo de la inteligencia artificial (AGI). En SIMA, DeepMind basado en modelos de idiomas grandes, ha estado probando e investigando inteligencia general basada en el entorno del juego. al mundo real.
Antes del lanzamiento de SIMA, hubo múltiples proyectos de investigación inteligente de juegos generales en la industria.
Gato fue lanzado por el equipo de DeepMind en noviembre de 2022. Puede jugar a los Juegos Atari y controlar los verdaderos bloques de construcción de Robot Arm Racting.Gato utiliza una arquitectura modelo de lenguaje grande de GPT.En un estudio en marzo de 2023, Microsoft señaló que Gato, como Gato, combina un gran modelo de información de modo múltiple, que probablemente nacerá en las primeras etapas de la inteligencia [5].
>
Figura 2 Gato creado por DeepMind
Similar a Gato, hay instituciones de investigación como Nobita, Caltech y Stanford, Minedojo, que son creadas conjuntamente por el juego «My World».Minedojo utiliza información sobre el video del jugador del juego «My World» (YouTube), Encyclopedia (Wiki) y la comunidad de usuarios (Reddit) como material de entrenamiento para entrenar un mensaje que puede basarse en las indicaciones de texto en el «juego» Minecraft » Para completar cada uno.Minedojo no solo puede completar algunas tareas programáticas simples, sino también completar una serie de tareas creativas basadas en una descripción simple, como la construcción de una biblioteca basada en la descripción [6].
>
Figura 3 Modelo de habilidad Minedojo
Las dos tareas de Gato y Minedojo corresponden a las dos ideas diferentes en el estudio de la inteligencia artificial: resolver suficientes tareas o resolver una tarea compleja suficiente.Sin embargo, también hay ciertas limitaciones de los dos estudios anteriores. Capacidad de aprendizaje, tiene una cierta capacidad de aprendizaje de migración, pero tiene una cierta capacidad de aprendizaje de migración, pero tiene una cierta capacidad de aprendizaje de migración, pero tiene una cierta capacidad de aprendizaje de migración. Entorno de juego, que es una gran brecha con escenas del mundo real.
En la actualidad, GM Aigent basado en el entrenamiento del entorno del juego se ha convertido en un consenso en la industria.En el discurso de Ted AI 2023, el científico senior de Nvidia Jim Fan propuso el concepto del agente de la fundación. 7].En China, Tencent también ha liderado el establecimiento de IA Multiinteligencia y la compleja plataforma de investigación de decisión: la iluminación, dependiendo del laboratorio de IA de Tencent y la «gloria del rey» en las ventajas centrales de los algoritmos, el poder informático y los escenarios experimentales Los investigadores académicos y los desarrolladores de algoritmos proporcionan la plataforma de exploración de aplicaciones nacionales líderes.
Nuevo avance:
La aparición de SIMA combina modelos de idiomas grandes con capacitación inteligente para lograr un gran avance en la capacidad y la generalización de la toma de decisiones inteligentes de IA.SIMA no solo puede comprender mejor varios entornos de juego 3D, sino también realizar varias tareas en varios mundos de juegos 3D como los seres humanos de acuerdo con los seres humanos, sino que también exceden con creces otros cuerpos inteligentes en la eficiencia y capacidad de toma de decisiones. a los humanos [8].El fundador y CEO de Deepmind, Demis Hassabis, es aún más contundente en la entrevista,«El campo de la combinación de modelos de idiomas grandes, el entrenamiento de inteligencia de IA y el entorno de juegos tienen enormes perspectivas de desarrollo. DeepMind continuará aumentando la inversión de la investigación en este campo en el futuro.[9]Esencia»En general, las características y los avances de otros SIMA se reflejan principalmente en los siguientes aspectos:
Primero, Sima usa el entorno del juego para el entrenamiento, pero presta más atención a la consistencia del comportamiento inteligente y la recepción de instrucciones.Desde la perspectiva del equipo de DeepMind «,»,El juego es inteligencia artificial(AI)Campo de prueba importante del sistemaAl igual que el mundo real, el juego también es un ambiente de aprendizaje rico, con configuración real en tiempo real y objetivos cambiantes con una respuesta sensible.En comparación con la inteligencia del juego publicada anteriormente publicada por el equipo de DeepMind, lo mismo es que durante el proceso de entrenamiento, también observó los datos de comportamiento de una gran cantidad de jugadores humanos. Jugadores humanos o en el juego.
En segundo lugar, Sima combina modelos de idiomas grandes con capacitación inteligente y adopta una interfaz interactiva unificada y humanizada.«El aprendizaje del lenguaje y el medio ambiente es complementario. A través del aprendizaje del lenguaje natural, puede mejorar la capacidad de comprender la representación universal y los conceptos abstractos y mejorar la eficiencia del aprendizaje». se introdujo, y todo el proceso de capacitación siguió las reglas de la prioridad del lenguaje.En otras palabras, Sima no necesita acceder al código fuente del juego ni la API personalizada.Solo necesita dos entradas: la información de la imagen en la pantalla, y las instrucciones del lenguaje natural proporcionadas por el usuario, pueden usar el teclado y el mouse para controlar los personajes del juego para ejecutar estas instrucciones.En términos de métodos de interacción específicos, SIMA utiliza una interfaz interactiva unificada y humanizada.
>
Figura 4 Arquitectura Sima Smart
En tercer lugar, Sima tiene buenas capacidades de generalización y puede mantener un alto nivel de capacidad en diferentes escenarios virtuales.Según los datos del equipo de DeepMind, SIMA ha sido evaluado a través de 600 habilidades básicas, cubriendo la navegación (como la izquierda), la interacción del objeto (escalera de escalada) y el menú utilizan el nivel de rendimiento más alto que la inteligencia similar.DeepMind Researcher evaluó la capacidad de Sima para completar casi 1,500 juegos específicos (en el juego) de acuerdo con las instrucciones. que el mismo tipo de cuerpo de inteligencia (ver Figura 5).
>
Figura 5 La comparación de rendimiento de la inteligencia múltiple en diferentes entornos
Aplicación de nueva escena:
El juego se ha convertido en un campo de prueba e incubadora para crear un agente general de IA, y promueve continuamente la iteración de actualización de la tecnología de IA de toma de decisiones.Al mismo tiempo, con la madurez de la generación de tecnologías de IA como la difusión estable y el transformador, la tecnología de IA también ha comenzado a ayudar a los juegos y la creación de contenido de industrias culturales más extensas. Mejorar la investigación de productos y la eficiencia del desarrollo, y reducir aún más el umbral para la producción de contenido interactivo.
En el nivel de aplicación, el modelo de IA de la generación se ha convertido en un poderoso asistente para los desarrolladores de juegos.Según los datos del «Informe de la industria de los juegos de la unidad 2024», después del uso de la tecnología de IA, el 71%de los estudios de juegos han declarado que su I + D y la eficiencia operativa se han mejorado efectivamente. en diferentes enlaces.
En el lado de producción del contenido del juego, la IA de la generación se ha utilizado ampliamente en la generación de texto, la creación de arte 2D, la generación y detección de códigos, y la generación de diseño de niveles.Antes de la intervención de herramientas de IA en el proceso de trabajo de arte del juego, el trabajador de arte del juego para completar un dibujo de ilustración de alta calidad es de aproximadamente una semana. .
>
Figura 6 Proceso de dibujo basado en herramientas AIGC
En términos de reducir los costos de comunicación de diferentes tipos de trabajadores, la IA de la generación también tiene un gran espacio de aplicación.Por ejemplo, en el proceso de producción de juegos, especialmente cuando el estilo de arte del juego está compuesto y seleccionado, la comunicación entre la planificación del juego y los trabajadores de arte a menudo requiere muchos costos de tiempo.La intervención de generar herramientas de IA puede ayudar a los planificadores rápidamente y a presentar la creatividad y reducir en gran medida los costos de comunicación.
A nivel de herramientas, con la mejora de la eficiencia de producción y desarrollo de la IA del formato, varias compañías de juegos también han comenzado a integrarlas en sus respectivas herramientas de producción de contenido.Nvidia, una compañía de chips de juegos, lanzó la plataforma de herramientas de IA Nvidia Ace for Games, que es un desarrollador de juegos en junio de 2023, que permite a los desarrolladores de juegos construir y desplegar modelos de IA de voz, diálogo y animación personalizados en el juego, que mejoró enormemente La eficiencia de producción y la producción del contenido del juego; Genere el juego [10].
>
Figura 7 Demo de tecnología de protocolo encubierto lanzado por NVIDIA
La compañía de juegos de juegos Unity y Unreal también han lanzado nuevos productos basados en la IA de la generación.Unity lanzó dos nuevos productos basados en la tecnología de inteligencia artificial en julio de 2023: Sentis y Muse. . Por ejemplo, el creador metahumano, un hombre digital, trató de acelerar la creación de personajes de alta calidad y escenarios a gran escala para generar eficiencia con tecnología de inteligencia artificial.
La compañía de producción de juegos también abarca de manera integral la tecnología de IA, utiliza IA para capacitar a las herramientas de producción de contenido y mejora continuamente la investigación de contenido y la eficiencia del desarrollo.以腾讯为例 ， 腾讯 腾讯 Ai Lab 在 GDC 2024 重磅发布了自研游戏全生命周期 Ai 引擎 “Giinex” ， 该引擎借助腾讯自研生成式 ai 和决策 ai 模型 ， 面向 ai 驱动的 npc 、场景制作、 En el campo de la generación de contenido, puede proporcionar una variedad de capacidades AIGC que incluyen gráficos 3D, animación, ciudad y música.Con la ayuda del motor Giinex, la tarea de modelado urbano que originalmente se necesitaba durante 5 días se completó.
>
Figura 8 Juego Tencent AI Motor Giinex Architecture
Conclusión
Desde la conferencia de Datmouth en 1956, en el campo de la inteligencia artificial, los primeros científicos informáticos definieron la IA como «el método de reacción de una máquina es como la inteligencia de que una persona se basa en una persona» [12], y casi todo Más tarde, la investigación de la inteligencia artificial sigue el camino de la «simulación» de inteligencia humana, tratando de crear inteligencia artificial que pueda escuchar, ver, hablar, pensar, aprender y actuar, para mejorar su percepción, el mundo real cognitivo y la gestión de Decisión: toma de decisión: la capacidad de actuar.
Hoy, la investigación de inteligencia artificial todavía sigue el camino y los objetivos de los seres humanos.Si se dice que un modelo AI de gran generación representado por ChatGPT, Sora, etc., ha mejorado la capacidad de «percepción» y «cognitiva» de la inteligencia artificial a las cosas, y ha completado el primer paso hacia la inteligencia artificial general.Por lo tanto, permitir que la inteligencia artificial haga un modelo de AI de decisión adecuado de «selección» a través del aprendizaje automático en un entorno de juego complejo y diverso, de modo que la inteligencia artificial tenga la capacidad de «moverse» y puede tomar decisiones independientes de acuerdo con su propia y medio ambiente. información para lograrlo y lograrlo para lograrlo.
Aunque la distancia actual de investigación de inteligencia artificial ha logrado un largo camino por recorrer,Sin embargo, la combinación de IA de la generación y la IA de decisión indudablemente abre nuevas posibilidades para la realización de AGI.Podemos ver que, según la combinación de modelos de idiomas grandes e inteligencia de IA, ha podido dar forma a la inteligencia de los juegos universales como Sima, que no solo puede tomar decisiones efectivas en un entorno determinado, sino que también continúa aprendiendo y adaptándose a lo desconocido entorno. Mostrar inteligencia similar a la inteligencia.En el futuro, con el aumento continuo del entorno de entrenamiento, la inteligencia general de los juegos puede tener comprensión y capacidad para comprender las instrucciones de lenguaje más complejas y superiores.También esperamos que algún día, GM puede pasar por la vasta etapa del gran mundo a través de la prueba del pequeño mundo del juego y servir a las miles de la industria en la sociedad humana.
¡Gracias a Cao Jianfeng, Liu Lin, Wang Peng, etc. por la guía durante la redacción de este artículo!
