ChatGPT lleva la inmersión en realidad virtual al siguiente nivel con el mod «Skyrim VR».



ChatGPT no es perfecto, pero el acceso del popular chatbot de IA a modelos de lenguaje extenso (LLM) significa que puede hacer muchas cosas que quizás no esperes, como dar a todos los habitantes NPC de Tamriel la capacidad de mantener conversaciones naturales y responder preguntas sobre el icónico mundo de fantasía. . Espeluznante, sí. Pero es una mirada profética a cómo los juegos algún día podrían usar la IA para alcanzar nuevas alturas en la inmersión.

YouTuber ‘Art from the Machine’ ha publicado un video que muestra cómo modificaron la muy querida versión VR de The Elder Scrolls V: Skyrim.

El mod, que aún no está disponible, aparentemente te permite mantener conversaciones con NPC a través de ChatGPT y xVASynthuna herramienta de inteligencia artificial para generar líneas de voz en off utilizando voces de videojuegos.

Echa un vistazo a los resultados en la última actualización a continuación:

La última versión del proyecto presenta Skyrim secuencias de comandos por primera vez, que según el desarrollador permite la sincronización de labios de voces y el conocimiento de NPC de eventos en el juego. Aunque todavía un poco rígido, se siente como un gran paso para salir del valle inquietante.

Así es como «Art from the Machine» describe el proyecto en una publicación reciente de Reddit que muestra su trabajo:

Hace unas semanas publiqué un video de demostración de un script de Python en el que estoy trabajando que te permite hablar con NPC en Skyrim a través de ChatGPT y xVASynth. Desde entonces, he estado trabajando en la integración de este script de Python con las herramientas de modificación de Skyrim y he logrado algunos hitos importantes:

Los NPC ahora conocen su ubicación actual y la hora del día. Esto abre muchas posibilidades para que ChatGPT reaccione dinámicamente al mundo del juego en lugar de esperar a que el jugador le proporcione contexto. Por ejemplo, ya no tengo problemas con los comerciantes que intentan negociar conmigo en Flag Mare fuera del horario de atención. Los NPC también conocen los elementos recopilados por el jugador durante la conversación. Esto significa que si saqueas un cofre, recoges una piel de animal o recoges una flor, los NPC podrán comentar estas acciones.

Los NPC ahora están sincronizados con xVASynth. Obviamente, esto es mucho más natural que las entradas flotantes de prueba de concepto que tenía antes. También realicé algunas mejoras en la calidad de vida, como reducir el tiempo de respuesta a ~15 segundos y agregar un encanto para iniciar conversaciones.

Cuando todo está en su lugar, es una experiencia increíblemente surrealista poder sentarse y hablar con estos personajes en realidad virtual. Nada me aleja más de la experiencia que escuchar las mismas líneas vocales repetidas, y con eso nunca hay dos respuestas iguales. Todavía hay mucho trabajo por hacer, pero tal como está, no podría volver a jugar sin esto.

Puede notar que las indicaciones de voz reales de los NPC también son bastante robóticas, aunque «Art from the Machine» dice que están usando texto a voz para hablar con el sistema basado en ChatGPT 3.5. La voz que se escucha en el video es generada por xVASynthy luego se conecta durante la edición de video para reemplazar lo que ellos llaman su «voz hostil de radio».

¿Y cuándo puedes descargar y jugar por ti mismo? Bueno, el desarrollador dice que publicar tu propio proyecto sigue siendo un tema un poco espinoso.

“Realmente no he pensado en cómo publicar esto, así que creo que tendré que profundizar en otros proyectos de ChatGPT para ver cómo otros han abordado el problema de la clave API. Espero conectarme como una alternativa a un modelo LLM administrado localmente para cualquiera que no esté dispuesto a pagar las tarifas de la API.

Ofrecer respuestas NPC más naturales también es un área que debe abordarse, dice el desarrollador.

Por ahora lo configuré para que los NPC digan «déjame pensar» para indicar que me han escuchado y la respuesta está en proceso de generarse, pero tienes razón, esto se puede ampliar para elegir entre unos pocos diferentes líneas de relleno en lugar de repetir siempre lo mismo.

Y aunque el video se acelera notablemente después de las solicitudes, esto se debe principalmente al software de generación de voz. xVASynth, lo que ciertamente ralentiza la canalización de respuesta, ya que se ejecuta localmente. ChatGPT en sí no afecta el rendimiento, dice el desarrollador.

Este no es el primer proyecto que vemos usando chatbots para enriquecer las interacciones de los usuarios. Lee Vermeulen, pionero y desarrollador de realidad virtual desde hace mucho tiempo caja de mods, lanzó un video en 2021 que muestra una de sus primeras pruebas usando OpenAI GPT 3 y el software de actuación de voz Reproducir exactamente. En el video de Vermeulen, habla sobre cómo estableció los parámetros para cada NPC, brindándoles el conjunto de conocimientos que deben tener, lo que determina qué tipo de respuestas darán.

Mira el video de Vermeulen a continuación, el mismo que inspiró ‘Art from the Machine’ para comenzar a trabajar en el skyrim realidad virtual modificaciones:

Como puede imaginar, esto es realmente solo la punta del iceberg para las interacciones NPC impulsadas por IA. Ser capaz de hablar con naturalidad a los NPC, incluso si tartamudean un poco y no tienen exactamente el nivel humano, puede ser preferible a tener que pasar por muchos menús de texto en 2D o seguir tutoriales lentos e incómodos. También ofrece la posibilidad de vincularse más con su fiel compañero de IA, como de skyrim lidia o consecuencias 4 Nick Valentine, quien en lugar de ofrecer diálogos enlatados podría, ya sabes, ayudarte de vez en cuando.

Y eso es realmente solo el material de nivel superficial que un mod como «Art from the Machine» podría proporcionar a los juegos existentes. no soy construido con NPC impulsados ​​​​por IA. Para imaginar un juego basado en tu habilidad para hacer las preguntas correctas y hacer tu trabajo de detective, bueno, este es un juego de rol que nunca antes habíamos experimentado, en realidad virtual o de otra manera.