"Pedimos a todos los laboratorios de IA que pausen inmediatamente durante al menos 6 meses el entrenamiento de sistemas de IA más potentes que GPT-4". Este es el mensaje reflejado en la carta abierta firmada por, entre otros, Elon Musk, Steve Wozniak (co-fundador de Apple), Jaan Tallinn (co-fundador de Skype) y Max Tegmark (MIT).
Esta carta, firmada por más de 1.000 personalidades del mundo tecnológico, pone en tela de juicio los rápidos avances de los sistemas de inteligencia artificial. En concreto, aquellos que supongan una capacidad superior a la de ChatGPT o GPT-4.
Falta de planificación. La carta deja claro, en primer lugar, que el desarrollo en sistemas de IA puede representar un cambio profundo en la historia, siempre y cuando se gestione y planifique de forma adecuada. Los firmantes afirman que ni siquiera los creadores de estos sistemas, a día de hoy, son capaces de entender o predecir de forma fiable su comportamiento.
"Los sistemas contemporáneos de IA están llegando a competir con los humanos en tareas generales, y debemos preguntarnos: ¿Debemos dejar que las máquinas inunden nuestros canales de información con propaganda y falsedades? ¿Debemos automatizar todos los trabajos? ¿Debemos desarrollar mentes no humanas que con el tiempo nos superen en número, inteligencia, obsolescencia y reemplazo?"
El ojo puesto en GPT-4. La carta no alude a una pausa completa en el desarrollo de la IA, sino a aquellos sistemas con más capacidad que GPT-4. Piden "un paso atrás" en la carrera hacia "modelos impredecibles y cada vez con más capacidades emergentes". El punto principal es que el desarrollo actual debe centrarse en "conseguir que los potentes sistemas de vanguardia actuales sean más precisos, seguros, interpretables, transparentes, robustos, alineados, fiables y leales."
En otras palabras, pausar el desarrollo de capacidades cada vez superiores para empezar a trabajar en profundidad en el propio control y fiabilidad de estos sistemas.
Protocolos que supongan garantías. Más allá de trabajar en la fiabilidad y seguridad de estos sistemas de inteligencia artificial, se pone sobre la mesa la necesidad de desarrollar nuevos protocolos de seguridad compartidos entre los mismos. "Estos protocolos deberían garantizar que los sistemas que se adhieran a ellos sean seguros más allá de toda duda razonable". Se pide así una creación y adhesión a ciertos estándares que garanticen el buen hacer de estos sistemas.
Una mayor regulación. Ponen también sobre la mesa la necesidad de crear nuevas autoridades reguladoras en materia de IA. Estas, según la petición, deberían supervisar y seguir "sistemas de IA altamente capaces", amén de impulsar formas para distinguir lo real de lo creado de forma artificial. Se habla también de regulación legal en términos de posibles daños creados por la IA, rastreo de posibles fugas de datos en estos modelos o sistemas de financiación pública para investigación en materia de seguridad en este campo.
"Las instituciones necesitan estar bien dotadas de recursos para hacer frente a las drásticas perturbaciones económicas y políticas (especialmente para la democracia) que causará la IA."
Un timing perfecto. La carta no podía llegar en un momento más adecuado, ya que esta parece ser la semana de cuestionarse los modelos IA. El pasado 27 de marzo, la Policía Europea advertía de que las redes criminales pueden usar este tipo de herramientas en su beneficio. Se ponía sobre la mesa los efectos en materia de desinformación que puede suponer el uso de estas herramientas, empleándose para crear textos aplicados al phishing o con otros fines maliciosos.
Imagen | Steve Jurvetson
Más información | Futureoflife
Ver 105 comentarios
105 comentarios
pedrosalguera
Efectivamente, esto necesita un control ya. En El Confidencial hace un par de semanas publicaron un vídeo muy, muy bueno en el que se mostraban los posibles peligros y consecuencias si no se ponía manos a la obra inmediatamente y es realmente preocupante, y más en el contexto actual que vivimos con las autocracias queriendo imponerse a las democracias y pudiendo crear con más fuerza que nunca caballos de Troya que pongan en peligro nuestros derechos y libertades
PS: aquí el video: https://www.youtube.com/watch?v=cXghhnwSW6U
estoy_almorzando
El Sr. Musk y GPT en la misma noticia... Xataka vais a tope !
laenor
¿Crea incertidumbre? SI
¿Se adaptará la humanidad? SI
¿Acabará con la civilización del ser humano? NO
¿Se puede detener su desarrollo? NO
De hecho, lo normal sería que se fuese acelerando cada vez más, porque los futuros desarrollos se ven enormemente potenciados por los hitos conseguidos previamente en IA.
En 10 años habrá cambiado por completo nuestro mundo, habrá cosas peores, habrá retos a los que hacer frente, pero no tengo ninguna duda de que será un mundo mejor.
redboy
desarrollo sin control...
alguien dijo Skynet?
No hay que olvidar que tarde o temprano, la realidad supera la ficción,
es deseable que este no sea el caso.
javierverdugo
Tampoco nos pasemos con las IAS de generación de imágenes por ejemplo. Si eres profesional del sector sabrás que la mayoría de los clientes no saben lo que quieren y acaban por pedirte mil cambios.
Tienes una imagen flagrante que has sacado de Mid journey.
-Oh me encanta, puedes variar un poco el fondo?
No, porque al hacerlo genero toda la imagen de nuevo. Incluso alguien me puede venir a hablar de los nuevos motores que te permiten cambiar una parte concreta y no todo, aun así. Le dices que te haga un dragón, y te lo crea, pero si ahora te piden cambiar las alas de ese dragón, no puedes!!!
Que sí, que puedes hacer muchísimas imágenes (he investigado con unas 2000) mezclarlas, dividir promtps, etc. Mucho juego para crear concepts. Pero no puedes editar una parte concreta. Por lo que no se puede emplear en un entorno profesional.
Puedes usarlo como imagen de partida y trabajar de ahí, correcto. Pero lo único al final que has conseguido es crear un google image 2.0. "donde ahora los resultados son más acordes a lo que busco"
Y sobre Chat gpt 3, (No he podido probar aún el 4), está muy bien y lo que tu quieras, lo veo interesante en muchos factores, pero cuando le preguntas algo, al final se resume en "trust me bro" science
Y aquí es donde veo el gran problema, no es capaz de saber si quiera el porcentaje de acierto. Para chat gpt todo es 100% correcto. Cuando le haces preguntas sobre temas técnicos te acaba mezclando conceptos de diferentes softwares y/o lenguajes de progamación.
También si le pides que te traduzca al latín por ejemplo. Quizás la cosa cambia de manera drástica con modelos superiores al chat gpt 4 y sea recomendable crear una seria de barreras.
p2dzca
Pausa en los experimentos gigantes de IA: Carta abierta
Hacemos un llamamiento a todos los laboratorios de IA para que pongan inmediatamente en pausa, durante al menos 6 meses, el entrenamiento de sistemas de IA más potentes que el GPT-4.
Los sistemas de IA con inteligencia competitiva con la humana pueden plantear profundos riesgos para la sociedad y la humanidad, como ha demostrado una amplia investigación y han reconocido los principales laboratorios de IA. Como se afirma en los Principios de IA de Asilomar, ampliamente respaldados, la IA avanzada podría representar un cambio profundo en la historia de la vida en la Tierra, y debería planificarse y gestionarse con el cuidado y los recursos adecuados. Por desgracia, este nivel de planificación y gestión no se está produciendo, a pesar de que en los últimos meses los laboratorios de IA se han visto inmersos en una carrera fuera de control para desarrollar y desplegar mentes digitales cada vez más poderosas que nadie -ni siquiera sus creadores- puede entender, predecir o controlar de forma fiable.
Los sistemas de inteligencia artificial contemporáneos ya compiten con los humanos en tareas generales, y debemos preguntarnos: ¿debemos dejar que las máquinas inunden nuestros canales de información? ¿Debemos dejar que las máquinas inunden nuestros canales de información con propaganda y falsedades? ¿Debemos automatizar todos los trabajos, incluidos los más gratificantes? ¿Debemos desarrollar mentes no humanas que con el tiempo nos superen en número, inteligencia, obsolescencia y reemplazo? ¿Debemos arriesgarnos a perder el control de nuestra civilización? Estas decisiones no deben delegarse en líderes tecnológicos no elegidos. Los sistemas de IA potentes sólo deben desarrollarse cuando estemos seguros de que sus efectos serán positivos y sus riesgos controlables. Esta confianza debe estar bien justificada y aumentar con la magnitud de los efectos potenciales de un sistema. La reciente declaración de OpenAI en relación con la inteligencia artificial general, afirma que "En algún momento, puede ser importante obtener una revisión independiente antes de empezar a entrenar futuros sistemas, y que los esfuerzos más avanzados acuerden limitar la tasa de crecimiento de la computación utilizada para crear nuevos modelos." Estamos de acuerdo. Ese punto es ahora.
Por lo tanto, pedimos a todos los laboratorios de IA que pausen inmediatamente durante al menos 6 meses el entrenamiento de sistemas de IA más potentes que el GPT-4. Esta pausa debería ser pública y verificable. Esta pausa debe ser pública y verificable, e incluir a todos los actores clave. Si esta pausa no puede realizarse rápidamente, los gobiernos deberían intervenir e instituir una moratoria.
Los laboratorios de IA y los expertos independientes deberían aprovechar esta pausa para desarrollar y aplicar conjuntamente un conjunto de protocolos de seguridad compartidos para el diseño y desarrollo de IA avanzada que sean rigurosamente auditados y supervisados por expertos externos independientes. Estos protocolos deben garantizar que los sistemas que se adhieran a ellos sean seguros más allá de toda duda razonable. Esto no significa una pausa en el desarrollo de la IA en general, sino simplemente un paso atrás en la peligrosa carrera hacia modelos de caja negra cada vez más grandes e impredecibles con capacidades emergentes.
La investigación y el desarrollo de la IA deben volver a centrarse en conseguir que los potentes sistemas de vanguardia actuales sean más precisos, seguros, interpretables, transparentes, robustos, alineados, fiables y leales.
Paralelamente, los desarrolladores de IA deben trabajar con los responsables políticos para acelerar drásticamente el desarrollo de sistemas sólidos de gobernanza de la IA. Estos deberían incluir, como mínimo: autoridades reguladoras nuevas y capaces dedicadas a la IA; supervisión y seguimiento de sistemas de IA altamente capaces y grandes reservas de capacidad computacional; sistemas de procedencia y marca de agua para ayudar a distinguir lo real de lo sintético y rastrear las fugas de modelos; un ecosistema sólido de auditoría y certificación; responsabilidad por los daños causados por la IA; financiación pública sólida para la investigación técnica de seguridad de la IA; e instituciones bien dotadas de recursos para hacer frente a las drásticas perturbaciones económicas y políticas (especialmente para la democracia) que causará la IA.
La humanidad puede disfrutar de un futuro próspero con la IA. Tras haber logrado crear potentes sistemas de IA, ahora podemos disfrutar de un "verano de la IA" en el que cosechemos los frutos, diseñemos estos sistemas para el claro beneficio de todos y demos a la sociedad la oportunidad de adaptarse. La sociedad ha puesto pausa a otras tecnologías con efectos potencialmente catastróficos para la sociedad. Podemos hacerlo aquí. Disfrutemos de un largo verano de la IA, no nos precipitemos sin estar preparados a un otoño.
jaime.martinezdepabl
La verdad es que desde una moderada ignorancia respecto a las inteligencias artificiales -ya en marcha o en desarrollo- no puedo dejar de tener cierto temor al momento en que llegue (si es que realmente es posible su llegada) la Singularidad Tecnológica. Una inteligencia artificial consciente de sí misma nos pondría a los seres humanos en una clara situación de inferioridad y no sé si realmente se pueden implementar medidas de control de sus capacidades.
En fin, vienen años interesantes cuanto menos.
Un saludo a todos
miguel.camba
A mi me parece bien, me inquieta que la sociedad no está preparada ni tiene herramientas para lidiar con la revolución de tener inteligencias artificiales que se acercan a la humana en la capacidad de crear contenido, sea texto o imágenes.
No es ninguna coña, en todas las revoluciones tecnológicas anteriores se crearon herramientas para que un humano las usase y fuese más productivo, y substituian a tecnologías anteriores. Telares, máquinas de vapor o tractores que sustituían a telares manuales, caballos y arados. O las telecomunicaciones que hacían que intercambiar información con gente lejana fuese rápido y barato en lugar de lento y caro (cartas y fax).
Pero esto es otra cosa. Estamos creando algo que nos sustituyes a nosotros. No todavía, pero podría hacerlo en poco tiempo. Y eso no es ninguna coña.
Fuese cual fuese la revolución, siempre habíamos sido los seres más inteligentes de este planeta. La sociedad no está preparada para que no seamos la cima de la inteligencia.
Las consecuencias pueden ser muy gordas si no se hace despacio y con buena letra. Eso sin contar con los usos malintencionados que les puede dar.
No hace falta mucho pensar que una IA que cree texto como una persona, con una IA que genere una voz indistinguible de una persona, combinada con otra que genere imágenes indistinguibles de la realidad es un gran peligro. Si ahora hay gente que cae en pamplinas como el timo nigeriano, que no puede pasar si te pueden hacer una llamada teléfonica con la voz de un familiar, que conversa contigo explicándote que está en un apuro y que necesita dinero?
asdfgh2
Vamos a un mundo en que fabricar contenidos sintéticos(texto, imagen, audio y video) será baratísimo, inmediato, e imposible de distinguir del contenido real.
Lo más jodido es que parece que nadie tiene un plan claro de como vamos a convivir con esta realidad, con todo lo que supone teniendo en cuenta el papel que juegan las redes (sociales y otras) en la masificación y difusión de contenidos.
No solo hace falta una moratoria sobre la masificación de la IA como propuso la ONU, mucho antes que Musk, hace falta una regulación que ponga control.
moreorless
y neuralink si es bueno no? cuantos animales ya mataron torturados metiendoles cables y jod..........los ??? eso si es bueno verdad musk?
Olesnic
osea que seguir financiando la produccion de armas y su venta, eso no pasa nada, eso no es peligroso para la humanidad, pero la IA si...
a ver cuando escriben una cartita sobre las armas...
muy interesante esto de la doble moral aplicada de forma muy bonita...
Usuario desactivado
El problema somos los usuarios viendo inteligencia donde no la hay.
Por su arquitectura estos sistemas no tienen razonamiento y dicen disparates que suenan muy bien.
Hace unos días le pregunté a ChatGPT
"Que le agregarías a tu modelo para poder explicar como razonas?"
Y la respuesta era previsible:
"Como modelo de lenguaje, mi función es generar texto coherente y relevante en función de las entradas que recibo. Si bien puedo seguir patrones y estructuras en el lenguaje humano y generar respuestas que parezcan lógicas, no tengo la capacidad de razonamiento en el sentido humano.
Para poder explicar cómo razono, sería necesario agregar elementos de lógica y razonamiento en mi programación, como reglas de inferencia y conocimientos previos para permitir que el modelo pueda deducir información y responder en consecuencia. También sería necesario incorporar elementos de aprendizaje y adaptación, para que el modelo pueda mejorar con la retroalimentación y aprender de los errores en tiempo real."
mszerox
Ojo que Chat GTP podria ser usado para razones belicas y alli si se va a salir de las manos de todos. Porque basta que ese sistema aproveche las vulnerabilidades que se tienen los sistemas y se infiltren en temas como lanzamiento de misiles y demases. Seria un problema mayor.
umbium
Basicamente los de siempre, tienen miedo de perder la hegemonia.
Cuando hablan de controlarlo, hablan de que el control tiene que ser solo suyo. Cuando hablan de que es peligroso, quiere decir que es peligroso para sus negocios no para ti.
Ya se vio con Tik Tok, las redes sociales pillando info está todo bien hasta que quien lo hace no es EEUU o un aliado.
HAXNAGE
Nadie lo hará y perderá terreno frente a la competencia ni que 1000 millones firmen una petición. Lo que deben hacer los gobiernos es regularlo.
Esta es la nueva revolución industrial y como en aquella oportunidad el mundo laboral migró.
rafaello76
Estamos que no dormimos ante el peligro de que una IA se vuelva inteligente.
yuri_primero
GPT3 funciona perfectamente. Lo acabo de comprobar con un par de preguntas.
Yo >> que es un virus informático?
El bot dice:
Un virus informático es un programa malicioso diseñado para infiltrarse en una computadora o red sin el conocimiento del usuario. Una vez dentro, el virus puede realizar una variedad de tareas, desde la destrucción de
archivos hasta la recopilación de información confidencial. El virus se propaga a través de archivos adjuntos de correo electrónico, descargas de Internet, redes compartidas y otros medios.
Yo >> que características tiene?
El bot dice:
El iPhone 11 Pro cuenta con una pantalla Super Retina XDR de 5.8 pulgadas, una cámara triple de 12 megapíxeles con estabilización óptica de imagen, un procesador A13 Bionic de última generación, una batería de hasta 5
horas más duradera que la del iPhone XS y la resistencia al agua y al polvo IP68. También cuenta con un sistema de audio de cuatro altavoces, una conexión Bluetooth 5.0 y una nueva tecnología de carga inalámbrica de doble cara. Además, el iPhone 11 Pro ofrece una cámara frontal de 12 megapíxeles con modo retrato, modo nocturno y grabación de video 4K.
Me ha ganado para siempre :)
rafaello76
Hace mucho calor. Deberíamos hablar del cambio climático, que nos va a matar a todos igual que la inteligencia artificial.
Es que el tema de la IA exacerbado, sobrehypeado llega a cansar tras unos meses de noticia sí, noticia también.
Al menos con las noticias del cambio climático podemos brindar.
daniel3241
Se debe potenciar aun mas las IAs, aportar todo el dinero necesario para su desarrollo, porque esto es un gran avance y una gran ayuda para muchos profesionales. Aumentara nuestra productividad, para crear un videojuegos ya no se necesitaran años de desarrollo, igual que para crear un programa o aplicación.
En el campo educativo nos servirá como apoyo en las explicaciones de teorías o ejercicios, será como un profesor particular.
maralson
Y chatgpt6 adquirió consciencia y el resto ya es historia….
reyang
Totalmente de acuerdo con la peticion y las recomendaciones mencionadas. Debe haber un control , un uso responsable y una seguridad para todos los usos que pueda tener la inteligencia artificial.
El poner a ChatGPT, al alcance de todos ha generado una expectativa exagerada y su uso debe regularse y como bien se menciona, ni sus creadores saben los alcances que pueda tener. Mas que para hacer preguntas , la IA debe usarse en otros campos como la medicina , la robotica y la ciencia donde ya hace años se esta trabajando con ella.
leonardo.mangaca
Solo quiere atrasar la competencia,cómo no tienen nada listo,difamemos.
romediario
"Pausen inmediatamente durante al menos 6 meses el entrenamiento de sistemas de IA"
...para que yo y mi equipo podamos estar a su altura
maximiliano.ibanezra
En sus Fabricas tienen muchos puestos automatizados que le sacaron el puesto a un posible trabajador, estos puestos automatizados y robotizados se usan en beneficio de la empresa, para producir mas y a menor costo. Ahora cuando tienen indicios de lo que puede ser un posible "chatgpt5 o 6" en beneficio de la sociedad, se asustan y piden que se le de una pausa al asunto. Cuando Musk decidió crear un tesla que se conduce solo, hizo una pausa en beneficio de los choferes de taxis?
jemi83
Habeis visto demasiadas películas algunos.