Anthropic deja en ridículo a ChatGPT: su chatbot Claude es capaz de leer una novela en menos de un minuto

Si algo tiene bueno Twitter (obviando toda la mierda) es que hay nichos de usuarios de todo tipo. Incluyendo expertos de la materia, y que siguiendo a unas cuantas cuentas te enteras en tiempo real de todo lo que los propios investigadores y expertos del campo debaten. Y uno de esos debates: era si PaLM 2 era igual o mejor que GPT4.

El consenso general por ahora es que no es el caso, y que aunque es muy bueno, es más una respuesta a GPT3.5 (davinci-3) que a GPT4. Probablemente no sea hasta Gemini, su siguiente modelo, que tengamos una alternativa a GPT4.

Por lo que si, probablemente no haya nada mejor que este modelo en el mercado en estos momentos. Y probablemente no lo haya en el futuro próximo, teniendo en cuenta que OpenAI lleva ella sola comiéndose todo el feedback de los usuarios desde diciembre del año pasado. Que si os parece poco, solo tenéis que comparar Stable Diffusion con Midjourney y ya veréis cuanto hace la diferencia este.

Midjourney es un grupo pequeño de personas (creo que eran 14). Es entendible que no tengan el potencial necesario para crear todo un ecosistema que permita mayor control al usuario.
Pero por el otro lado, tenemos Adobe Firefly. Que no solo tienen un montón de material completamente libre de problemas de copyright, si no que encima ahora tiene soporte de Google. Yo creo que a menos que alguien más se ponga las pilas este será el caballo ganador a la larga.

Yo por lo que he ido viendo PaLM 2 y GPT4 están prácticamente a la par, en algún benchmark uno es mejor que otro, y viceversa, y en algún campo PaLM2 da mejores resultados (traducción o matemática) y viceversa con GPT4 (código). Aunque las comparativas hechas según lo que ve un humano son susceptibles y sujetas a contaminación del del fine-tuning.

Al final PaLM 2 y GPT4 se basa en el mismo modelo de aprendizaje (que se estreno con PaLM) con la diferencia de que para PaLM 2 y GPT4 se han usado muchísimo mas datos para el entrenamiento y son lo responsables directos de la calidad del modelo.

Sin embargo yo diría que el objetivo de PaLM 2 no era ser mejor que GPT4 sino ser barato, maleable y eficiente. Google tiene un montón de sitios en el que poner AI y no es viable tener un modelo super bueno pero super caro de ejecutar como es GPT4.

Gemini, será la siguiente evolución en cuanto a generación de modelos.

Pero si es un toque atención importante. Porque aunque excluya información la ventana que maneja Claude sigue siendo de 3 veces la de GPT4 en su versión grande.

La relevancia de Open AI a largo plazo depende de lo rápido que puedan construir ecosistema con usuarios y empresas que paguen, y eso lo consiguen mantiendose en el foco como los mejores. En mi opinión la velocidad que ha tomado el asunto en otras empresas y startups hace que se tambalee dicha posición. Porque si PaLM 2 y GPT4 están según como mires a la par, pero el primero es mucho mas barato de ejecutar y desplegar, ya puede ser el mejor el segundo que el elegido será el primero.

+1.al fin alguien que no se traga que estas IAs sean de verdad inteligentes.

Es que yo ya he visto y he hecho experimentos, y hay detalles graciosísimos de ChatGPT que creo que muestran las limitaciones del modelo probabilística que se usa actualmente. Era facilísimo, con ChatGPT 3.5, entrar y poner: "¿Conoces a Miguel Rodríguez, el cómico?" y acabarse tragando una biografía completamente inventada porque el modelo asumía que tú querías una respuesta afirmativa; en cambio, si le escribías "habláme de Míguel Rodríguez, el cómico" lo normal era que te dijese que no sabía quien era. Algo tan en apariencia irrelevante como la formulación de la pregunta alteraba por completo la respuesta. No he podido hacer pruebas personalmente con la 4, pero por lo que le he visto a otros es algo que sigue pasando.

Yo he hecho pruebas y falla como una escopeta de feria.

Mi favorita es: Asumiendo que ninguna guerra se solape entre sí, ¿Cuántos años ha estado EEUU en guerra? Me respondió que 120 y algo, que el 19% de su historia

En primer lugar EEUU se fundó en 1776, tiene 247 años. 120 es casi el 50% de 247.

En segundo lugar lo calculé a mano (con la lista de guerras de Wikipedia) y me salen 556 años en guerra.

Todo mal

Por eso es importante usarla la IA en un contexto que tú conoces.

A mi me sirve para aprender a programar, o aprender ciertos programas.

Se inventa cosas, pero la otra mitad es correcta, lo que conlleva a que tu puedes ir "educándole" e ir mejorando su respuesta inicial.

Para mi es mejor en algunos casos que buscar una solución a un problema en google a través de los foros. A veces cuesta mucho dar con un problema concreto, en cambio con ChatGpt es más personalizado.

Creo que estamos avanzando hacia una "pseudo IA" buscador google 3.0, que si bien como dices no es realmente inteligente, es un modelo muy superior a lo actual. Del mismo modo que cuando surgió Google vs otros buscadores arcaicos como Hispavista o Yahoo.

A ver, tengo amigos informáticos y ya me han comentado que ellos en sus pruebas se ahorran tiempo usando ChatGPT para generar cierto código, lo que pasa es que ellos saben lo que quieren y tienen clarísimo cuando la ha liado.

Como herramienta de aprendizaje, incluso para programación, que es un campo del que no conozco demasiado, le veo bastantes riesgos, porque al final aprender vas a aprender, pero en muchos casos no vas a saber el motivo por el que ha tomado una determinada decisión, o qué líneas de código no pintan absolutamente nada para lo que tú quieres. Para un programador con experiencia es una herramienta válida, para uno que está aprendiendo no sé si será más un riesgo que otra cosa, depende de la base que tengas. Si no tienes ninguna base creo que te compensa meterte en foros y ver las discusiones para entender mejor el fondo de la cuestión.

Y respecto a lo otro, para mí no es superior un modelo de buscador cuyo principal riesgo a día de hoy es que invente información. Con Bing ya se ha visto que podía inventarse algo y citar correctamente el enlace en el que aparece recogido el dato correcto. Es más natural, sí, pero es que Google a día de hoy técnicamente no se equivoca, eres tú el que eliges el enlace que quizá no tenga información completamente correcta, y eres tú el que tienes la capacidad para no volver a entrar en dicha web cuando notes que la información que tienen ahí es de mala calidad.

La IA simplifica el proceso de búsqueda, pero también introduce nuevas complicaciones (puede ser que tome por bueno un enlace de mierda, puede ser que invente información, puede ser que no entendiese la pregunta y responda como si lo hubiese hecho, etc). Estamos introduciendo en la búsqueda un nuevo intermediario que está lejos de ser 100% fiable y que en ocasiones no vamos a poder juzgar a menos que ya sepamos algo del tema sobre el que estamos buscando.

Como herramienta de aprendizaje, incluso para programación, que es un campo del que no conozco demasiado, le veo bastantes riesgos, porque al final aprender vas a aprender, pero en muchos casos no vas a saber el motivo por el que ha tomado una determinada decisión, o qué líneas de código no pintan absolutamente nada para lo que tú quieres. Para un programador con experiencia es una herramienta válida, para uno que está aprendiendo no sé si será más un riesgo que otra cosa, depende de la base que tengas. Si no tienes ninguna base creo que te compensa meterte en foros y ver las discusiones para entender mejor el fondo de la cuestión.

No estoy de acuerdo en este parrafo.

Le puedes literal, decir que te explique que significa línea a línea, y la explicación es super útil.
Yo he aprendido más de VEX de Houdini con Chatgpt que mirando en foros. Que no digo que no sea valido. Pero es que no hay nivel, es super personalizado.
Donde tu ves riesgos yo veo ventajas. Y por lo eso lo uso y sigo aprendiendo y mejorando.
Obviamente, has de saber algo del tema.

Si yo quiero aprender japonés y le digo que me traduzca sin saber nada, como sé si es cierto o no?

Que gran respuesta, resumiste muy bien lo que es la IA estos días.

Que tiene que ver la computación cuantica con este artículo? La computación cuántica sigue ahí y se han hecho grandes avances.