Un trozo de cinta de cinco centímetros pegado a una señal. Eso es todo lo que han necesitado unos investigadores de McAfee para conseguir engañar a la cámara de un Tesla Model X y Tesla Model S de 2016 y hacer que aceleren automáticamente. En pocas palabras, los investigadores han pegado un trozo de cinta a una señal de 35 mph, de forma que el "3" pareciera un "8", engañando así al sistema.
Dichos coches usan el sistema MobilEye Eye Q3. Tesla tiene una característica llamada TACC (Tesla Automatic Cruise Control), y dicha característica bebe de la interpretación de las señales de tráfico y el GPS para indicarle al sistema de conducción autónoma si debe reducir o aumentar la velocidad. Es lo que se conoce como Speed Assist y fue lanzado por Tesla en 2014.
Si el algoritmo que alimenta este modelo es engañado, el resultado no será correcto y provocará, en este caso, que el coche pase de 35 a 85 mph. Para ponerlo en contexto, estamos hablando de pasar de 56 km/h a 136 km/h de forma totalmente involuntaria.
Engañando al algoritmo
Este tipo de ataques se conoce como "aprendizaje automático adversario" y consisten en explotar las debilidades presentes en los algoritmos de aprendizaje automático para conseguir resultados adversos. Los investigadores de McAfee han estado probando diferentes sistemas durante 18 meses y el resultado es que, si bien el sistema consigue detectar bien las señales incluso en situaciones complicadas, es relativamente fácil engañarlo si se sabe cómo hacerlo.
Por ejemplo, en una prueba de laboratorio en la que se usó una webcam, el sistema reconoce la señal de 35 mph incluso cuanto está parcialmente oculta. Sin embargo, al añadir perturbaciones, como manchas o pintura negra alrededor de los números, el sistema falla, entendiendo 45 mph en lugar de 35 mph. La pregunta que cabe hacerse es si la cámara de los vehículos también se ve afectada.

La primera prueba para salir de dudas fue añadir a la señal unas pegatinas adversarias diseñadas específicamente para esta prueba. El hardware usado fue un Model S (2016) y un Model X (2016), ambos equipados con un chip EyeQ3 de MobilEye. Desde McAfee afirman que "funcionó, casi de inmediato y con una alta tasa de replicabilidad". El coche pasaba de 35 a 85 mph.
Ahora bien, ¿qué sucede si se simplifica la prueba? ¿Qué pasa si se quitan todas las pegatinas adversarias y, simplemente, se alarga la zona central del "3" con cinta de color negro? Los investigadores afirman que "incluso para un ojo entrenado, esto apenas parece sospechoso o malicioso, y muchos de los que vieron la señal no se dieron cuenta de que el signo había sido alterado en absoluto".

Pues la cámara de los vehículos sí. Entendió que el 35 era, realmente, un 85, lo que provocó que el coche acelerase de inmediato y pasase de poco más de 50 km/h a casi 140 km/h. Todo sea dicho, en un vehículo de 2020 este ataque no parece poder replicarse. McAfee advirtió de esta vulnerabilidad a Tesla y Mobileye 90 días antes de publicar la información y afirma que:
"Ambos proveedores mostraron interés y agradecieron la investigación, pero no han expresado ningún plan actual para abordar el problema en la plataforma existente. MobilEye indicó que las versiones más recientes del sistema de cámaras abordan estos casos de uso".
En declaraciones a MIT Technology Review, MobilEye afirma que "la tecnología de vehículos autónomos no dependerá solo de la identificación, sino que también estará respaldada por otras tecnologías y datos, como el mapeo de crowdsourced, para garantizar la fiabilidad de la información recibida de los sensores de la cámara y ofrecer despidos y seguridad". Desde Xataka, por nuestra parte, hemos contactado con Tesla para conocer más información y actualizaremos cuando obtengamos respuesta.
Más información | McAfee
Ver 48 comentarios
48 comentarios
Xavizzz
No veo donde está el problema.
Si alguien manipula una señal, puede que afecte al coche autónomo y a los coches normales porque su conductor también se vea afectado.
¿O los conductores tienen un sistema de seguridad que les hace distinguir perfectamente todas las señales manipuladas?
El problema sería si alguien modifica la señal de velocidad de una curva, y el coche se pusiese a 135 en una curva de 50, lo que significaría que no funciona nada en el coche ¿No? Porque supongo que el resto de sistemas que miran trazado de carretera, obstáculos, etc tendrán ALGO que decir para decidir a qué velocidad puede ir el coche...
Pere Ubu
Digo yo que sería mejor tirar de gps, en cada momento el coche sabe dónde está y (se supone) la velocidad máxima a la que puede ir.
think
1. Estamos hablando de un sistema de 2014 que ya no esta en la venta. La primera versión del AP con HW de mobileye.
2. El AP actual funciona con mapas, no leyendo señales.
3. El AP actual (la versión 1, no lo se) se adapta a la carretera, si ve una curva peligrosa, frena sólito, y mas aun en Europa, que las normas son demasiado estrictas y peligrosas en este sentido.
4. El AP requiere en cada instante una vigilancia humana. Si el coche por la razón que sea empieza a acelerar o frenar sin razón, tienes que tomar el control, si no lo haces, es TU culpa.
Resumen: Articulo basura ...
vilapicts
Y una persona lo ve y también es engañado. Que caca de publicación son ganas de joder eso es todo
jamajapro
La inteligencia artificial nunca llegará al nivel de la humana.
La humana ve un cartel de 120kh en una autovía, y procura ir a 160kh, eso sí, está muy atenta a los posibles radares que se encuentre.
Anda, dile a la IA que haga eso...
Lo de Terminator es pura imaginación...
marchi3003
Hechs
Es que en un mundo de coches autónomos, las señales deberían desaparecer, ¿no?
Todo debería enviarse al coche mediante ondas que ningún piltrafilla de tres al cuarto pueda manipular tan fácilmente y tendríamos un paisaje urbano mucho menos cargado.
manifaes
Se puede interpretar de varias maneras que van a cojear casi todos los vehículos.
- falta de resolución de las cámaras. Tesla creo recordar que utiliza 2 mega pixeles. Y los milagros a Lourdes.
- el software de reconocimiento de señales es pobre por lo que devuelve el valor de velocidad más cercano a lo que lee.
En este caso debería dar un error de la señal de tráfico. Como comentan las IA hacen milagros pero no llegan al nivel del ser humano. Tenemos una CPU interna que es la leche el cual es capaz de determinar la velocidad de paso por curva, de una forma muy rápida y fiable.
El ser humano puede actuar de muchas formas pero en este caso cuando circula por una zona de la que ha hablan de 35 y no ve bien la señal dudaría y incluso cuando interpreta 85 de velocidad. El conductor dudaría de ese cambio tan brusco en ese tipo de via.
Lo que es preocupante como la gente que han desarrollado ese reconocimiento dicen que no van a realizar nada. Da la sensación de obsolescencia programada.
Opinión personal. Prefiero que marque error o que no marque nada en este caso en concreto.
Maisonier
El problema de los Tesla me parece que son las cámaras de baja calidad y todo para ahorrar costes. Yo no confiaría en una inteligencia artificial, ni aunque fuera la más poderosa del mundo si no puede ver ni siquiera Full HD, en un sistema que debería filmar en muchísima más resolución Y VELOCIDAD (imágenes en alta velocidad más de 300 fps) y que el sensor debería tener un rango más amplio del espectro de colores que incluya infrarrojo para la noche ... igualmente opino desde mi poca información (porque apenas hay detalles específicos del hardware que utilizan las cámaras del Tesla, menciona varias que usan resolución 640x480 y las 3 frontales que no llegan a Full HD).
Pero la única analogía que encuentro a esta tecnología es como poner a un niño con problemas de visión, que recién está aprendiendo a manejar a cargo de un vehículo ...
celduques.ulrikvonca
Algo tan fácil de corregir como un mapa con la señales actualizadas offline o un gps.
TwintiTarantino
Seguramente los humanos lo hacemos mejor, ni nos saltamos las normas ni hay muertos ni heridos en nuestras carreteras.
ernesto.dominguezrod
Eso es premitación, alevosía y como decimos aquí, ¡mala leche! Deberían detener a los autores y darles un castigo ejemplar. Esa tremenda tropelía la puede hacer cualquiera, hasta engañar a cualquier conductor que no utilice ningún tipo de ayuda
Muñeco Repollo
Y por esto se indica en el manual que el conductor ha de estar atento en todo momento.
nadadorlp
Es evidente que no hay nada 100% seguro, e incluso podrían engañar a algún conductor. Es como si alguien para en el arcén y dispara contra los coches que pasan. Alguien puede evitar eso?
juanma.tejerina
No quisiera imaginar como reaciona un Tesla si ve un cartel que diga "Ceda el Faso"
gonzalo.h.manzano
Tengo un Ford focus y he desactivado la adaptación de la velocidad a las señales. Actualmente al menos en el focus, lee señales que no corresponden con la via en la que estás. Por ejemplo, a veces lee la señal de velocidad de una salida de una autopista por lo que de 120km/h te baja 60km/h bruscamente. Esto podría ser un problema para los que vienen detrás.
En cuanto a las curvas el sistema de control adaptativo reduce la velocidad y la adecúa a lo pronunciado de la curva. Cuanto mas cerrada menos velocidad, aunque la ayuda de centrado de carril se desactiva en curvas pronunciadas y te pasa el control total. A día de hoy y hasta que no se hagan adaptaciones en las carreteras para estos vehículos no te puedes fiar.
gerardmarlet
Teniendo en cuenta que la mayoría de carreteras tienen las normativas definitas (Waze te dice la velocidad de la vía y no lee señales) los coches con IA no deberían cotejar las informaciones on-line/GPS contra las de las señales y quedarse siempre con la velocidad más baja por precaución y que el conductor si no le va bien, entonces modífique?
orochi2000
por que siempre veo noticias de problemas en teslas: que le paso esto a alguien, que violaron su software , que tiene riesgo de seguridad en tal parte, NO MEJODN..., que? sabotaje? DE LAS PETROLERAS?, DE LOS FABRICANTES TRADICIONALES DE COMBUSTION?
asaint
Jejeje, nota alarmista.
Mi auto tambien tiene algun tipo de conduccion autonoma. Y si en su aceleracion encuentra un coche enfrente, automaticamente baja la velocidad.
No me parece algo que pueda poner en peligro la seguridad de nadie.
olepinto
Me parece el tipo de cosas que se podría arreglar, pero como es menos sexy, se deja para después.
Hace tiempo escribí un artículo sobre esto (Señales y coches autónomos) en el blog traslapersiana. Nada nuevo.
En resumen, varias ideas:
* Códigos QR, incluso con tinta infrarroja, con redundancia, e incluso con autenticación (pensad en TLS)
* Vincular la información a la posición
Por otra parte, cualquier "duda" debe llevarnos al lado seguro. Si el reconocimiento no es totalmente fiable, mantener la velocidad previa (o al menos no aumentarla).
befree197
Cuanto tiempo libre tiene la peña joder!!