La empresa de seguridad tecnológica Tencent Security Lab Keen hizo público el pasado viernes un informe en el que se detallan varios ciberataques exitosos contra el software de piloto automático de los vehículos Tesla.
Algunos de estos 'hackeos' son más o menos habituales, como la posibilidad de conectar un gamepad al coche de tal forma que anule tanto el piloto automático como el volante del mismo.
Pero otros, destinados a lograr que el vehículo active los limpiaparabrisas aunque no esté lloviendo, o a convencerle de que circule por el carril erróneo de la carretera, entran en una categoría relativamente reciente, que conocemos como 'ataques antagónicos' o 'adversariales'.
La clave: los ataques antagónicos
Pero... ¿qué son los ataques antagónicos? Son, básicamente, métodos para engañar a los sistemas de identificación basados en el uso de redes neuronales.
Estos sistemas, aunque muestran un rendimiento cercano al de los seres humanos (hasta el punto de ser usados en sistemas críticos) son, sin embargo, vulnerables a "muestras antagónicas" capaces de provocar errores en la identificación.
En la mayoría de los casos, dichas muestran se diseñan recurriendo también a redes neuronales. Así, se incorporan a la muestra patrones específicos que no engañan al ojo humano pero sí al software de visión artificial. De este modo se ha llegado a lograr que una IA detecte una escopeta... cuando se le enseña la imagen de una tortuga.
Aclarado esto, ¿cómo fueron capaces los investigadores de Tencent Security Lab Keen de convencer al Tesla para que circulara por el carril contrario?
Los investigadores explican que, en un primer momento, recurrieron a la adición de 'ruido' a las marcas de carril (que aún permitían que éstas fueran perfectamente visibles para los humanos) con el fin de engañar al piloto automático y provocar que fuera incapaz de detectar los carriles.
El diseño adecuado del 'ruido' fue calculado primero en una simulación virtual, y luego ya aplicado en el mundo real.
El siguiente paso, sin embargo, fue utilizar pegatinas que, una vez aplicadas sobre la calzada, engañaban al piloto automático para que internara el vehículo en el carril contrario. De nuevo, el ensayo virtual fue el primer paso antes de usar las pegatinas en una carretera.
"Inducir a error al vehículo piloto automático con algunos parches elaborado por un atacante malintencionado, puede ser en ocasiones más peligroso que dejar de reconocer el carril.
Basta con pintar tres pequeños recuadros poco visible en la imagen tomada desde la cámara [...] para que el vehículo pase a considerar el carril de la izquierda como una continuación del de la derecha".
Los investigadores afirman que la función de reconocimiento de carriles del piloto automático de Tesla muestra un buen comportamiento en situaciones ordinarias (exteriores no sometidos a la interferencia de luz fuerte, lluvia, nieve, arena o polvo), pero que aún no maneja correctamente situaciones como la expuesta en su investigación.
Y avisan: "Este tipo de ataque es fácil de poner en marcha, y los materiales necesarios fáciles de obtener".
"Tesla utiliza una solución basada únicamente en la visión por ordenador para realizar el reconocimiento del carril [y] nuestros experimentos han demostrado que este planteamiento conlleva riesgos para la seguridad".
Imagen | Ian Maddox
Ver 42 comentarios
42 comentarios
tfd
Y con unos conos que robas de una obra haces lo mismo para todo coche que no sea autónomo no te joroba...
Está claro que está empezando y se basa en puntos de reconocimiento pero alterar la calzada me parece empezar la casa por el tejado
crisct
Eso no es hackear un tesla, eso es engañar al sistema de conducción. Como mucho, han hackeado la carretera.
Clickbaiters!
whisper5
El problema no es de Tesla exclusivamente. Es un problema general del llamado aprendizaje profundo (deep learning) que se utiliza para la conducción autónoma y muchas otras cosas.
Supongo que nos hemos dado cuenta de que últimamente ya no hay noticias casi de las empresas dedicadas a la conducción autónoma. Todas aseguraron hace unos pocos años que para 2018 (Tesla) ó 2019 (el resto) tendrían en el mercado coches plenamente autónomos en la conducción. No se ha cumplido ni se va a cumplir. Se sabe que elementos extraños en la carretera, señalizaciones especiales poco habituales (accidentes, nieve, etc.), pegatinas en una señal de tráfico, etc., provocan que la conducción autónoma no funcione correctamente. Hace no mucho se publicó un estudio con el título "Un elefante en la habitación" que demostraba una debilidad enorme en los sistemas de reconocimiento de imágenes: en la imagen de una habitación con objetos fácilmente reconocibles se añadía una fotografía de un elefante y algunos objetos se dejaban de reconocer. Si en vez de una habitación tenemos una calle, el resultado puede ser catastrófico. Se conoce, además, que el reconocimiento visual de objetos es muy frágil. Se pueden modificar unos pocos píxeles de una imagen y deja de reconocerse un objeto. Todas las modificaciones de las imágenes o la presentación de objetos extraños que he comentado nunca impedirían a una persona identificar los objetos y conducir.
Se nos ha vendido un entusiasmo que no tiene justificación. Lo siguiente que oiremos es que nos empezarán a prometer la conducción autónoma para dentro de dos o tres años, sin justificar esas fechas. Los expertos en IA lo saben y lo dicen, aunque intereses comerciales nos digan otra cosa. Todavía no hemos inventado las técnicas de IA para poder desarrollar coches con conducción plenamente autónoma.
davidpacheco
Al Tesla y a cualquier vehículo, mi Mazda 6 que tiene el sistema este de ayuda a mantenerse en el carril entre otros (no el que evita que te salgas) también podría cometer errores. Pero vamos.. es como todo.. también podrían poner obstáculos en las vías de los trenes o soltar clavos en las carreteras...
salomon100
Pienso que todo sistema debe de ser redundante. En este caso si el sistema de tesla se encuentra con algo "raro" debe de recurrir a compararlo con su cartografía y a ir a la base de de incidencias de obras y tráfico.
Es decir, intentar programar "un sentido común" para el autopilot y si te encuentras algo "raro" usar sistemas redundantes para ver que cojones sucede
TOVI
lo que faltaba, que unas pegatinas hagan que tu coche te lleve a otro sitio.
Ideal para un buen secuestro y atraco xD
nada
No te fastidia... y cambiar algunas señales verticales también.
Pero es ilegal.
zarkos
otra técnica de hacking es quitar el stop del cruce y a ver que pasa con los humanos conductores... si nos ponemos así...
Alter
Si detrás de los puntos hay una pared, y el coche se va a donde le digan los puntos, sería facilísimo confundir al autopilot y ocasionar un accidente.
Kolox
La leche, el video es como El securitas Direct chino. Asustaviejas pero de libro... Lógicamente a una cámara claro que la puedes engañar, sea de donde sea xD
Tiempo después anunciarán una marca china que no comete ningún error y tal...
alfre1309
-Ponen 3 trozos de plástico que hace que el autopilot cambie de carril.
-Wow, son son unos hackers de primera!!!
Ahora todos los que quieran que choque un tesla, deberán ir a la carretera a poner sus cacharros y rezar para que pase el coche por ahi y tenga el autopilot puesto.
charlize_gt
Bienvenidos al 1 de Abril...
danieldev
Pero eso sirve para hackear a una persona también.. infinidad de veces por estos lados de América del sur se vieron noticias de desvíos puestos de manera mal intencionada con el fin de sacar a los conductores de la ruta para robarles.. si los conos se pueden comprar en cualquier lado, hasta la ropa de policía también.
ricardo.sanchezmatil
Si alguien esta interesado en saber mas detalles podeis consultar mi ultima publicacion en este tema:
http://www.eecs.qmul.ac.uk/~andrea/papers/2019_ICASSP_ScenePrivacyProtection__Li_Shamsabadi_Sanchez_Mazzon_Cavallaro.pdf
tonialonso
Joder, lo que inventan para crear un titular de hemos hackeado tal cosa...También si robas una señal de dirección prohibida y lo pones en otra calle, bloquearás a todos los coches, eléctricos, diesel y a pedales. Eh, y sin invertir en I+D y barato, eso que os regalo mundo!
Usuario desactivado
Pena de muerte a quien altere estos coches. Verás tú qué rápido dejan de molestar.
temerario
Hackear el tesla? Que yo sepa alterar la señalización de las vias publicas es un delito.
No entiendo la excusa de un tesla, si alteras una simple señal puedes hacer que todos los coductores se metan en direccion contraria por una via y ponerlos en un peligro mas que evidente...