¿Qué yo?

Cinco conclusiones de un experto en automatización recién llegado a la agencia de seguridad vial de EE. UU.

Este robotaxi Cruise autónomo se quedó atascado en un cruce de San Francisco en 2019, lo que molestó a los peatones.

En 2016, apenas unas semanas Antes de que el piloto automático de su Tesla llevara a Joshua Brown a la muerte, supliqué al Comité de Comercio, Ciencia y Transporte del Senado de Estados Unidos que regulara el uso de inteligencia artificial en los vehículos. Ni mi alegato ni la muerte de Brown pudieron incitar al gobierno a actuar.

Desde entonces, la IA automotriz en los Estados Unidos se ha relacionado con al menos 25 muertes confirmadas y con cientos de lesiones y casos de daños a la propiedad.

La falta de comprensión técnica entre la industria y el gobierno es atroz. La gente no entiende que la IA que hace funcionar los vehículos (tanto los que funcionan en modos de conducción autónoma como el número mucho mayor de coches que ofrecen sistemas avanzados de asistencia a la conducción (ADAS)) se basa en los mismos principios que ChatGPT y otros grandes lenguajes. modelos (LLM). Estos sistemas controlan la posición lateral y longitudinal de un automóvil (cambiar de carril, frenar y acelerar) sin esperar órdenes de la persona sentada detrás del volante.

Ambos tipos de IA utilizan el razonamiento estadístico para adivinar cuál debería ser la siguiente palabra, frase o entrada de dirección, ponderando en gran medida el cálculo con palabras o acciones utilizadas recientemente. Vaya a la ventana de búsqueda de Google y escriba "ahora es el momento" y obtendrá el resultado "ahora es el momento para todos los hombres buenos". Y cuando su automóvil detecte un objeto en el camino, incluso si es solo una sombra, observe cómo el módulo de conducción autónoma del automóvil frena repentinamente.

Ni la IA de los LLM ni la de los coches autónomos pueden “comprender” la situación, el contexto o cualquier factor no observado que una persona consideraría en una situación similar. La diferencia es que, si bien un modelo de lenguaje puede darte tonterías, un coche autónomo puede matarte.

A finales de 2021, a pesar de recibir amenazas a mi seguridad física por atreverme a decir la verdad sobre los peligros de la IA en los vehículos, acepté trabajar con la Administración Nacional de Seguridad del Tráfico en las Carreteras de EE. UU. (NHTSA) como asesor principal de seguridad. Lo que me calificó para el trabajo fue un doctorado centrado en el diseño de sistemas conjuntos automatizados por humanos y 20 años de diseño y prueba de sistemas no tripulados, incluidos algunos que ahora se utilizan en el ejército, la minería y la medicina.

Mi tiempo en la NHTSA me brindó una visión de primera mano de cómo funcionan o no las aplicaciones de la IA en el transporte en el mundo real. También me mostró los problemas intrínsecos de la regulación, especialmente en nuestro actual panorama político divisivo. Mi inmersión profunda me ha ayudado a formular cinco ideas prácticas. Creo que pueden servir como guía para la industria y las agencias que los regulan.

En febrero de 2023, este automóvil Waymo se detuvo en una calle de San Francisco, obstruyendo el tráfico detrás de él. ¿La razón? La puerta trasera no estaba completamente cerrada. Terry Chea/AP

Los defensores de los vehículos autónomos afirman habitualmente que cuanto antes nos deshagamos de los conductores, más seguros estaremos todos en las carreteras. Citan la estadística de la NHTSA de que el 94 por ciento de los accidentes son causados ​​por conductores humanos. Pero esta estadística está fuera de contexto y es inexacta. Como señaló la propia NHTSA en ese informe, el error del conductor fue “el último evento en la cadena causal del accidente…. No debe interpretarse como la causa del accidente”. En otras palabras, también había muchas otras causas posibles, como una iluminación deficiente y un mal diseño de las carreteras.

Además, la afirmación de que los coches autónomos serán más seguros que los conducidos por humanos ignora lo que cualquiera que haya trabajado en el desarrollo de software sabe muy bien: que el código de software es increíblemente propenso a errores, y el problema sólo crece a medida que los sistemas se vuelven más complejos. .

Si bien un modelo de lenguaje puede darte tonterías, un vehículo autónomo puede matarte.

Considere estos fallos recientes en los que el culpable fue el software defectuoso. Estuvo el choque en octubre de 2021 de un automóvil sin conductor Pony.ai contra un letrero, el choque en abril de 2022 de un remolque de tractor TuSimple contra una barrera de concreto, el choque en junio de 2022 de un robotaxi Cruise que se detuvo repentinamente mientras giraba a la izquierda, y el Accidente en marzo de 2023 de otro automóvil Cruise que chocó por detrás a un autobús.

Estos y muchos otros episodios dejan claro que la IA no ha puesto fin al papel del error humano en los accidentes de tráfico. Ese papel simplemente ha pasado del final de una cadena de acontecimientos al principio: a la codificación de la propia IA. Como esos errores están latentes, son mucho más difíciles de mitigar. Las pruebas, tanto en simulación como predominantemente en el mundo real, son la clave para reducir la posibilidad de que se produzcan tales errores, especialmente en sistemas críticos para la seguridad. Sin embargo, sin una regulación gubernamental suficiente y estándares industriales claros, las empresas de vehículos autónomos tomarán atajos para llevar sus productos al mercado rápidamente.

Un modelo de lenguaje grande adivina qué palabras y frases siguen consultando un archivo recopilado durante el entrenamiento a partir de datos preexistentes. Un módulo de conducción autónoma interpreta la escena y decide cómo sortear los obstáculos haciendo conjeturas similares, basándose en una base de datos de imágenes etiquetadas (esto es un automóvil, este es un peatón, este es un árbol) que también se proporciona durante el entrenamiento. Pero no todas las posibilidades pueden modelarse, por lo que los innumerables modos de falla son extremadamente difíciles de predecir. En igualdad de condiciones, un vehículo autónomo puede comportarse de manera muy diferente en el mismo tramo de carretera en diferentes momentos del día, posiblemente debido a los diferentes ángulos del sol. Y cualquiera que haya experimentado con un LLM y haya cambiado solo el orden de las palabras en un mensaje verá inmediatamente una diferencia en las respuestas del sistema.

Un modo de falla que no se había previsto anteriormente es el frenado fantasma. Sin ninguna razón obvia, un automóvil autónomo frena repentinamente con fuerza, provocando tal vez una colisión trasera con el vehículo que está justo detrás de él y otros vehículos más atrás. El frenado fantasma se ha observado en vehículos autónomos de muchos fabricantes diferentes y también en vehículos equipados con ADAS.

Ross Gerber, al volante, y Dan O'Dowd, al volante, observan cómo un Tesla Model S, ejecutando el software de conducción autónoma total, pasa una señal de alto.

EL PROYECTO AMANECER

La causa de tales acontecimientos sigue siendo un misterio. Inicialmente, los expertos lo atribuyeron a que los conductores humanos seguían demasiado de cerca al automóvil autónomo (a menudo acompañaban sus evaluaciones citando la estadística engañosa del 94 por ciento sobre el error del conductor). Sin embargo, se ha informado a la NHTSA de un número cada vez mayor de estos accidentes. En mayo de 2022, por ejemplo, la NHTSA envió una carta a Tesla en la que señalaba que la agencia había recibido 758 quejas sobre frenado fantasma en los coches Model 3 e Y. En mayo pasado, la publicación alemana Handelsblat informó sobre 1.500 quejas de problemas de frenado con vehículos Tesla, así como 2.400 quejas de aceleración repentina. Ahora parece que los coches autónomos experimentan aproximadamente el doble de tasa de colisiones por alcance que los coches conducidos por personas.

Es evidente que la IA no está funcionando como debería. Además, este no es un problema de una sola empresa: todas las empresas automotrices que aprovechan la visión por computadora y la inteligencia artificial son susceptibles a este problema.

A medida que otros tipos de IA comienzan a infiltrarse en la sociedad, es imperativo que los organismos de normalización y los reguladores comprendan que los modos de falla de la IA no seguirán un camino predecible. También deberían tener cuidado con la propensión de las empresas automotrices a excusar el mal comportamiento tecnológico y culpar a los humanos por el abuso o el mal uso de la IA.

Hace diez años, hubo mucha preocupación por el surgimiento del Watson de IBM basado en inteligencia artificial, un precursor de los LLM actuales. La gente temía que la IA causara muy pronto pérdidas masivas de empleos, especialmente en el campo médico. Mientras tanto, algunos expertos en IA dijeron que deberíamos dejar de formar radiólogos.

Estos temores no se materializaron. Si bien Watson podía ser bueno haciendo conjeturas, no tenía ningún conocimiento real, especialmente cuando se trataba de emitir juicios en condiciones de incertidumbre y decidir una acción basada en información imperfecta. Los LLM de hoy no son diferentes: los modelos subyacentes simplemente no pueden hacer frente a la falta de información y no tienen la capacidad de evaluar si sus estimaciones son lo suficientemente buenas en este contexto.

Estos problemas se ven habitualmente en el mundo de la conducción autónoma. El accidente de junio de 2022 que involucró a un robotaxi Cruise ocurrió cuando el automóvil decidió realizar un giro agresivo a la izquierda entre dos automóviles. Como detalló el experto en seguridad automovilística Michael Woon en un informe sobre el accidente, el coche eligió correctamente un camino viable, pero a mitad de la curva frenó bruscamente y se detuvo en medio de la intersección. Había adivinado que un coche que circulaba en sentido contrario por el carril derecho iba a girar, aunque no era físicamente posible girar a la velocidad que circulaba. La incertidumbre confundió al Crucero y tomó la peor decisión posible. El auto que venía en sentido contrario, un Prius, no giraba y chocó contra el Cruise, hiriendo a los pasajeros de ambos autos.

Los vehículos de crucero también han tenido muchas interacciones problemáticas con los socorristas, quienes por defecto operan en áreas de gran incertidumbre. Estos encuentros han incluido autos de crucero que viajan a través de escenas activas de extinción de incendios y rescate y conducen sobre líneas eléctricas caídas. En un incidente, un bombero tuvo que romper la ventana del auto Cruise para sacarlo del lugar. Waymo, el principal rival de Cruise en el negocio de los robotaxi, ha experimentado problemas similares.

Estos incidentes muestran que, aunque las redes neuronales pueden clasificar muchas imágenes y proponer un conjunto de acciones que funcionan en entornos comunes, tienen dificultades para realizar incluso operaciones básicas cuando el mundo no coincide con sus datos de entrenamiento. Lo mismo ocurrirá con los LLM y otras formas de IA generativa. Lo que les falta a estos sistemas es juicio ante la incertidumbre, un precursor clave del conocimiento real.

Dado que las redes neuronales sólo pueden ser efectivas si se entrenan con cantidades significativas de datos relevantes, la calidad de los datos es primordial. Pero este tipo de entrenamiento no es un escenario único: los modelos no pueden entrenarse y luego enviarse para que funcionen bien para siempre. En entornos dinámicos como la conducción, los modelos deben actualizarse constantemente para reflejar nuevos tipos de automóviles, bicicletas y scooters, zonas de construcción, patrones de tráfico, etc.

En el accidente de marzo de 2023, en el que un automóvil Cruise chocó contra la parte trasera de un autobús articulado, los expertos se sorprendieron, ya que muchos creían que tales accidentes eran casi imposibles para un sistema que incluye lidar, radar y visión por computadora. Cruise atribuyó el accidente a un modelo defectuoso que había adivinado dónde estaría la parte trasera del autobús basándose en las dimensiones de un autobús normal; Además, el modelo rechazó los datos lidar que detectaron correctamente el autobús.

El código de software es increíblemente propenso a errores y el problema sólo crece a medida que los sistemas se vuelven más complejos.

Este ejemplo destaca la importancia de mantener la vigencia de los modelos de IA. La “deriva del modelo” es un problema conocido en la IA y ocurre cuando las relaciones entre los datos de entrada y salida cambian con el tiempo. Por ejemplo, si una flota de vehículos autónomos opera en una ciudad con un tipo de autobús, y luego la flota se traslada a otra ciudad con diferentes tipos de autobuses, el modelo subyacente de detección de autobuses probablemente variará, lo que podría tener graves consecuencias.

Esta deriva afecta a la IA que trabaja no sólo en el transporte sino en cualquier campo donde los nuevos resultados cambian continuamente nuestra comprensión del mundo. Esto significa que los grandes modelos de lenguaje no pueden aprender un nuevo fenómeno hasta que haya perdido el filo de su novedad y aparezca con suficiente frecuencia como para incorporarlo al conjunto de datos. Mantener la moneda del modelo es solo una de las muchas formas en que la IA requiere un mantenimiento periódico, y cualquier discusión sobre la regulación de la IA en el futuro debe abordar este aspecto crítico.

Los vehículos autónomos han sido diseñados para detenerse en seco en el momento en que ya no pueden razonar y ya no pueden resolver la incertidumbre. Esta es una característica de seguridad importante. Pero, como han demostrado Cruise, Tesla y Waymo, gestionar esas paradas plantea un desafío inesperado.

Un automóvil detenido puede bloquear carreteras e intersecciones, a veces durante horas, estrangulando el tráfico y manteniendo alejados a los vehículos de primera respuesta. Las empresas han instituido centros de monitoreo remoto y equipos de acción rápida para mitigar tal congestión y confusión, pero al menos en San Francisco, donde cientos de autos sin conductor circulan por las calles, los funcionarios de la ciudad han cuestionado la calidad de sus respuestas.

Los automóviles autónomos dependen de la conectividad inalámbrica para mantener su conocimiento de la carretera, pero ¿qué sucede cuando esa conectividad disminuye? Un conductor lo descubrió por las malas cuando su automóvil quedó atrapado en un grupo de 20 vehículos Cruise que habían perdido la conexión con el centro de operaciones remotas y provocaron un enorme atasco de tráfico.

Por supuesto, se puede esperar que cualquier tecnología nueva sufra problemas de crecimiento, pero si estos problemas se vuelven lo suficientemente graves, erosionarán la confianza y el apoyo del público. El sentimiento hacia los vehículos autónomos solía ser optimista en San Francisco, un lugar amigable con la tecnología, pero ahora ha dado un giro negativo debido a la gran cantidad de problemas que está experimentando la ciudad. Estos sentimientos pueden eventualmente conducir al rechazo público de la tecnología si un vehículo autónomo detenido causa la muerte de una persona a la que se le impidió llegar al hospital a tiempo.

Entonces, ¿qué dice la experiencia de los vehículos autónomos sobre la regulación de la IA en términos más generales? Las empresas no solo deben asegurarse de comprender las implicaciones más amplias de la IA a nivel de sistemas, sino que también necesitan supervisión: no se les debe dejar que se controlen ellas mismas. Las agencias reguladoras deben trabajar para definir límites operativos razonables para los sistemas que utilizan IA y emitir permisos y regulaciones en consecuencia. Cuando el uso de la IA presenta riesgos claros para la seguridad, las agencias no deben ceder ante la industria la búsqueda de soluciones y deben ser proactivas a la hora de establecer límites.

La IA todavía tiene un largo camino por recorrer en automóviles y camiones. No estoy pidiendo una prohibición de los vehículos autónomos. El uso de la IA tiene claras ventajas, y es irresponsable que la gente pida una prohibición, o incluso una pausa, de la IA. Pero necesitamos más supervisión gubernamental para evitar la asunción de riesgos innecesarios.

Y, sin embargo, la regulación de la IA en los vehículos aún no se ha producido. Esto puede atribuirse en parte a las presiones y reclamos excesivos de la industria, pero también a la falta de capacidad por parte de los reguladores. La Unión Europea ha sido más proactiva a la hora de regular la inteligencia artificial en general y en los vehículos autónomos en particular. En Estados Unidos, simplemente no tenemos suficiente gente en los departamentos de transporte federales y estatales que entiendan la tecnología lo suficientemente profundamente como para abogar eficazmente por políticas y regulaciones públicas equilibradas. Lo mismo ocurre con otros tipos de IA.

Este no es un problema de cualquier administración. La IA no sólo trasciende las líneas partidistas, sino que también atraviesa todas las agencias y todos los niveles de gobierno. El Departamento de Defensa, el Departamento de Seguridad Nacional y otros organismos gubernamentales sufren de una fuerza laboral que no tiene la competencia técnica necesaria para supervisar de manera efectiva las tecnologías avanzadas, especialmente la IA en rápida evolución.

Para entablar un debate eficaz sobre la regulación de la IA, todos los participantes en la mesa deben tener competencia técnica en IA. En este momento, estas discusiones están muy influenciadas por la industria (que tiene un claro conflicto de intereses) o Chicken Littles que afirman que las máquinas han logrado la capacidad de burlar a los humanos. Hasta que las agencias gubernamentales cuenten con personas con las habilidades para comprender las fortalezas y debilidades críticas de la IA, las conversaciones sobre regulación verán muy pocos avances significativos.

Reclutar a esas personas es fácil. Mejorar las estructuras de salarios y bonificaciones, integrar personal gubernamental en laboratorios universitarios, recompensar a los profesores por servir en el gobierno, proporcionar certificados avanzados y programas de grado en IA para todos los niveles de personal gubernamental y ofrecer becas para estudiantes universitarios que acepten servir en el gobierno durante un unos años después de graduarse. Además, para educar mejor al público, las clases universitarias que enseñen temas de IA deberían ser gratuitas.

Necesitamos menos histeria y más educación para que la gente pueda comprender las promesas pero también las realidades de la IA.