27 de Marzo - En los últimos años, los especialistas en robótica y los informáticos han estado desarrollando una amplia gama de sistemas que pueden detectar objetos en su entorno y navegar en consecuencia. La mayoría de estos sistemas se basan en algoritmos de aprendizaje automático y aprendizaje profundo entrenados en grandes conjuntos de datos de imágenes.

Si bien ahora existen numerosos conjuntos de datos de imágenes para entrenar modelos de aprendizaje automático, los que contienen datos recopilados con sensores de radar aún son escasos, a pesar de las ventajas significativas de los radares sobre los sensores ópticos. Además, muchos de los conjuntos de datos de radar de código abierto disponibles no son fáciles de usar para diferentes aplicaciones de usuario.

Investigadores de la Universidad de Arizona han desarrollado recientemente un nuevo enfoque para generar automáticamente conjuntos de datos que contienen imágenes de cámaras de datos de radar etiquetadas. Este enfoque, presentado en un artículo publicado en IEEE Robotics and Automation Letters, utiliza un algoritmo de detección de objetos de alta precisión en el flujo de imágenes de la cámara (llamado YOLO) y una técnica de asociación (conocida como el algoritmo húngaro) para etiquetar la nube de puntos del radar.

"Las aplicaciones de aprendizaje profundo que usan radar requieren una gran cantidad de datos de entrenamiento etiquetados, y el etiquetado de datos de radar no es trivial, es un proceso extremadamente lento y laborioso, que se lleva a cabo principalmente comparándolos manualmente con un flujo de datos de imágenes obtenido en paralelo". Arindam Sengupta, un Ph.D. estudiante de la Universidad de Arizona e investigador principal del estudio, dijo a TechXplore. "Nuestra idea aquí era que si la cámara y el radar miran el mismo objeto, en lugar de mirar las imágenes manualmente, podemos aprovechar un marco de detección de objetos basado en imágenes (YOLO en nuestro caso) para etiquetar automáticamente los datos del radar".

Tres rasgos característicos del enfoque introducido por Sengupta y sus colegas son sus capacidades de cocalibración, agrupación y asociación. El enfoque cocalibra un radar y su cámara para determinar cómo se traduciría la ubicación de un objeto detectado por el radar en términos de píxeles digitales de una cámara.

"Utilizamos un esquema de agrupamiento basado en la densidad (DBSCAN) para a) detectar y eliminar el ruido/retornos de radar perdidos; y b) segregar los retornos de radar en grupos para distinguir entre objetos distintos", dijo Sengupta. "Finalmente, se utiliza un algoritmo húngaro (HA) intra-trama e inter-trama para la asociación. La HA intra-trama asoció las predicciones de YOLO a los grupos de radar cocalibrados en una trama dada, mientras que la HA inter-trama asoció los grupos de radar pertenecientes al mismo objeto en fotogramas consecutivos para tener en cuenta el etiquetado de datos de radar en fotogramas, incluso cuando los sensores ópticos fallan de forma intermitente".

En el futuro, el nuevo enfoque introducido por este equipo de investigadores podría ayudar a automatizar la generación de conjuntos de datos de cámara de radar y solo de radar. Además, en su artículo, el equipo exploró esquemas de clasificación de prueba de concepto basados ​​en un enfoque de fusión de sensor de cámara de radar y en datos recopilados solo por radares.

"También sugerimos el uso de un vector de características de radar de 12 dimensiones efectivo, construido usando una combinación de estadísticas espaciales, Doppler y RCS, en lugar del uso tradicional de solo la distribución de nubes de puntos o solo los datos de micro-doppler". Sengupta dijo.

En última instancia, el estudio reciente realizado por Sengupta y sus colegas podría abrir nuevas posibilidades para la investigación y el entrenamiento rápidos de modelos basados ​​en el aprendizaje profundo para clasificar o rastrear objetos mediante la fusión de sensores. Estos modelos podrían ayudar a mejorar el rendimiento de numerosos sistemas robóticos, desde vehículos autónomos hasta pequeños robots.

"Nuestro laboratorio en la Universidad de Arizona lleva a cabo investigaciones sobre radares mmWave basados ​​en datos dirigidos a dominios autónomos, de salud, defensa y transporte", dijo a TechXplore el Dr. Siyang Cao, profesor asistente de la Universidad de Arizona e investigador principal del estudio. . "Algunas de nuestras investigaciones en curso incluyen la investigación de esquemas de seguimiento sólidos basados ​​en la fusión de sensores y la mejora adicional de la percepción del radar de onda milimétrica independiente mediante el procesamiento clásico de señales y el aprendizaje profundo".