Una cámara de eventos (también llamada cámara neuromórfica,[1] retina de silicio,[2] o sensor de visión dinámico[3]) es un sensor de visión que detecta cambios de brillo individuales. Las cámaras de eventos no capturan imágenes utilizando un obturador como lo hacen las cámaras convencionales (reportando imágenes a intervalos regulares). En una cámara de eventos cada pixel opera de manera independiente y asíncrona, reportando los cambios de brillo conforme ocurren en la escena, e interrumpiendo la salida si no hay movimiento.
Funcionamiento
editarLos píxeles en una cámara de eventos registran de manera independiente los cambios de brillo en la escena a medida que ocurren. [4] Cada píxel guarda un nivel de brillo de referencia y lo compara continuamente con el nivel de brillo actual. Cuando la diferencia de brillo excede determinado umbral, ese píxel restablece su nivel de referencia y genera un evento.
Cada evento contiene la posición del píxel (x,y) y una marca de tiempo con resolución de microsegundos y puede incluir la polaridad del cambio (aumento o disminución de brillo). En algunos modelos, también se incluye medidas de la intensidad de iluminación.[5]
Este funcionamiento asíncrono permite una detección extremadamente rápida de cambios en la escena, lo que resulta en muy baja latencia y bajo consumo de energía.[6] La cantidad de eventos generados depende de la dinámica de la escena: en entornos estáticos puede ser una deteccion nula, mientras que en escenas rápidas o con mucha variación luminosa se produce una cantidad en torno a los millones de eventos en un segundo.
Tipos
editarExisten dos tipos principales de sensores de cámaras de eventos: el DVS [4] (sensor de visión dinámica), que genera eventos asíncronos indicando cambios en el brillo (polaridad), y el DAVIS [7] (sensor de visión dinámico y de píxeles activos), que combina el DVS con un sensor de píxeles activos convencional (APS). Por lo tanto, tiene la capacidad de producir fotogramas de imágenes junto con eventos. Muchas cámaras de eventos también incorporan una unidad de medición inercial (IMU).
Aplicaciones
editarLas cámaras de eventos han sido adoptadas en una variedad de campos debido a sus características ideales para entornos desafiantes.
Robótica y drones
editarSe han utilizado para estimación de orientación, odometría visual y control de vuelo rápido[8] en drones. Además, se emplean en algoritmos de SLAM y mapeo, especialmente en entornos donde las cámaras tradicionales fallan.
Conducción autónoma
editarSe han integrado en sistemas de predicción de dirección usando aprendizaje profundo sobre eventos, para mejorar robustez frente a movimientos rápidos y cambios de iluminación.[6]
Referencias
editar- ↑ Li, Hongmin; Liu, Hanchao; Ji, Xiangyang; Li, Guoqi; Shi, Luping (2017). «CIFAR10-DVS: An Event-Stream Dataset for Object Classification». Frontiers in Neuroscience (en inglés) 11: 309. ISSN 1662-453X. PMC 5447775. PMID 28611582. doi:10.3389/fnins.2017.00309.
- ↑ Sarmadi, Hamid; Muñoz-Salinas, Rafael; Olivares-Mendez, Miguel A.; Medina-Carnicer, Rafael (2021). «Detection of Binary Square Fiducial Markers Using an Event Camera». IEEE Access 9: 27813-27826. Bibcode:2021IEEEA...927813S. ISSN 2169-3536. arXiv:2012.06516. doi:10.1109/ACCESS.2021.3058423.
- ↑ Liu, Min; Delbruck, Tobi (May 2017). «Block-matching optical flow for dynamic vision sensors: Algorithm and FPGA implementation». 2017 IEEE International Symposium on Circuits and Systems (ISCAS). pp. 1-4. ISBN 978-1-4673-6853-7. doi:10.1109/ISCAS.2017.8050295. Consultado el 27 de junio de 2021.
- ↑ a b Lichtsteiner, P.; Posch, C.; Delbruck, T. (February 2008). «A 128×128 120 dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor». IEEE Journal of Solid-State Circuits 43 (2): 566-576. Bibcode:2008IJSSC..43..566L. ISSN 0018-9200. doi:10.1109/JSSC.2007.914337. Archivado desde el original el 3 de mayo de 2021. Consultado el 6 de diciembre de 2019.
- ↑ Posch, C.; Matolin, D.; Wohlgenannt, R. (January 2011). «A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS». IEEE Journal of Solid-State Circuits 46 (1): 259-275. Bibcode:2011IJSSC..46..259P. ISSN 0018-9200. doi:10.1109/JSSC.2010.2085952.
- ↑ a b Gallego, Guillermo (Jan. 2022). «Event-based Vision: A Survey». IEEE Transactions on Pattern Analysis and Machine Intelligence. «G. Gallego et al., "Event-Based Vision: A Survey" in IEEE Transactions on Pattern Analysis & Machine Intelligence, vol. 44, no. 01, pp. 154-180, Jan. 2022, doi: 10.1109/TPAMI.2020.3008413.»
- ↑ Brandli, C.; Berner, R.; Yang, M.; Liu, S.; Delbruck, T. (October 2014). «A 240 × 180 130 dB 3 µs Latency Global Shutter Spatiotemporal Vision Sensor». IEEE Journal of Solid-State Circuits 49 (10): 2333-2341. Bibcode:2014IJSSC..49.2333B. ISSN 0018-9200. doi:10.1109/JSSC.2014.2342715.
- ↑ «Towards Low-Latency High-Bandwidth Control of Quadrotors using Event Cameras». IEEE International Conference on Robotics and Automation. «R. S. Dimitrova, M. Gehrig, D. Brescianini and D. Scaramuzza, "Towards Low-Latency High-Bandwidth Control of Quadrotors using Event Cameras," 2020 IEEE International Conference on Robotics and Automation (ICRA), Paris, France, 2020, pp. 4294-4300, doi: 10.1109/ICRA40945.2020.9197530.»
Datos: Q85759931
