Sony ha reinventado los sensores de imagen: la inteligencia artificial pasa a estar integrada y no necesita conexión a Internet

La mayor parte de nosotros utiliza la inteligencia artificial (IA) a diario, y en muchas ocasiones ni siquiera somos conscientes de estar usándola.

Cada vez que tomamos una fotografía con nuestro smartphone, utilizamos un asistente de voz o vemos una película en un televisor de última generación que requiere escalado estamos recurriendo a esta tecnología.

Lo curioso es que habitualmente el «cerebro» que se encarga de que la IA resuelva nuestras necesidades no reside en nuestros dispositivos. Está en Internet.

El avance que han experimentado las comunicaciones permite que esta estrategia funcione porque consigue que nuestros dispositivos se comuniquen con los servidores en los que reside la IA de una forma casi inmediata, pero también tiene puntos débiles.

Les obliga a estar permanentemente conectados a Internet, y, además, aunque su latencia es relativamente baja, no es despreciable.

Por otro lado, el acceso constante a los servidores en la Nube contribuye a incrementar muchísimo el tráfico en Internet y puede poner en riesgo la seguridad de nuestra información.

Todos estos inconvenientes son los que Sony quiere resolver de un plumazo, y la forma en la que lo ha hecho es cuando menos original: ha colocado la IA dentro de sus sensores de imagen.

Sony IMX500 e IMX501: así es como estos sensores con IA quieren cambiar las reglas.

El punto de partida de estos sensores de imagen es evitar que los dispositivos que los utilizan se vean obligados a acceder a Internet para enviar la información que recogen a los servidores en los que reside la inteligencia artificial.

Y para lograrlo lo que ha hecho Sony es integrar la lógica necesaria para implementar la IA dentro del propio sensor.

Esta estrategia provoca que ni siquiera sea necesario enviar los datos recogidos por el sensor a un DSP dedicado alojado dentro del propio dispositivo, lo que permite abaratar los costos al prescindir de este circuito integrado adicional.

El propio sensor de imagen se encarga de todo. Recoge la luz, genera los datos y los procesa.

Una consecuencia lógica que conlleva la integración de esta tecnología en los captadores es que su estructura se vuelve más compleja.

De hecho, el sensor está formado por dos capas que tienen una función muy diferente.

En la inferior reside la lógica que implementa el motor de inteligencia artificial y la memoria, y en la superior reside la matriz fotosensible que se responsabiliza de recoger la luz y entregar al motor de procesado las señales que necesita interpretar para generar la información con la que la IA va a tener que lidiar.

Lo interesante una vez que hemos llegado a este punto es saber qué se puede hacer con esta inteligencia artificial porque habitualmente la forma en que están implementadas les permite enfrentarse a un tipo concreto de problemas, y no a cualquier reto.

Sony ha confirmado que ha implementado varios modelos diferentes de IA, de manera que es posible habilitar aquel que encaja mejor en el escenario de uso que necesitamos resolver.

Además, los desarrolladores pueden implementar sus propios modelos de IA y reescribir o actualizar los que incorporan por defecto los sensores.

Las posibilidades de estos captadores sobre el papel pintan bien, pero no parece que sea fácil para la inteligencia artificial procesar en tiempo real el torrente de información que son capaces de recoger los fotodiodos del sensor.

Según Sony su motor de IA es tan rápido que consigue procesar cada fotograma completamente antes de empezar a recibir la señal del siguiente, por lo que en poco más de 33 ms es capaz de llevar a cabo todo el trabajo.

Por su tamaño y su resolución los sensores IMX500 e IMX501 encajan bien en un abanico muy amplio de dispositivos, como smartphones, cámaras de fotos, cámaras de videovigilancia, altavoces inteligentes, carros autónomos, etc.

De hecho, aspiran a ser integrados en cualquier dispositivo que pueda sacar partido al reconocimiento de imágenes y patrones, y que, además, pueda beneficiarse de la reducción de la latencia y la protección de la información personal que ofrece una IA integrada en el propio dispositivo, y no en Internet.

Los escenarios de uso en los que se puede utilizar un sensor de imagen que es capaz de «entender» por sí solo las imágenes que está recogiendo son muy diversos.

Se puede usar en las cámaras de videovigilancia que supervisan el acceso a un local para comprobar si las personas que transitan llevan o no puesta una mascarilla.

También se puede utilizar en las cámaras de los supermercados para identificar los productos que están siendo comprados por los clientes y contabilizarlos de forma automática sin necesidad de llevar a cabo una revisión de las existencias a posteriori.

Una aplicación un poco más cercana, que, además, ha sido propuesta por Sony, consiste en integrar uno de estos sensores en un altavoz inteligente para que sea capaz de reconocer el rostro de la persona que está interactuando con él.

De esta manera el dispositivo podría ofrecer un trato personalizado a cada uno de los miembros de la familia.

Y, por supuesto, sobre el papel estos sensores también encajan bien en los smartphones, por lo que cabe la posibilidad de que no tardemos en encontrarlos en alguno de los teléfonos móviles que llegarán al mercado durante los próximos meses.

Fuentes: Xataca, Hipertextual