Estados Unidos. Las cámaras de seguridad, los teléfonos inteligentes y los altavoces son solo algunos de los dispositivos que pronto ejecutarán más software de inteligencia artificial para acelerar las tareas de procesamiento de imágenes y habla.
Una técnica de compresión conocida como cuantización está allanando el camino al hacer más pequeños los modelos de aprendizaje profundo para reducir los costos de computación y energía. Pero resulta que los modelos más pequeños hacen que sea más fácil para los atacantes maliciosos engañar a un sistema de inteligencia artificial para que se comporte mal, una preocupación ya que la toma de decisiones más compleja se transfiere a las máquinas.
En un nuevo estudio, los investigadores del MIT e IBM muestran cuán vulnerables son los modelos de IA comprimidos al ataque adversario, y ofrecen una solución: agregue una restricción matemática durante el proceso de cuantificación para reducir las probabilidades de que una IA caiga presa de una imagen ligeramente modificada y clasifican mal lo que ven.
Cuando un modelo de aprendizaje profundo se reduce de los 32 bits estándar a una longitud de bits más baja, es más probable que clasifique erróneamente las imágenes alteradas debido a un efecto de amplificación de error: la imagen manipulada se distorsiona más con cada capa adicional de procesamiento. Al final, es más probable que el modelo confunda un pájaro con un gato, por ejemplo, o una rana con un ciervo.
Los modelos cuantificados a 8 bits o menos son más susceptibles a ataques adversos, muestran los investigadores, con una precisión que cae de un 30-40 por ciento a menos del 10 por ciento a medida que disminuye el ancho de bits. Pero controlar la restricción de Lipschitz durante la cuantización restaura algo de resistencia. Cuando los investigadores agregaron la restricción, vieron pequeñas ganancias de rendimiento en un ataque, con los modelos más pequeños en algunos casos superando al modelo de 32 bits.
"Nuestra técnica limita la amplificación de errores e incluso puede hacer que los modelos comprimidos de aprendizaje profundo sean más robustos que los modelos de precisión completa", dice Song Han, profesor asistente en el Departamento de Ingeniería Eléctrica e Informática del MIT y miembro de los Laboratorios de Tecnología de Microsistemas del MIT. "Con la cuantización adecuada, podemos limitar el error".
El equipo planea mejorar aún más la técnica entrenándola en conjuntos de datos más grandes y aplicándola a una gama más amplia de modelos. "Los modelos de aprendizaje profundo deben ser rápidos y seguros a medida que avanzan en un mundo de dispositivos conectados a Internet", dice el coautor del estudio Chuang Gan, investigador del laboratorio de inteligencia artificial MIT-IBM Watson. "Nuestra técnica de cuantificación defensiva ayuda en ambos frentes".
Al hacer que los modelos de IA sean más pequeños para que funcionen más rápido y usen menos energía, Han está utilizando la IA para superar los límites de la tecnología de compresión del modelo.
En un trabajo reciente relacionado, Han y sus colegas muestran cómo se puede utilizar el aprendizaje por refuerzo para encontrar automáticamente la longitud de bits más pequeña para cada capa en un modelo cuantificado en función de la rapidez con que el dispositivo que ejecuta el modelo puede procesar imágenes. Este enfoque de ancho de bits flexible reduce la latencia y el uso de energía hasta en un 200 por ciento en comparación con un modelo fijo de 8 bits, dice Han.
Fuente: MIT.
