En Apple creemos que la privacidad es un derecho humano fundamental. Nuestro trabajo para proteger la privacidad del usuario se basa en un conjunto de principios de privacidad, y uno de esos principios es priorizar el uso del procesamiento en el dispositivo. Al realizar cálculos localmente en el dispositivo de un usuario, ayudamos a minimizar la cantidad de datos que se comparten con Apple u otras entidades. Por supuesto, un usuario puede solicitar experiencias en el dispositivo impulsadas por aprendizaje automático (ML) que pueden enriquecerse buscando conocimiento global alojado en servidores. Para mantener nuestro compromiso con la privacidad mientras brindamos estas experiencias, hemos implementado una combinación de tecnologías para ayudar a garantizar que estas búsquedas de servidores sean privadas, eficientes y escalables.
Una de las tecnologías clave que utilizamos para hacer esto es el cifrado homomórfico (HE), una forma de criptografía que permite el cálculo de datos cifrados. (ver Figura 1). HE está diseñado para que un dispositivo cliente cifre una consulta antes de enviarla a un servidor, y el servidor opera con la consulta cifrada y genera una respuesta cifrada, que luego el cliente descifra. El servidor no descifra la solicitud original ni siquiera tiene acceso a la clave de descifrado, por lo que HE está diseñado para mantener la consulta del cliente privada durante todo el proceso.
En Apple, utilizamos HE junto con otras tecnologías que preservan la privacidad para habilitar una variedad de funciones, incluidas búsquedas de bases de datos privadas y ML. También utilizamos una serie de optimizaciones y técnicas para equilibrar la sobrecarga computacional de HE con las demandas de latencia y eficiencia de las aplicaciones de producción a escala. En este artículo, compartimos una descripción general de cómo utilizamos HE junto con tecnologías como la recuperación de información privada (PIR) y la búsqueda privada de vecino más cercano (PNNS), así como una visión detallada de cómo combinamos estas y otras tecnologías para preservar la privacidad. Técnicas en producción para potenciar la búsqueda visual mejorada de fotos y al mismo tiempo proteger la privacidad del usuario. (ver Figura 2).
La introducción de HE en el ecosistema de Apple proporciona protecciones de privacidad que nos permiten enriquecer las experiencias en el dispositivo con búsquedas de servidores privados y, para facilitar que la comunidad de desarrolladores adopte HE de manera similar para sus propias aplicaciones, hemos abierto -de origen cifrado-homomorfo-rápidouna biblioteca de educación superior. Ver esta publicación para más información.
Implementación de Apple del cifrado homomórfico
Nuestra implementación de HE debe permitir que las operaciones comunes a los flujos de trabajo de ML se ejecuten de manera eficiente a escala, al tiempo que se logra un nivel de seguridad extremadamente alto. Hemos implementado el esquís de freno–Fan-Vercauteren (BFV) Esquema HE, que admite operaciones homomórficas que son muy adecuadas para el cálculo (como productos escalares o similitud de cosenos) en vectores de incrustación que son comunes a los flujos de trabajo de ML. Usamos parámetros BFV que logran una seguridad poscuántica de 128 bits, lo que significa que brindan una sólida seguridad contra ataques cuánticos tanto clásicos como potenciales futuros (explicados anteriormente en esta publicación).
HE sobresale en entornos donde un cliente necesita buscar información en un servidor mientras mantiene cifrado el cálculo de la búsqueda. Primero mostramos cómo HE por sí solo permite que el servidor preserve la privacidad busque coincidencias exactas con la recuperación de información privada (PIR), y luego describimos cómo puede servir aplicaciones más complejas con ML al combinar coincidencias aproximadas con la búsqueda privada del vecino más cercano (PNNS).
Recuperación de información privada (PIR)
Varios casos de uso requieren que un dispositivo recupere de forma privada una coincidencia exacta con una consulta de una base de datos del servidor, como recuperar el logotipo comercial apropiado y la información para mostrar con un correo electrónico recibido (un característica que llegará a la aplicación Mail en iOS 18 a finales de este año), proporcionar información de identificación de llamadas en una llamada telefónica entrante o verificar si una URL se ha clasificado como contenido para adultos (como se hace cuando un padre ha establecido restricciones de contenido para el iPhone o iPad de su hijo (ver Figura 3). Para proteger la privacidad, la información relevante debe recuperarse sin revelar la consulta en sí, por ejemplo, en estos casos, la empresa que envió el correo electrónico al usuario, el número de teléfono que llamó al usuario o la URL que se está verificando.
Figura 2A: Funciones que utilizan la recuperación de información privada: identificador de llamadas.
Figura 2B: Funciones que utilizan la recuperación de información privada: correo.
Figura 2C: Funciones que utilizan la recuperación de información privada: filtrado de sitios web.
Para estos flujos de trabajo, utilizamos la recuperación de información privada (PIR), una forma de búsqueda privada en la base de datos de valores de palabras clave. Con este proceso, un cliente tiene una palabra clave privada y busca recuperar el valor asociado de un servidor, sin descargar la base de datos completa. Para mantener la palabra clave privada, el cliente la cifra antes de enviarla al servidor. El servidor realiza cálculos HE entre el texto cifrado entrante y su base de datos, y envía el valor cifrado resultante al dispositivo solicitante, que lo descifra para conocer el valor asociado con la palabra clave. A lo largo de este proceso, el servidor no aprende la palabra clave privada del cliente ni el resultado recuperado, ya que opera con el texto cifrado del cliente. Por ejemplo, en el caso del filtrado de contenidos web, la URL se cifra y se envía al servidor. El servidor realiza cálculos cifrados en el texto cifrado con URL en su base de datos, cuya salida también es un texto cifrado. Este resultado cifrado se envía al dispositivo, donde se descifra para identificar si el sitio web debe bloquearse según los controles de restricción parental.
Búsqueda privada de vecino más cercano (PNNS)
Para los casos de uso que requieren una coincidencia aproximada, utilizamos la búsqueda privada del vecino más cercano (PNNS) de Apple, un proceso eficiente de recuperación de bases de datos privadas para una coincidencia aproximada en incrustaciones de vectores, descrito en el documento Scalable Private Search with Wally. Con PNNS, el cliente cifra una incrustación de vector y envía el texto cifrado resultante como una consulta al servidor. El servidor realiza cálculos HE para realizar una búsqueda del vecino más cercano y envía los valores cifrados resultantes al dispositivo solicitante, que los descifra para conocer el vecino más cercano a su consulta incrustada. De manera similar a PIR, durante este proceso, el servidor no aprende la incrustación privada del cliente ni los resultados recuperados, ya que opera con el texto cifrado del cliente.
Al utilizar técnicas como PIR y PNNS en combinación con HE y otras tecnologías, podemos crear experiencias en el dispositivo que aprovechan la información de grandes bases de datos del lado del servidor y, al mismo tiempo, protegen la privacidad del usuario.
Implementación de estas técnicas en producción
La búsqueda visual mejorada de fotos, que permite al usuario buscar en su biblioteca de fotos ubicaciones específicas, como puntos de referencia y puntos de interés, es un ejemplo ilustrativo de una función útil que combina ML con HE y búsquedas de servidores privados. Al utilizar PNNS, el dispositivo de un usuario consulta de forma privada un índice global de monumentos y puntos de interés populares mantenido por Apple para encontrar coincidencias aproximadas de los lugares representados en su biblioteca de fotografías. Los usuarios pueden configurar esta función en su dispositivo, usando: Configuración → Fotos → Búsqueda visual mejorada.
El proceso comienza con un modelo de aprendizaje automático en el dispositivo que analiza una fotografía determinada para determinar si hay una “región de interés” (ROI) que pueda contener un punto de referencia. Si el modelo detecta un ROI en el dominio “histórico”, se calcula una incrustación de vector para esa región de la imagen. La dimensión y la precisión de la incrustación afectan el tamaño de la solicitud cifrada enviada al servidor, las demandas de cálculo HE y el tamaño de la respuesta, por lo que para cumplir con los requisitos de latencia y costos de los servicios de producción a gran escala, la incrustación se cuantifica en 8- precisión de bits antes de ser cifrado.
La base de datos del servidor a la que el cliente enviará su solicitud se divide en subdivisiones inconexas, o fragmentos, de clústeres integrados. Esto ayuda a reducir la sobrecarga computacional y aumentar la eficiencia de la consulta, porque el servidor puede enfocar el cálculo HE solo en la parte relevante de la base de datos. En el dispositivo del usuario está disponible un libro de códigos de clúster precalculado que contiene los centroides de los fragmentos del clúster. Esto permite al cliente ejecutar localmente una búsqueda de similitud para identificar el fragmento más cercano para la incrustación, que se agrega a la consulta cifrada y se envía al servidor.
Identificar el fragmento de base de datos relevante para la consulta podría revelar información confidencial sobre la consulta en sí, por lo que utilizamos privacidad diferencial (DP) con
Retransmisión privada de iCloud como una red de anonimización. Con DP, el cliente emite consultas falsas junto con las reales, por lo que el servidor no puede determinar cuáles son auténticas. Las consultas también se enrutan a través de la red de anonimización para garantizar que el servidor no pueda vincular varias solicitudes al mismo cliente. Para ejecutar PNNS para la búsqueda visual mejorada, nuestro sistema garantiza sólidos parámetros de privacidad para la biblioteca de fotografías de cada usuario, es decir (e, d)-DP, con ε = 0,8 , re = 10-6. Para obtener más detalles, consulte Búsqueda privada escalable con Wally.
La flota de servidores que maneja estas consultas aprovecha la infraestructura de aprendizaje automático existente de Apple, incluida una base de datos vectorial de incrustaciones de imágenes de monumentos globales, expresadas como un índice invertido. El servidor identifica el fragmento relevante según el índice de la consulta del cliente y utiliza HE para calcular la similitud de incrustación en este espacio cifrado. Luego, las puntuaciones cifradas y el conjunto de metadatos correspondientes (como nombres de puntos de referencia) para los puntos de referencia candidatos se devuelven al cliente.
Para optimizar la eficiencia de las comunicaciones servidor-cliente, todas las puntuaciones de similitud se combinan en un texto cifrado de un tamaño de respuesta específico.
El cliente descifra la respuesta a su consulta PNNS, que puede contener múltiples puntos de referencia candidatos. Luego, un modelo de reclasificación en el dispositivo liviano y especializado predice el mejor candidato mediante el uso de descriptores de características multimodales de alto nivel, incluidas puntuaciones de similitud visual; señales geográficas almacenadas localmente; popularidad; y cobertura del índice de puntos de referencia (para desviar la sobreponderación de los candidatos). Cuando el modelo ha identificado la coincidencia, los metadatos locales de la foto se actualizan con la etiqueta del punto de referencia y el usuario puede encontrar fácilmente la foto cuando busca en su dispositivo el nombre del punto de referencia.
Conclusión
Como se muestra en este artículo, Apple está utilizando HE para mantener nuestro compromiso de proteger la privacidad del usuario, mientras crea experiencias en el dispositivo enriquecidas con información buscada de forma privada en las bases de datos del servidor. Al implementar HE con una combinación de tecnologías que preservan la privacidad como PIR y PNNS, modelos de aprendizaje automático en el dispositivo y del lado del servidor, y otras técnicas de preservación de la privacidad, podemos ofrecer funciones como la búsqueda visual mejorada, sin revelar ninguna información al servidor. sobre el contenido y la actividad de un usuario en el dispositivo. Introducir HE en el ecosistema de Apple ha sido fundamental para permitir esto y también puede ayudar a proporcionar conocimiento global valioso para informar los modelos de aprendizaje automático en el dispositivo y al mismo tiempo preservar la privacidad del usuario. Con la biblioteca de código abierto recientemente cifrado-homomorfo-rápidolos desarrolladores ahora pueden crear de manera similar experiencias en el dispositivo que aprovechen los datos del lado del servidor y al mismo tiempo protejan la privacidad del usuario.
