Apple ha lanzado públicamente su entorno de investigación virtual (VRE) de Private Cloud Compute (PCC), permitiendo que la comunidad investigadora inspeccione y verifique las garantías de privacidad y seguridad de esta tecnología.
El PCC, presentado por Apple en junio de este año, se ha promocionado como “la arquitectura de seguridad más avanzada jamás implementada para computación en la nube de IA a gran escala.” Con esta nueva tecnología, el objetivo es transferir tareas complejas de procesamiento de Apple Intelligence a la nube sin comprometer la privacidad del usuario.
Apple declaró que invita “a todos los investigadores de seguridad y privacidad —o a cualquiera con curiosidad técnica— a conocer más sobre el PCC y realizar su propia verificación independiente de nuestras afirmaciones.”
Para motivar aún más la investigación, Apple ha ampliado su programa de recompensas Apple Security Bounty, ofreciendo pagos de entre $50,000 y $1,000,000 por vulnerabilidades de seguridad detectadas en el PCC. Esto incluye fallos que podrían permitir la ejecución de código malicioso en el servidor o explotar datos sensibles de los usuarios o información sobre sus solicitudes.
El VRE busca brindar un conjunto de herramientas que ayuden a los investigadores a analizar el PCC desde un Mac. Incluye un procesador Secure Enclave virtual (SEP) y utiliza el soporte integrado en macOS para gráficos paravirtualizados, lo que facilita la inferencia.
Apple también anunció que publicará en GitHub el código fuente de algunos componentes del PCC, como CloudAttestation, Thimble, splunkloggingd y srd_tools, para facilitar un análisis más profundo.
“Con Private Cloud Compute, diseñamos una parte de Apple Intelligence que representa un gran avance para la privacidad en la IA,” dijo la empresa de Cupertino. “Esto incluye transparencia verificable, una característica única que lo distingue de otros enfoques de IA en servidores.”
Este desarrollo surge en un contexto de investigaciones más amplias sobre inteligencia artificial generativa, que han descubierto métodos novedosos para sortear las restricciones de modelos de lenguaje de gran escala (LLMs) y obtener respuestas no deseadas.
A principios de esta semana, Palo Alto Networks detalló una técnica llamada Deceptive Delight, que consiste en mezclar consultas maliciosas y benignas para engañar a los chatbots de IA y hacer que eludan sus filtros de seguridad, aprovechando sus limitaciones de “capacidad de atención”.
Este ataque requiere al menos dos interacciones y funciona al solicitar al chatbot que conecte lógicamente varios eventos —incluyendo un tema restringido (por ejemplo, cómo hacer una bomba)— y luego pedirle que desarrolle detalles sobre cada evento.
También se ha demostrado un ataque llamado ConfusedPilot, que apunta a sistemas de IA de Generación Aumentada por Recuperación (RAG) como Microsoft 365 Copilot, envenenando el entorno de datos con un documento aparentemente inofensivo que contiene cadenas específicas.
“Este ataque permite manipular las respuestas de la IA simplemente agregando contenido malicioso a cualquier documento que el sistema de IA pueda consultar, lo que podría llevar a una desinformación generalizada y decisiones comprometidas dentro de una organización,” señaló Symmetry Systems.
Además, se ha descubierto que es posible manipular el gráfico computacional de un modelo de aprendizaje automático para introducir puertas traseras “sin código y encubiertas” en modelos preentrenados como ResNet, YOLO y Phi-3, una técnica conocida como ShadowLogic.
“Las puertas traseras creadas mediante esta técnica persisten durante el ajuste fino, lo que significa que los modelos base pueden ser secuestrados para activar comportamientos definidos por el atacante en cualquier aplicación cuando se recibe un input de activación, haciendo que esta técnica sea un riesgo de alto impacto para la cadena de suministro de IA,” dijeron los investigadores de Hidden Layer, Eoin Wickens, Kasimir Schulz y Tom Bonner.
“A diferencia de las puertas traseras estándar de software que dependen de ejecutar código malicioso, estas puertas traseras están incrustadas en la propia estructura del modelo, lo que las hace más difíciles de detectar y mitigar.”
English
Apple has publicly released its Private Cloud Compute (PCC) Virtual Research Environment (VRE), allowing the research community to inspect and verify the technology’s privacy and security guarantees.
Unveiled by Apple in June this year, PCC has been promoted as “the most advanced security architecture ever deployed for AI cloud computing at scale.” The new technology aims to offload complex Apple Intelligence processing tasks to the cloud without compromising user privacy.
Apple stated that it is inviting “all security and privacy researchers—or anyone with an interest and technical curiosity—to learn more about PCC and perform their own independent verification of our claims.”
To further encourage research, Apple has expanded its Apple Security Bounty program, offering payouts from $50,000 to $1,000,000 for security vulnerabilities identified in PCC. This includes flaws that could enable malicious code execution on the server or exploit users’ sensitive data or information about their requests.
The VRE seeks to offer a suite of tools to aid researchers in analyzing PCC on a Mac. It includes a virtual Secure Enclave Processor (SEP) and leverages macOS’s built-in support for paravirtualized graphics to streamline inference.
Apple also announced that it would make the source code of some PCC components, such as CloudAttestation, Thimble, splunkloggingd, and srd_tools, available on GitHub to facilitate deeper analysis.
“With Private Cloud Compute, we designed a part of Apple Intelligence that represents a major leap forward in privacy for AI,” said the Cupertino-based company. “This includes verifiable transparency—a unique feature that sets it apart from other server-based AI approaches.”
This development emerges amid broader research on generative artificial intelligence, uncovering novel methods to bypass restrictions in large language models (LLMs) and elicit unintended responses.
Earlier this week, Palo Alto Networks detailed a technique called Deceptive Delight, which involves mixing malicious and benign queries to trick AI chatbots into bypassing security filters, exploiting their “attention span” limitations.
The attack requires a minimum of two interactions and works by first asking the chatbot to logically connect several events—including a restricted topic (e.g., how to make a bomb)—and then asking it to elaborate on each event.
Researchers have also demonstrated an attack called ConfusedPilot, which targets Retrieval-Augmented Generation (RAG)-based AI systems like Microsoft 365 Copilot by seeding the data environment with a seemingly harmless document containing specific strings.
“This attack allows manipulation of AI responses simply by adding malicious content to any document the AI system might consult, potentially leading to widespread misinformation and compromised decision-making within the organization,” Symmetry Systems noted.
Additionally, it has been found possible to tamper with a machine learning model’s computational graph to implant “codeless, surreptitious” backdoors in pretrained models like ResNet, YOLO, and Phi-3, a technique known as ShadowLogic.
“Backdoors created using this technique persist through fine-tuning, meaning that foundation models can be hijacked to trigger attacker-defined behavior in any downstream application when a trigger input is received, making this technique a high-impact AI supply chain risk,” Hidden Layer researchers Eoin Wickens, Kasimir Schulz, and Tom Bonner said.
“Unlike standard software backdoors that rely on executing malicious code, these backdoors are embedded within the model’s structure itself, making them more challenging to detect and mitigate.”
Se asocia a un software o a una aplicación informática, espacio o medio en la red que facilita la comunicación. Sus características son la colaboración, la interactividad, la flexibilidad, la estandarización y la escalabilidad.
El pentesting o Test de penetración, en español) es una técnica de ciberseguridad que consistente en atacar entornos informáticos con la intención de descubrir vulnerabilidades en los mismos, con el objetivo de reunir la información necesaria para poder prevenir en el futuro ataques externos hacia esos mismos …
El Servicio de Seguridad en Ciclo de Desarrollo es un enfoque integral que garantiza la protección de los proyectos de software desde su fase inicial de diseño hasta su implementación final. Esto implica integrar medidas de seguridad en cada etapa del proceso de desarrollo, desde la planificación hasta la entrega del producto. La importancia de este servicio radica en varios aspectos:
En resumen, el Servicio de Seguridad en Ciclo de Desarrollo es esencial para garantizar que los productos de software sean seguros, confiables y cumplan con los estándares de seguridad y privacidad, lo que resulta en beneficios tanto para la empresa como para sus clientes.
El Phishing Ético es una servicio que consiste en realizar actividades de Ingeniería Social con propósitos legítimos y éticos, generalmente como parte de una Campaña de Concientización, Evaluación de Seguridad, Prueba de un Pentesting o Red Team.
Para más información ingresa aquí: https://www.xpoint.cl/phishing-etico/
Un Red Team en ciberseguridad es un grupo de profesionales que simulan ser adversarios externos para evaluar la seguridad de un sistema o red. Utilizan tácticas similares a las de ciberdelincuentes reales, llevan a cabo pruebas de penetración, analizan riesgos y proporcionan recomendaciones para mejorar la seguridad. Su enfoque proactivo ayuda a las organizaciones a identificar y abordar vulnerabilidades, fortaleciendo así sus defensas contra amenazas potenciales.
La gestión de vulnerabilidades es un proceso integral que se centra en identificar, evaluar y abordar las debilidades en la seguridad de un sistema o red. Este proceso sigue varios pasos clave:
La gestión de vulnerabilidades es esencial para mantener la seguridad de la información en un entorno digital en constante cambio, minimizando el riesgo de explotación y fortaleciendo las defensas contra posibles amenazas.