Rincón del CISO
La irrupción de la inteligencia artificial generativa china ha causado un gran impacto en el sector tecnológico debido a su eficiencia y bajo consumo energético. Sin embargo, el sector de la ciberseguridad ha analizado esta nueva tecnología y, por el momento, no se recomienda su uso en el entorno corporativo. La inteligencia artificial generativa, al ser capaz de trabajar con muchos menos recursos, es una noticia positiva. Además, la competencia que surge con nuevos modelos, como el de la empresa china DeepSeek, también es bienvenida. Sin embargo, como se mencionó la semana pasada, DeepSeek ya ha sufrido un ataque malicioso a gran escala, lo que ha atraído la atención de los atacantes. Ahora, las empresas de ciberseguridad han comenzado a analizar los riesgos que puede conllevar esta inteligencia artificial. Los laboratorios contra amenazas de Netskope (Netskope Threat Labs) han detectado que, en apenas 48 horas, el número de usuarios de DeepSeek en su base de clientes aumentó un 1052%. El equipo de investigación de amenazas Unit42 de Palo Alto Networks publicó una investigación en la que afirman que "DeepSeek es preocupantemente vulnerable al jailbreaking y puede generar contenido perjudicial con poco o ningún conocimiento o experiencia especializada". La empresa probó el modelo utilizando diferentes métodos de jailbreaking. Sam Rubin, vicepresidente senior de Consultoría e Inteligencia de Amenazas de Unit42, considera que su investigación "demuestra que no siempre podemos confiar en que los LLM (modelos de lenguaje de gran tamaño) funcionarán como se espera: pueden ser manipulados. Es crucial que las empresas consideren estas vulnerabilidades al integrar LLM de código abierto en sus procesos empresariales. Debemos asumir que las barreras de seguridad de los LLM pueden ser vulneradas y que se necesitan medidas de protección a nivel organizacional". Por su parte, Sam Curry, vicepresidente global y CISO residente de Zscaler, señala que "DeepSeek probablemente tendrá un efecto democratizador en la IA, demostrando que el grupo cerrado de empresas de Silicon Valley ya no es el único capaz de moldear el futuro de esta tecnología. Sin embargo, el hecho de que DeepSeek sea una plataforma de código abierto debe ser examinado detenidamente, ya que las fuentes de datos utilizadas para su entrenamiento siguen siendo en gran medida opacas, lo que dificulta la identificación de posibles sesgos o riesgos de seguridad". Check Point Software también ha analizado las políticas de privacidad de DeepSeek y considera que presenta riesgos significativos. "La plataforma almacena y procesa todas las interacciones de los usuarios, incluidos mensajes, archivos, historiales de chat, entradas de voz, imágenes e incluso patrones de pulsaciones de teclas. Además, DeepSeek se reserva el derecho de revisar y utilizar estos datos para el entrenamiento de modelos de IA".
7 Febrero 2025
Sin categoría
A estas alturas, todo el mundo sabe que DeepSeek, un nuevo contrincante en el terreno de la IA generativa que apareció de la nada, puso en jaque a todo Silicon Valley el pasado 27 de enero. Inicialmente, la sorpresa generó pánico: los inversores corrieron despavoridos a protegerse hasta comprender lo que estaba ocurriendo. Prueba de ello es que Nvidia sufrió una abrupta caída en su cotización. Al cierre del mercado, su capitalización bursátil se redujo en 575.000 millones de euros, la mayor pérdida de la historia. El motivo fue que el nuevo modelo presentado por DeepSeek lograba resultados comparables a los de los líderes del mercado (ej. OpenAI, Anthropic, Meta o Google), pero a una fracción de su coste, sin depender de los chips de última generación y utilizando un enfoque open source. Es curioso, pero algunos observadores vieron en esta empresa una vuelta a la esencia de OpenAI, como en sus inicios, cuando era realmente abierta, dedicada a la investigación de vanguardia y centrada en el beneficio colectivo. Esta empresa china, hasta entonces desconocida, proponía una democratización de la IA generativa. La presunción de que solo las empresas muy intensivas en capital y con acceso a ingentes recursos computacionales podían competir se desmoronaba. Emergía un nuevo paradigma. Poco a poco, se han ido conociendo los detalles de cómo esta empresa ha llegado tan lejos, de cómo transformó las restricciones de hardware en un problema de software que supo resolver con mucho ingenio. Sin embargo, muchas preocupaciones debatidas en el mercado durante los últimos dos años quedaron en un modesto segundo plano. Nadie se preguntaba si el modelo era seguro, si mitigaba los riesgos existenciales o incluso si planteaba cuestiones éticas. Mientras DeepSeek prioriza la accesibilidad y la eficiencia en el uso de recursos, sus competidores occidentales han adoptado enfoques más rigurosos para mitigar sus riesgos. Por ejemplo, implementan salvaguardas para evitar que sus modelos puedan ser utilizados para explicar cómo llevar a cabo un ataque bioterrorista. Esta diferencia evidencia claramente las divergentes prioridades y marcos regulatorios. Un ejemplo que lo ilustra es Anthropic, que acaba de presentar una nueva técnica para evitar que los modelos de IA generen contenido dañino mediante "clasificadores constitucionales". Este sistema supervisa las entradas y salidas del modelo según un conjunto de reglas adaptables. Su desarrollo responde a la creciente preocupación por el "jailbreaking", es decir, los intentos de manipular la IA para obtener información peligrosa. Para evaluar su eficacia, Anthropic empleó un equipo de red teaming que intentó traspasar sus defensas, logrando rechazar más del 95 % de los ataques. Aunque estas protecciones incrementan los costes computacionales, también reducen el riesgo de usos muy peligrosos. Otras empresas, como Microsoft y Meta, también están invirtiendo en sistemas de seguridad similares. Microsoft introdujo los “prompt shields” en marzo de 2024 como medida de protección, mientras que Meta lanzó una protección equivalente meses más tarde. Aunque estas técnicas no son infalibles, siguen siendo la mejor opción para reducir el uso indebido de sus modelos. Los líderes del mercado invierten entre un 15 % y un 20 % de sus presupuestos en seguridad, en contraste con DeepSeek, que carece de auditorías externas y no es transparente, especialmente en lo que respecta al almacenamiento de datos de los usuarios de su chatbot en servidores chinos, como argumentaba recientemente el Gobierno italiano. Este debate trasciende lo empresarial: la ética en IA impacta directamente en derechos fundamentales como la privacidad y puede introducir diferentes riesgos tanto de seguridad como existenciales. Algunos ejemplos: Seguridad: vulnerabilidades y riesgos de manipulación. Al ser de código abierto, DeepSeek-R1 presenta vulnerabilidades inherentes a este tipo de modelos. Distintas pruebas han demostrado que es vulnerable a ataques de jailbreak, en los que se eluden sus filtros de seguridad para generar contenido dañino. A esto se suma otro riesgo: los ataques de “inyección de prompts”, en los que se manipula el modelo para que incorpore información externa maliciosa. Esto plantea serias preocupaciones sobre los riesgos que arrastra este modelo. Privacidad: datos y almacenamiento en China. DeepSeek recopila datos de los usuarios, incluyendo desde su dirección IP hasta patrones de pulsaciones de teclado. Esta información se almacena en servidores en China, lo que genera preocupaciones sobre la privacidad y el posible acceso del gobierno chino a estos datos. Aunque sus políticas de privacidad no difieren mucho de las de sus competidores estadounidenses, la falta de transparencia sigue siendo un problema. Por cierto, a las pesquisas del Gobierno italiano sobre la privacidad se suman nuevas investigaciones (ej. Alemania). Censura: temas sensibles y sesgos. A pesar de ser un modelo de código abierto, DeepSeek censura temas sensibles para el gobierno chino. Esto significa que la información que genera está sesgada e incompleta, lo que cuestiona su fiabilidad y objetividad. La censura en DeepSeek se debe a que opera bajo las leyes de China. Esto plantea interrogantes sobre la verdadera naturaleza de su código abierto y su compromiso con la libertad de expresión. DeepSeek-R1 representa un avance en la IA, pero también plantea riesgos significativos. Antes de precipitarnos a un uso generalizado, primero hay que garantizar que estos riesgos no superen los beneficios de una mayor democratización de la IA. Durante los últimos años, nos hemos preguntado si era posible construir una inteligencia artificial que no solo sea transformadora, sino también segura y ética. Con la irrupción de DeepSeek, encontrar una respuesta se vuelve ineludible. En un mundo que valora la rapidez y la innovación por encima de todo, alguien puede sentir la tentación de sacrificar la seguridad y los principios éticos. Sin embargo, es importante tener cuidado, porque a gran velocidad pueden ocurrir grandes accidentes. Fernando Maldonado, Analista.
5 Febrero 2025
Sin categoría
La irrupción del modelo R1 de DeepSeek, con su código abierto y bajo coste, pone en jaque a gigantes como ChatGPT y NVIDIA, mientras revoluciona el sector de la IA y reconfigura el panorama bursátil. El panorama de la inteligencia artificial ha sido sacudido por la llegada de DeepSeek, una empresa china que ha irrumpido con fuerza gracias a su modelo R1. Este sistema ha demostrado ser más eficiente y económico que competidores de renombre como ChatGPT o Google Gemini. Con un enfoque basado en el código abierto, DeepSeek no solo está transformando el desarrollo de la IA, sino que también está causando estragos en los mercados financieros, afectando especialmente a empresas estadounidenses como NVIDIA, que ha perdido más de 440.000 millones de dólares en valor bursátil tras esta sorpresa tecnológica. R1: Eficiencia y Revolución El modelo R1 destaca por su capacidad para competir con los gigantes de la IA a una fracción de su coste. Con un presupuesto de entrenamiento de apenas 5,5 millones de dólares, DeepSeek ha logrado superar en pruebas de razonamiento matemático y programación a modelos como GPT-4, entrenado con un coste de 80 millones. Además, su modelo de código abierto permite a desarrolladores de todo el mundo examinar, modificar y personalizar la tecnología, marcando una gran diferencia frente a los sistemas cerrados de las grandes empresas occidentales. Impacto Global: Mercados en Crisis El éxito de DeepSeek ha generado una caída masiva en las bolsas internacionales. Empresas como NVIDIA (-12%), AMD (-4,77%), y otras como ASML (-7,2%) han registrado pérdidas importantes, afectando al Nasdaq, que cayó más del 4%. Los analistas temen que la eficiencia de DeepSeek ponga en peligro los modelos de negocio de estas compañías, cuyas valoraciones dependen de grandes inversiones en infraestructura y propiedad intelectual. Un Reto a la Hegemonía Tecnológica de EEUU Además de los mercados, DeepSeek plantea un desafío estratégico para el dominio tecnológico estadounidense. Con un enfoque más económico y accesible, expertos consideran que DeepSeek podría democratizar el uso de la IA, reduciendo la dependencia de costosas infraestructuras y sistemas occidentales. El Futuro de la Inteligencia Artificial DeepSeek ha cambiado las reglas del juego, marcando un antes y un después en el desarrollo de inteligencia artificial. Mientras los mercados financieros intentan ajustarse a esta nueva realidad, la comunidad tecnológica celebra un enfoque más inclusivo y eficiente, que promete abrir nuevas oportunidades para el desarrollo global de la IA. ¿Estamos ante el inicio de una nueva era tecnológica? La carrera ha comenzado.
28 Enero 2025
Suscríbete GRATIS y disfruta de contenido ilimitado sobre ciberseguridad y personas
