Esta es la primera entrega de nuestra serie sobre seguridad y privacidad en herramientas de IA legal. En cada post examinamos un riesgo específico, explicamos por qué importa para la práctica legal, y describimos cómo LexBuddy lo aborda. El objetivo es darte el marco para evaluar cualquier herramienta — no solo la nuestra.
Parte I: El problema
El incidente que lo explica todo
En abril de 2023, tres incidentes en Samsung en menos de 20 días pusieron el riesgo de entrenamiento de IA en primera página. Ingenieros de la compañía pegaron en ChatGPT código fuente propietario de semiconductores, notas internas de reuniones confidenciales y detalles de hardware de producción, para pedir ayuda con debugging, resúmenes y optimizaciones.
El problema: la versión de ChatGPT que usaban entrenaba activamente con las conversaciones de los usuarios. Esos datos confidenciales pasaron a formar parte del modelo. No porque nadie en OpenAI tomara una decisión activa de usarlos, sino porque eso era exactamente lo que la herramienta hacía por defecto.
Samsung prohibió el uso de ChatGPT en sus instalaciones poco después y comenzó a desarrollar modelos de lenguaje internos. Pero el código ya estaba fuera.
Para un abogado, el análogo exacto es esto: pegar en un chatbot público el texto de un contrato en negociación, una estrategia de litigio, una opinión legal no publicada, o datos financieros de un cliente. Si la herramienta entrena con esas conversaciones, esa información pasa a formar parte del modelo, disponible, en cierta medida, para cualquier otro usuario que haga la pregunta correcta.
Cómo funciona el entrenamiento con datos de usuario
Para entender el riesgo, es útil entender brevemente cómo los modelos de lenguaje se mejoran con el tiempo.
Los modelos base se entrenan una vez sobre un corpus enorme de texto. Pero las empresas los mejoran continuamente con un proceso llamado fine-tuning o ajuste fino, que usa conversaciones reales de usuarios para hacer el modelo más preciso, más útil y más contextualmente relevante.
Hay además un segundo mecanismo: el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF). Los evaluadores califican las respuestas del modelo, y esas calificaciones guían el ajuste. Las conversaciones con usuarios son la materia prima de ese proceso.
El resultado práctico: cuando un usuario escribe algo en una herramienta que entrena con datos de conversación, esa información puede:
- Influir directamente en los pesos del modelo y en cómo responde a otros usuarios.
- Quedar almacenada en los sistemas del proveedor como dato de entrenamiento.
- Ser usada para generar variaciones sintéticas de entrenamiento que propaguen el contenido original de formas difíciles de rastrear.
La palabra "puede" es importante. No todos los sistemas hacen esto. Pero la pregunta de si lo hacen o no rara vez se responde con claridad en los materiales de marketing, y la respuesta por defecto, especialmente en herramientas de nivel gratuito o de consumidor, frecuentemente es "sí".
El mapa del riesgo según el tipo de herramienta
No todas las herramientas de IA tienen la misma política de entrenamiento. El riesgo varía significativamente según el tier de uso:
Herramientas de consumidor (gratuitas o de bajo costo). La mayoría usa conversaciones para entrenamiento por defecto. OpenAI, Google, y Anthropic permiten a los usuarios desactivar el uso de sus datos para entrenamiento en configuraciones de privacidad — pero la opción predeterminada es el entrenamiento habilitado. La mayoría de los usuarios nunca cambia esa configuración porque no saben que existe.
Herramientas enterprise con cláusula de no-entrenamiento. Las versiones enterprise de las principales plataformas incluyen contractualmente la prohibición de usar datos del cliente para entrenamiento. Es la solución más común en el mercado corporativo. Es mejor que la alternativa de consumidor, pero descansa en un compromiso contractual — no en una limitación arquitectónica.
Herramientas con aislamiento arquitectónico de datos. El nivel más alto de protección. Los datos del cliente están técnica y estructuralmente separados de cualquier pipeline de entrenamiento. No es solo un contrato — es que el sistema no tiene la capacidad de usar esos datos para entrenamiento aunque quisiera.
La diferencia entre el segundo y el tercer nivel no siempre es visible en el marketing de las herramientas, pero es la diferencia que importa cuando hay que responder a un cliente, a un regulador, o a un tribunal.
Lo que la ética profesional ya establece
La Opinión Formal 512 de la ABA (julio 2024) establece con claridad que la Regla 1.6 del Modelo de Conducta Profesional — el deber de confidencialidad — aplica al uso de herramientas de IA con información de clientes. Específicamente:
El abogado debe hacer "esfuerzos razonables" para prevenir la divulgación inadvertida de información del cliente. Usar una herramienta que puede usar esa información para entrenar modelos accesibles a otros usuarios es difícilmente compatible con ese estándar.
El consentimiento genérico en la carta de contratación — del tipo "el despacho puede usar tecnología para prestar los servicios" — no es suficiente para autorizar el uso de datos del cliente en un sistema de entrenamiento de IA. Se requiere consentimiento informado específico sobre ese uso concreto.
El RGPD europeo añade una capa adicional para abogados con clientes en la UE: el Artículo 5(1)(b) establece que los datos solo pueden usarse para el propósito específico por el que fueron recogidos (limitación de finalidad). Usar datos legales de clientes para entrenar modelos de IA es un propósito distinto al de prestar asesoría legal — y requiere una base legal específica que frecuentemente no existe.
El riesgo específico para la práctica legal
La información que los abogados introducen en herramientas de IA tiene características que la hacen especialmente sensible al riesgo de entrenamiento:
- Es estratégica y no pública. Las posiciones contractuales, estrategias de negociación y análisis de riesgo legal representan valor económico real para el cliente — y para sus competidores o contrapartes.
- Es permanente. Una estrategia que se filtra al modelo de entrenamiento puede potencialmente influir en las respuestas que el modelo da a otros usuarios durante años.
- Es difícil de rastrear. A diferencia de un documento físico filtrado, la influencia de datos de entrenamiento en un modelo no es trazable ni recuperable. No hay "eliminar" una vez que los datos están en el modelo.
- Es potencialmente identificable. Aunque los modelos no "recuerdan" conversaciones específicas de la manera en que lo haría una base de datos, ciertos tipos de información muy específica o poco común pueden influir en las respuestas del modelo de formas que podrían hacer identificable la fuente.
Parte II: La solución
¿Qué debería garantizar una herramienta para que este riesgo no exista?
No es suficiente que una herramienta diga "no entrenamos con tus datos" en su página de marketing. Las garantías reales tienen tres componentes:
Garantía contractual. Una cláusula específica en el contrato de servicios — no en los términos generales de usuario — que prohíbe el uso de datos del cliente para entrenamiento de cualquier tipo, incluyendo el fine-tuning y el RLHF.
Garantía de cadena de suministro. La garantía de no-entrenamiento debe extenderse a todos los proveedores subyacentes que procesan los datos. Si la herramienta usa un modelo de terceros (como un LLM base de un proveedor cloud), ese proveedor también debe estar bajo la misma restricción.
Garantía arquitectónica. Lo más sólido es que la arquitectura técnica separe los datos del cliente de cualquier pipeline de entrenamiento — no como política, sino como diseño. Si los datos no pasan por el pipeline de entrenamiento estructuralmente, no hay riesgo de que lo hagan.
Cómo LexBuddy aborda el riesgo de entrenamiento
En LexBuddy, los datos de los clientes — conversaciones, documentos, expedientes — nunca se usan para entrenar, afinar o mejorar modelos de IA. Esta protección tiene tres capas:
Capa contractual. Nuestros Términos de Servicio establecen explícitamente que los datos de los usuarios no se usan para entrenamiento de modelos bajo ningún concepto. No es una opción de configuración, es una condición del servicio.
Capa de cadena de suministro. La restricción de no-entrenamiento se extiende contractualmente a todos los proveedores de tecnología subyacente que procesan datos de usuarios en nuestra plataforma. Los datos de tus clientes no entrenan ni nuestros modelos ni los de nuestros proveedores.
Capa arquitectónica. Los datos de los usuarios en LexBuddy no pasan por ningún pipeline de entrenamiento. No como resultado de una decisión que podría cambiar mañana, sino porque el sistema está diseñado para que el flujo de datos del cliente esté separado de cualquier proceso de mejora de modelos.
El resultado práctico: cuando un abogado usa LexBuddy con información de un cliente, puede responder con precisión a la pregunta que la ABA FO 512 exige que pueda responder — "¿cómo se van a usar los datos de mi cliente?" — con una respuesta clara: para responder la consulta específica, y para nada más.
Antes de introducir información de un cliente en cualquier herramienta de IA, una sola pregunta: ¿esta herramienta puede usar lo que escribo para entrenar sus modelos? Si la respuesta no es un "no" claro, contractualmente respaldado y arquitectónicamente implementado, el riesgo existe.
Siguiente entrega de la serie: Sin logs, bajo tu control: quién decide qué se guarda, y cómo LexBuddy lo aborda.
Este artículo es de carácter informativo y no constituye asesoría legal. Para aplicaciones específicas a tu práctica, consulta con un especialista en ética profesional de tu jurisdicción.
Fuentes
| Fuente | Enlace |
|---|---|
| The Guardian — Samsung bans ChatGPT after data leak (abril 2023) | theguardian.com |
| BBC — Samsung workers accidentally leaked confidential data | bbc.com |
| Bloomberg — Samsung data leak via ChatGPT details | bloomberg.com |
| ABA Formal Opinion 512 (PDF, 29 de julio de 2024) | americanbar.org |
| OpenAI — Enterprise Privacy (no training on enterprise data) | openai.com |
| Anthropic — Privacy Policy and data use | anthropic.com |
| GDPR — Artículo 5: principios relativos al tratamiento de datos personales | gdpr-info.eu |