Nos come la IA #4 — La confianza no se instala, se construye

Cuando te subes a un avión no piensas si pilota un humano o una máquina

Simplemente confías. Confías porque hay miles de horas de vuelo acumuladas, protocolos de seguridad, redundancias, y un historial que demuestra que el piloto automático es más fiable que la mayoría de pilotos humanos. Nadie exige que sea perfecto — basta con que sea mejor que la alternativa.

Esa es exactamente la conversación que estamos teniendo con la IA. Y esta semana, se ha tenido en todos los niveles: gobiernos, grandes corporaciones, investigadores y yo en mi oficina de Las Rozas peleándome con agentes que quiero que hagan cosas sin preguntarme.

Lo que estamos construyendo en Intelia

En Intelia, Jaime y yo llevamos semanas trabajando en algo que suena aburrido pero es lo más importante que hemos hecho: un sistema de confianza por capas para agentes de IA.

La idea es simple: no le das a un agente acceso a todo el primer día. Le das poco, lo supervisas, y cuando demuestra que lo hace bien, le das más. Es exactamente como entrenar a un empleado nuevo, solo que con datos en vez de intuición.

En la práctica, tenemos arquitectos de IA que deciden cómo resolver un problema, implementadores que escriben el código, y validadores que comprueban que todo funciona. Cada capa tiene su propio nivel de autonomía. Y por encima de todo, una memoria persistente donde los agentes guardan lo que aprenden — porque uno de los mayores problemas de la IA es que, sin contexto, toma decisiones de mierda. Con contexto, es otra historia.

La suerte que tenemos es que lo que hacemos — código y contabilidad — es evaluable. Si un agente contabiliza mal una factura, lo puedes comprobar. Si genera código que no compila, se ve al instante. No es como pedirle que escriba un email "con buen tono" — eso es subjetivo. Lo nuestro se mide.

Hay un detalle que me parece clave y que creo que nos pasa a todos: confías más en la IA donde menos sabes. Si me genera un componente de frontend, me lo creo — argumenta bien, parece sólido, y no tengo criterio para hacerle challenge. Pero eso es precisamente el problema: donde más te la pueden colar es donde menos capacidad tienes de pillarla. Donde tengo conocimiento — un flujo contable, una lógica de negocio — ahí sí pillo los errores. Donde no tengo, estoy vendido.

Por eso hemos montado sistemas con expertos de dominio que evalúan lo que hacen otros agentes. No puedo revisar todo yo, pero puedo poner una IA que sí sepa de frontend a validar lo que otra IA genera. Es como tener un equipo donde cada uno cubre los puntos ciegos del otro.

Jaime, mi socio, es más detallista que yo — le gusta mirar las cosas. A mí a veces confiar me juega malas pasadas. Me meto en bucles donde algo está mal hecho y, en vez de tirarlo y empezar de cero, insisto en que la IA lo arregle. Y me trae por el camino de la amargura. Estoy intentando encontrar el equilibrio entre confiar lo suficiente para ir rápido y desconfiar lo justo para no perder el tiempo.

Después de la cagada

Si leíste el post anterior, sabes que un agente me borró 105 facturas reales de un cliente. Aquello fue un golpe de realidad. No fue culpa de la IA — fue mía, por darle contexto ambiguo. Pero el resultado fue el mismo: confianza rota.

Desde entonces hemos cambiado muchas cosas en Intelia. Hemos segregado entornos — los agentes ya no pueden tocar producción desde local. Hemos recortado accesos de Claude Code: ya no tiene permisos para cosas que antes tenía. Hemos añadido validaciones en cada paso. Y sí, vamos más lentos. Pero vamos más seguros.

La confianza es así: cuesta mucho ganarla y muy poco perderla. Con un humano y con una máquina.

Europa necesita sus propios modelos

Esta semana, Yann LeCun — el jefe de IA de Meta — lanzó AMI Labs con 1.030 millones de dólares (TechCrunch). La seed más grande de la historia de Europa. Su tesis: los modelos de lenguaje como GPT, Claude y Gemini están conceptualmente equivocados. Apuesta por "world models" — IA que entiende el mundo físico, no solo texto.

No sé si tiene razón. Pero me importa por otra cosa: que haya una apuesta europea seria. Ahora mismo, todos los modelos que usamos son americanos o chinos. Y en un mundo donde la IA se está convirtiendo en infraestructura crítica, depender de otros es un riesgo. Mira lo que pasa con Nvidia y China — le cortaron el hardware. ¿Qué pasa si mañana deciden cortar los modelos? Europa necesita su propia capacidad. LeCun, con sus mil millones, es un primer paso.

Oracle despide 30.000 personas. Las acciones suben.

Oracle anunció esta semana que va a despedir entre 20.000 y 30.000 empleados para redirigir entre 8 y 10 mil millones de dólares a infraestructura de IA (Bloomberg). Es la admisión más directa hasta la fecha de lo que muchos sabíamos: las grandes ya confían más en la IA que en sus propios empleados.

No es la primera vez que lo vemos — Block despidió a 4.000 la semana pasada, las acciones subieron un 24%. Pero Oracle son 30.000. Esto ya no es una anécdota. A lo mejor deberíamos tener una sección fija cada semana: "Empresas que despidieron gente por la IA". A ver cuántas semanas seguidas se llena.

Singapur: personalidad jurídica para agentes

Mientras tanto, Singapur acaba de publicar el primer marco gubernamental de gobernanza para IA agéntica. Cinco niveles de autonomía, del cero (herramienta asistida) al cuatro (totalmente autónomo), con requisitos de supervisión crecientes en cada nivel (IMDA).

Es exactamente lo que Jaime y yo estamos haciendo a pequeña escala. Pero Singapur lo piensa a nivel país. Y eso me lleva a algo que comenté con mi amigo Pedro Casanova, que es abogado: en algún momento, habrá que darles a los agentes algún tipo de personalidad jurídica. Que tengan responsabilidad como operadores. Que paguen impuestos. Que si un agente la caga con tu contabilidad, alguien responda legalmente. Suena a ciencia ficción, pero Singapur ya está poniendo las bases.

La paradoja de la perfección

Lo que me preocupa de la confianza no es la tecnología — es la psicología. El humano va a exigir perfección a la IA, aunque no se la exija a sí mismo. Un contable humano puede equivocarse en una factura y nadie pierde la confianza en la profesión. Un agente se equivoca una vez y "la IA no funciona".

La realidad es que la IA no necesita ser perfecta. Necesita ser mejor que el humano medio. Y en muchas cosas ya lo es. Pero ganarse esa confianza va a llevar tiempo. Es como con los coches autónomos: son estadísticamente más seguros que un conductor humano, pero un solo accidente sale en todos los periódicos.

Un consejo si quieres empezar

Si tu empresa no te deja usar Claude Code, usa Copilot, usa lo que te dejen. Lo importante no es la herramienta — es empezar a jugar. Juega con ello, delégale cosas pequeñas, y eventualmente te darás cuenta de todo lo que puede hacer. La confianza no se instala con un setup. Se construye, uso a uso, error a error. Como con cualquier relación.

Nos come la IA es un newsletter semanal de Pablo Muñiz, cofundador de Intelia. Si te ha gustado, compártelo con alguien que hable de IA pero no la haya tocado.