Caja Naranja. Cajas Negras.

Caja negra es un concepto arraigado en ingeniería y teoría de sistemas.

Sin entrar en tecnicismos digamos que hay sistemas o procesos en los que vemos que entra información o datos y luego podemos observar lo que sale pero sin entender qué es lo que pasa realmente dentro de ese ámbito de absoluta ignorancia.

Es como si viésemos entrar mercancías en una fábrica y luego salir coches montados. Es como cuando de niño ibas a hacer la compra, llegabas a casa, colocabas todo y luego a la hora de la comida tenías el plato de turno sin saber cómo se transformaba todo aquello.

El concepto de caja negra acepta esta realidad. No entendemos todo el proceso sino parte de él. Digamos que es una limitación que no obstaculiza que podamos usar y disfrutar en el camino.

Del mismo modo, podríamos decir que hay más personas capaces de conducir que mecánicos. Todo bien. Todo lo que hacemos tiene distintos niveles de conocimiento. En mi caso siempre me fascinó el combo entre trabajo manual y coches. Era algo así como ver a un médico y a un pianista pero con un mono azul o ropa vieja manchada. Escuchando ruidos, preguntando a mi padre preguntas sencillas que exigían respuestas concretas y dando a veces órdenes directas (acelera, frena, dale aquí…). Y el diagnóstico: “Esto va a ser…”. Es un hábito perdido. En parte porque el tiempo pasa y el mecánico ya no es un vecino, alguien cercano de confianza que era casi parte de la familia… Con los mecánicos pasa como con los psicólogos o los dentistas: uno bueno puede salvarte la vida, uno malo puede hacer mucho daño. Y en el caso concreto de la mecánica llegaron averías que no tenían solución, y nos tocó descubrirlo después de invertir bastante dinero, tiempo y esfuerzo. Eran tiempos en los que esas sorpresas se sentían como auténticas multas y requerían buscar ingresos extra o pedir prestado. Hoy la mecánica se basa en diagnósticos hechos con ordenador:

Buenos días, se enchufa cable, diagnóstico, presupuesto, se cambia la pieza o conjunto de piezas, fuera. 

El mecánico ya no repara, cambia piezas rotas. Otra historia ya es la calidad del servicio y encontrar un taller de confianza. Alguien que sea honesto y en quien confiar de tal forma que la decisión sea pagar lo que pide o buscar financiación.

Muchas y varias son las situaciones de “caja negra” en nuestro día a día. Acudimos al experto de turno, pero también existe la fascinación que de niños despertaban en nosotros los magos de la tele.

“¡Nada por aquí!, ¡nada por allá!, ¡tachán!”

En mi caso junto con la fascinación venía la imperativa pregunta: ¿Cuál es el truco? No es real. No puede serlo. ¿No? ¿Cómo lo hace? Ni qué decir que recuerdo que más que ver a los magos recuerdo un programa de televisión en el que una de sus secciones era mostrar un truco… ¡y desvelar cómo se hacía al final! Otra cosa no, pero atención de mi lado tenían. Era lo típico que veías el truco, prestaba más o menos atención… y después del último corte de publicidad ahí estaba yo viendo cómo lo hacía. No sentía desilusión sino gran respeto por los intérpretes, que en una coreografía muy bien ensayada lograba ejecutar a la perfección el número. Exigía mucho trabajo, disciplina… y con la experiencia de la vida supongo que no pocas frustraciones, errores y fracasos.

En otros escenarios, ya entrando en marketing digital, tecnología y nuestra sobre promocionada “IA” seguimos viendo el binomio entre caja negra y magia, aunque con otras connotaciones y guarnición de preguntas a reflexionar.

Por partes, el concepto más extendido en el público general creo que asocia caja negra, lamentablemente relacionado a noticias de sucesos, a la caja negra de los aviones. El término fue heredado de la ingeniería. La famosa caja negra, es naranja. ¡Tachán! Algo he buscado porque esto que comparto lo escuché hace décadas y buscando ahora lo que me queda es que el color naranja chillón lo que intenta es que sea fácil de localizar. La caja negra/naranja guarda información clave, en la que, llegado el indeseable momento, podría revelarse información crítica. Estas cajas son, además, altamente resistentes.

Cajas negras o naranjas hablamos de una información clave cuidadosamente preservada. La caja naranja nos permite ver su interior, en la caja negra no. Pero aunque en ingeniería se hable de una limitación en nuestra capacidad de entender, puede que por un tiempo, cuando experimentamos y reflexionamos sobre tecnología la limitación obedece a parte interesada. Es decir, empresas como protagonistas principales y luego inversores, etc.

Al argumento, digamos válido, de conservación de fórmulas clave para su éxito que les ofrecen una ventaja sobre sus competidores, aparecen los no menos importantes reclamos de autores y personas críticas que quieren entender por qué se dan según qué respuestas.

El tema de la falta de transparencia es clave aunque ni por asomo y salvo novedad en forma de sentencia que realmente ponga en peligro los beneficios de inversores supone una limitación u obstáculo insalvable para el continuo desarrollo, nuevos lanzamientos y usos.

En la carrera por la conquista del espectáculo tecnológico este tipo de preguntas son despreciadas de forma efectiva con un toque de permeabilidad ante quienes plantean la falta de información y quienes avisan con empezar acciones legales… para ser silenciadas con propaganda a base de trucos y novedades.

[…]

Cuando usamos una expresión como caja negra para referirnos a aspectos de tecnología o negocios en general, y a la espectacular Inteligencia Artificial en particular, no definimos una limitación temporal normal en nuestra búsqueda de entendimiento de un determinado proceso o producto. No se trata de una incapacidad en el espacio tiempo por entender el todo, sino más bien una decisión interesada por no revelar cómo se crea la tecnología en sí. Es hasta cierto punto entendible ya que revelar todos los entresijos del desarrollo de una tecnología otorga ventaja de negocio, captar mayores usuarios y usar esta base para fijar precios de uso una vez superado el enamoramiento de cuentas gratuitas y un argumento de peso que ofrecer a inversores. El ciclo suele ser sencillo: desarrollamos una tecnología, la difundimos para generar base de usuarios, con esta base construimos un mensaje para recabar más inversión… repetir hasta saturación del modelo. Lo que puede que pase desapercibido es que, en este caso, las voces críticas no solicitan tanto esa parte en particular (algoritmos, concatenación de resultados…) sino transparencia en lo que al listado detallado de información y contenido usados como parte del desarrollo se refiere. Simplificando:

1. No es prioritario saber cómo unes los puntos de miles de millones de datos para ofrecer un producto o tecnología, pero si has usado contenido libremente accesible en Internet, comparte qué páginas has usado, qué bases de datos libres…
   1. ¿Has usado mis datos? ¿Has usado mi contenido?
   2. ¿Puede el análisis de las fuentes usadas explicar sesgos en las respuestas?
2. En el aspecto de decisiones, una vez más sin desgranar el detalle de algoritmos y fórmulas mágicas, ¿Quién, qué y cómo se decide lo que es apropiado e inapropiado?¹ ¿Cuál es la línea editorial dictada?
3. A todo lo anterior podríamos de forma no sé si ingenua pero sí crítica preguntarnos: ¿es ético el proceso planteado? ¿No deberíamos hacernos esta pregunta más a menudo y no sólo con la IA?

Aunque correlación no signifique causalidad, sí que es bastante recurrente desde el punto de vista de las empresas, sector privado o partes interesadas referirnos a la legalidad. “Consulte usted con su abogado”. Lo cual no deja sino a las claras la evitación directa aunque enmascarada por no querer tener un diálogo abierto ya que podría frenar una locomotora, un trasatlántico global que, por ahora, está haciendo mucho ruido y promesa de beneficios a inversores.

La ley a según qué niveles en los negocios se tiene en cuenta en un cóctel de decisiones estratégicas más allá de su cumplimiento como exigencia primaria. Es decir, no se trata ya tanto de cumplir la ley, sino de observar espacios de alegalidad y adaptación en caso de que ésta sea modificada. Y, como toda novedad, la ley suele llegar tarde o con sanciones ridículas una vez se intenta corregir según qué conductas y procesos. De lo más importante que recuerdo en mi sector está la Ley de Protección de Datos y su evolución entre la Unión Europea y Estados Unidos. Acabó llegando, sí. Y creo recordar que llevó unos 5 o 10 años entre acuerdos, publicación y aplicación práctica. ¿Qué no pasará de aquí a una década? 

Caja negra ingenieril, caja negra naranja… magia… ¿MagIA?

Podemos ver lo que preguntamos y las respuestas en infinidad de modelos y aplicaciones sin saber cómo se han nutrido y no sé hasta qué punto se nutren de nuestros datos, acciones, conversaciones y cultura.

Espero que a pesar de esta situación, no dejemos de plantearnos preguntas y buscar respuestas. Usando los medios a nuestro alcance, pero siempre de forma crítica. Con cabeza propia.

Referencias:

Imagen de cabecera obtenida en Wikipedia: Grabadora de vuelo.

1. Coincidencias y casualidades varias… me apareció justo esto mientras escribía. Aún sin tener todas las respuestas conmigo.
   ↩︎