Republicado con el permiso de Jeimy Cano*

Con una evolución acelerada de la tecnología y un aumento creciente de la densidad digital, es inevitable que tanto las naciones, las empresas y las personas se vuelvan más dependientes de los avances y oportunidades que brindan las iniciativas basadas en un ecosistema digital. En este sentido, se advierte un incremento de objetos físicos con mayor conectividad e inteligencia desplegados en los diferentes escenarios de la vida diaria, que comenzarán a ser parte del paisaje de vida luego de la emergencia sanitaria internacional (Zamora, 2017).

No es en vano los recientes anuncios de una nueva realidad planteada desde un “metaverso”, una realidad alterna, aumentada y digital donde la vida adquiere otra dimensión y se habilita un escenario de interacciones y posibilidades que hasta ahora iniciamos a explorar (Fernández, 2021). En este contexto, la dinámica de la sociedad cada vez más dependerá no solamente de los dispositivos tecnológicos que se construyan, sino de la inteligencia inmersa en los mismos, que hoy por hoy está en manos de un grupo de personas que en el mundo de la computación se denominan los “desarrolladores”.

Los desarrolladores son generalmente profesionales del campo de las tecnologías de información, aunque hoy en día, pueden venir de cualquier disciplina, comoquiera que la competencia de la programación, la lógica de los algoritmos, se ha venido enseñando en otras carreras adyacentes (como puede ser las ingenierías en general) y ahora en espacios de comprensión académica que trascienden las ciencias sociales y diversas áreas del saber. Sin perjuicio de lo anterior, saber “programar”, modelar y solucionar problemas usando la lógica computacional, es ahora una competencia clave que permite conectar la dinámica del mundo a través de la inteligencia de los nuevos objetos digitales (Deloitte, 2018b).

En este sentido, se hace necesario hacer evidentes los retos y riesgos que se tienen en este ejercicio, por demás exigente y conceptualmente formal, pues ahora el comportamiento de objetos físicos conectados dependerá de la manera como se hayan pensado, concebido, especificado y aplicados muchos de los conceptos de la lógica y la computación, y de la mirada ética y práctica que los “desarrolladores” deben tener al plasmar sus ideas y soluciones para el mundo real. Esto es, hacer consciente que ya no es algunas líneas de código compiladas en una máquina, sino el comportamiento de un objeto conectado en el mundo real (Sultana, 2016).

Así las cosas, cuando se habla hoy sobre la inteligencia artificial estamos intrínsecamente hablando de programación de algoritmos, que son inicialmente desarrollados por las personas asignadas para ello y luego son entrenados con datos existentes, para que tengan las bases de las futuras acciones, sugerencias y decisiones que se tomarán más adelante. Nótese que en todos estos elementos, los sesgos, las fallas, las vulnerabilidades y las salidas de los programas, serán parte natural del proceso y por lo tanto, deberán ser materia de especial revisión y aseguramiento por parte de los que desarrollan, como por lo que adelantan la pruebas de funcionalidad (Rao & Golbin, 2018).

Cuando se advierte de los riesgos de los algoritmos debemos tener en foco al menos tres elementos claves: (Deloitte, 2018)

• Entrada de datos: Los problemas pueden incluir sesgos en los datos utilizados para el entrenamiento del algoritmo. Otros problemas pueden surgir de datos de entrada incompletos, obsoletos o irrelevantes; de tamaños de muestra insuficientemente grandes y diversos; de técnicas de recogida de datos inadecuadas; o de un desajuste entre los datos de entrenamiento y los de entrada reales.
• Diseño del algoritmo: Los algoritmos pueden incorporar una lógica sesgada, suposiciones o juicios erróneos, desigualdades estructurales, técnicas de modelización inadecuadas o errores de codificación.
• Decisiones de salida: Los usuarios pueden interpretar los resultados de los algoritmos de forma incorrecta, aplicarlos de forma inadecuada o ignorar sus supuestos subyacentes.

Adicionalmente se deberán tener en cuenta no sólo las pruebas de uso, sino las de mal uso, las cuales darán cuenta de la fortaleza y resistencia de los algoritmos frente a situaciones previamente no detalladas y que pueden indicar comportamientos no estándar o adversos de la aplicación, con lo que es viable comenzar a establecer el porcentaje de error inherente que tiene el algoritmo, métrica base que se debe incorporar ahora en los nuevos desarrollos e iniciativas que terminen afectando o influyendo comportamientos de objetos físicos en el mundo real u ofreciendo marcos de decisiones estratégicas para las empresas (Khamaiseh, 2016).

La sensibilidad de los algoritmos en la vida diaria es la realidad que nos ocupa cada vez que una persona interactúa en internet, o efectúa alguna operación en el contexto digital. Los aeropuertos, los centros comerciales, las grandes superficies y en general la dinámica de la actualidad establece nuevos referentes de monitoreo y control, que termina por ser parte de los análisis que se adelantan de la información capturada (de forma autorizada o no autorizada) por parte de los programas elaborados y entrenados para tal fin (Wade, 2020).

En línea con lo anterior, se hace necesario establecer un marco de uso ético de los algoritmos y de la información, con el fin de asegurar que los derechos fundamentales de los individuos en el contexto digital tienen las mismas garantías y prerrogativas, y más allá de la incorporación de nuevas propuestas y disrupciones digitales, es viable mantener la base del respeto y reconocimiento de las dignidades humanas, que permitan el balance necesario para los avances tecnológicos y el disfrute de los individuos de nuevas experiencias digitales (Leidner et al., 2021).

Una propuesta que se adelanta en este sentido se denomina contrainteligencia cognitiva. Es un ejercicio del escenario militar, que aplicado en el espacio de lo digital lo podríamos definir, parafraseando a Jiménez (2019, p.12) como un conjunto de actividades que tiene como objetivo localizar, identificar y vigilar, para neutralizar y, en su caso, contrarrestar o desactivar, las actividades no autorizadas (o no previstas en la definición original) de los algoritmos desplegados en una solución. Esto es, un sistema de alertas de acción proactiva, que en un primer momento notifique sobre el comportamiento inusual del programa, dadas las condiciones de inestabilidad que se han detectado.

Si bien esta idea requiere mayor desarrollo y revisión por parte de la academia por las diferentes implicaciones que puede llegar a tener, entre otras, la materialización de falsos positivos que lleven a la disminución de la confiabilidad de esta propuesta, es importante mantenerla en foco por las posibilidades y bondades que puede traer su implementación en el futuro. Por lo tanto, habrá que mantener reflexiones permanentes que permitan la evolución de la misma en el mediano plazo teniendo en mente algunos elementos como:

• Avances y prototipos de prueba.
• Casos documentados de efectos nocivos de los algoritmos.
• Pruebas de auditoria para software de inteligencia artificial.
• Simulaciones en contextos reales.

Los algoritmos en la actualidad no aparecen en el panorama de muchas organizaciones y Estados, toda vez que son elementos de operación invisibilizados por la dinámica de los programas y sus usos, los cuales crean grandes distracciones y experiencias por los resultados que se obtienen en la práctica individual. Pasan desapercibidos en el paisaje de experiencia social y empresarial por el uso de herramientas que aumentan la capacidad de las personas para influenciar las decisiones y posturas de los Estados, así como para manifestar las inconformidades que son desatendidas por las empresas y los gobiernos.

En razón con lo anterior, es un imperativo que en medio de los avances tecnológicos de la humanidad, donde estamos viendo y veremos grandes logros en diferentes sectores de la sociedad, que se llame la atención sobre los riesgos de los algoritmos, como esa temática de fondo que debe articular los retos y amenazas que se pueden estar generando (de forma deliberada o no intencional) por cuenta de posibles agendas ocultas de diferentes actores estatales o no estatales, o por falta del debido entrenamiento y pruebas que requiere su puesta en operación.

Los algoritmos hoy por hoy se configuran como las piezas fundamentales que pueden afectar la dinámica de las sociedades actuales, son líneas de código que esconden potenciales riesgos y amenazas que terminen afectando tanto a personas, como empresas y naciones. Son ahora parte inherente de las tendencias y movimientos de los países, que pasando por debajo de los radares de los entes de seguridad y control, pueden movilizar intereses no declarados y crear tensiones entre los miembros de una misma comunidad (Rose & MacGregor, 2021).

Finalmente, el uso de algoritmos cada vez más elaborados y sofisticados habilita una amplia gama de beneficios potenciales a las empresas y Estados, en temas como una mejor toma de decisiones, la planificación estratégica, la eficiencia operativa e incluso la gestión de riesgos. Sin embargo, para obtener estos beneficios, se hace necesario que las organizaciones y naciones reconozcan y gestionen los riesgos inherentes al diseño, la implementación y el uso de los algoritmos, riesgos que podrán aumentar o permanecer invisibilizados a menos que las organizaciones y los gobiernos, en colaboración con la academia y los proveedores, destinen los esfuerzos e inversiones requeridas para desarrollar cuidadosamente las capacidades de gestión de riesgos en los algoritmos.

Referencias

Deloitte (2018). How CDOs can manage algorithmic risks. https://www2.deloitte.com/us/en/insights/industry/public-sector/chief-data-officer-government-playbook/how-cdos-can-manage-algorithmic-risks-and-data-ethics.html

Deloitte (2018b) To code or not to code From coding to competence. https://www2.deloitte.com/content/dam/Deloitte/au/Documents/public-sector/deloitte-au-ps-from-coding-competence-230818.pdf

Fernández, Y. (2021). Qué es el Metaverso, qué posibilidades ofrece y cuándo será real. https://www.xataka.com/basics/que-metaverso-que-posibilidades-ofrece-cuando-sera-real

Jiménez, F. (2019). Manual de Inteligencia y contrainteligencia. Sevilla, España: CISDE.

Khamaiseh, S. Y. (2016). Security testing with misuse case modeling. Master Thesis. Boise State University. https://scholarworks.boisestate.edu/cgi/viewcontent.cgi?article=2258&context=td  

Leidner, D., Tona, O., Wixom, B. & Someh, I. (2021). Putting Dignity at the Core of Employee Data Use. Sloan Management Review. https://sloanreview.mit.edu/article/putting-dignity-at-the-core-of-employee-data-use

Rao, A. & Golbin, I. (2018). What it means to open AI’s black box. https://usblogs.pwc.com/emerging-technology/to-open-ai-black-box

Rose, J. & MacGregor, O. (2021). The Architecture of Algorithm-driven Persuasion. Journal of Information Architecture. 6(1). 7-40. https://journalofia.org/volume6/issue1/02-rose

Sultana, S. (2016). Defining the Competencies, Programming Languages, and Assessments for an Introductory Computer Science Course. Doctoral Thesis. STEM Education & Professional Studies, Old Dominion University, DOI: 10.25777/sgra-pa16. https://digitalcommons.odu.edu/stemps_etds/10

Wade, M. (2020). Corporate Responsibility in the Digital Era. Sloan Management Review. April. https://sloanreview.mit.edu/article/corporate-responsibility-in-the-digital-era

Zamora, J. (2017). ¿Es posible programar modelos de negocio? IESE Insight. II Trimestre.

Jeimy Cano es Director de la Revista SISTEMAS, de la Asociación Colombiana de Ingenieros de Sistemas*