Ir al contenido principal

Cuando acecha el algoritmo

Mientras en el mundo avanzan las regulaciones en sus usos, en la Argentina se crea una Unidad de Inteligencia Artificial Aplicada a la Seguridad que apunta a patrullar redes sociales utilizando algoritmos de aprendizaje automático para «predecir futuros delitos». Los especialistas reflexionan sobre los peligros del sesgo en los sistemas de «actuación policial predictiva», ya desestimados en muchos países.

Por Pablo Taranto

La inteligencia artificial es una herramienta poderosísima. El riesgo, como ocurre con cualquier herramienta, está en cómo se la usa. Con ella se pueden hacer cosas muy distintas: optimizar los diagnósticos de la clínica médica o montar un dispositivo de vigilancia masiva. El dilema a resolver es cómo construir una inteligencia artificial que sea fiable, justa, que se use para el bien (con un dilema adicional: quién dictamina qué es justo y qué es bueno).

Están pasando cosas con la inteligencia artificial. El 1º de agosto pasado entró en vigencia el Reglamento de IA de la Unión Europea, la primera regulación integral de esta tecnología, que es el resultado de un largo proceso de consultas con todos los sectores involucrados y con los derechos de las personas en el primer plano.

La normativa europea prohíbe expresamente cuatro usos de la inteligencia artificial que califica como inaceptables: las aplicaciones que manipulan el comportamiento humano para eludir la libre voluntad de los usuarios; las que habilitan algún tipo de «puntuación social» por parte de gobiernos y empresas; ciertos sistemas biométricos, como los que reconocen emociones para categorizar personas en el lugar de trabajo o los que las identifican con fines policiales en espacios de acceso público; y los sistemas llamados de «actuación policial predictiva».

En simultáneo, en la Argentina, la Cámara de Diputados empieza a discutir en comisiones siete proyectos de ley que buscan regular estas tecnologías, la mayoría en línea con la UE, velando por los derechos de la ciudadanía en materia de transparencia y protección de datos personales.

Pero el gobierno de Javier Milei va en la dirección contraria. A fines de julio, la Resolución 710/24 del Ministerio de Seguridad creó la Unidad de Inteligencia Artificial Aplicada a la Seguridad (Uiaas), una oficina de ciberpatrullaje que tendrá a su cargo tareas que claramente la regulación europea consideraría un riesgo para los ciudadanos.

El objetivo de la nueva oficina del ministerio que conduce Patricia Bullrich es patrullar redes sociales y sitios de internet utilizando algoritmos de aprendizaje automático para «crear perfiles de sospechosos», «detectar amenazas potenciales» y «predecir futuros delitos», como explicita el texto de la resolución.

Los algoritmos de aprendizaje automático detectan patrones en conjuntos de datos y luego pueden usarlos para realizar predicciones. Los datos, que son la materia prima con que se entrenan las inteligencias artificiales, son la clave: de dónde salen, cuáles se incorporan al modelo y cuáles no, y quién toma esa decisión.

«El sesgo en los modelos de inteligencia artificial suele ocurrir a partir de los datos que se usan para entrenarlos —explica Enzo Ferrante, doctor en matemática e informática e investigador del Laboratorio de Inteligencia Artificial Aplicada (LIAA), que funciona en el Instituto de Investigación en Ciencias de la Computación (ICC, UBA- Conicet), en Exactas UBA—. El recorte o la subrepresentación de datos que se hace al construir las muestras, tiende a generar un rendimiento dispar del modelo para distintos grupos sociales, caracterizados por distintos atributos demográficos, y eso redunda en un comportamiento discriminatorio. Por supuesto, ese recorte obedece a decisiones humanas que están lejos de ser neutrales. De hecho, el déficit de diversidad en los equipos de trabajo que diseñan sistemas de aprendizaje automatizado en el mundo tiende a replicar ese sesgo en sus creaciones”.

En los usos comerciales de la IA, el sesgo es la norma. «¿Cuál es el ícono cultural de esta época? —se pregunta Diego Fernández Slezak, doctor en computación, director del LIAA y profesor de Exactas UBA—. Es el like, la aprobación del otro, con distintos fines. ¿Qué hace la IA con eso? Sesga los pulgares arriba. Te muestra aquello con lo que más probablemente desees interactuar, porque es lo que necesita la empresa detrás de esa inteligencia artificial: que ese producto, ese contenido, genere en vos una reacción, y que vos le des información».

Ahora bien, ¿qué pasa cuando esos parámetros de puntuación social, esos datos, son un cierto reflejo de la realidad, que es profundamente desigual, y el sesgo resultante reproduce esa desigualdad?

«Por supuesto, se pueden diseñar técnicas algorítmicas para mitigar el sesgo. Hay una técnica particular que es no mostrarle al modelo el atributo protegido, el género, por ejemplo, obligarlo a ignorar esa variable. Quienes trabajamos en fairness, en equidad algorítmica, precisamente buscamos entender cómo diseñar modelos que sean más justos —puntualiza Ferrante—. Ahora, puede haber correlación entre ese atributo y alguna otra variable. Ese mecanismo se ve en los sistemas de puntuación que se usan, por ejemplo, para la asignación de préstamos bancarios o límites de gasto en tarjetas de crédito. Un caso testigo fue un modelo que, frente a una pareja con ingresos, gastos y deudas similares, estableció para la mujer un límite que era la mitad que el de su esposo. La brecha salarial entre hombres y mujeres es una realidad del mundo desigual en que vivimos, y los datos con los que fue entrenado ese modelo se reflejan en esa discriminación. Ahora, ¿queremos que el modelo perpetúe y hasta amplifique las desigualdades? ¿O queremos modificar esa realidad?»

El anuncio de que habrá una dependencia del Ministerio de Seguridad que va a «predecir» delitos nos sumerge en una distopía, análoga a la del film Minority Report, basado en un cuento de Philip K. Dick, y abre peligrosos interrogantes sobre el uso que puede darse a esta tecnología.

«Estamos retrocediendo en cuestiones que ya fueron consensuadas incluso antes de toda esta revolución de la IA —sostiene Fernández Slezak—. En Estados Unidos se usan modelos predictivos hace muchísimo tiempo y ya se demostró que fallan, que sólo pueden usarlos expertos, de forma controlada y como evidencia probabilística, de valoración de la prueba, pero no como mecanismo probatorio de un delito. Usaban modelos predictivos que, por ejemplo, confundían a personas de tez negra con gorilas. Eso ya se desestimó. No hay un predictor que diga: «Tenés cara de ladrón, vas a robar en las próximas doce horas». Los países centrales ya no usan estas tecnologías con ese fin, al menos no públicamente, porque están desautorizadas».

«El sesgo racial ha sido una de las grandes polémicas en los algoritmos de reconocimiento facial, con sistemas que claramente tienen un peor rendimiento en mujeres de piel negra que en hombres blancos. Son modelos cuyas predicciones benefician sistemáticamente a un grupo de individuos frente a otro, resultando así injustos», señala Ferrante.

Y vuelve a alertar sobre el modo en que el sesgo, fijando estereotipos, perpetúa las inequidades. «Si se pretende predecir el riesgo de que una persona delinca entrenando el modelo con datos de presos que cumplen condena, no sólo biométricos sino características educativas, económicas u otras, ese es un uso falaz de la IA, pero se puede hacer. Un sistema así diseñado —concluye— va a decir que si vivís en determinado barrio, potencialmente sos un delincuente».

Por supuesto, derechos como la presunción de inocencia, la privacidad o la libertad de expresión quedarían directamente cercenados en la Argentina si la nueva Unidad de Inteligencia Artificial Aplicada a la Seguridad utiliza, como se anunció, este tipo de herramientas.

¿Quién y cómo entrenará esos modelos de IA? Aparte de la flagrante invasión a la privacidad sin orden judicial o la persecución lisa y llana contra quienes no coincidan con el ideario del gobierno libertario, prefiguradas en las atribuciones de la nueva repartición, ¿qué impediría que esos sistemas de predicción del delito, entrenados nadie sabe con qué datos, entreguen «falsos positivos», guiados por un sesgo social, político o ideológico en su algoritmo?

«La regulación es necesaria. Pero hay dos formas de pensar la regulación —señala Fernández Slezak—. Una es regular cómo las empresas y los gobiernos entrenan sus modelos y qué se permite hacer con ellos: los usos. En este enfoque, la IA es una herramienta. Para aquello que querés proteger, para la salud, por ejemplo, es indistinto un ratón moviendo un engranaje o una IA diseñada por Sam Altman, las dos herramientas pueden hacer igual de mal en función de cómo se usan. El otro enfoque es atacar directamente el core técnico de cómo se entrenan las inteligencias artificiales. Decir: «Vamos a regular que nadie pueda crear modelos de IA de más de doscientos billones de parámetros». Yo creo que esa es una mirada inocente: ¿cómo aplicás esa regulación? La propia velocidad astronómica a la que avanza la IA impide regular el aspecto técnico. Hay que regular los campos de aplicación, penalizar los usos indebidos en los ámbitos donde los Estados consideren que hay un peligro».

El derecho de las personas a no estar sujetas a decisiones basadas en algoritmos o perfiles automatizados es todavía un derecho difuso, difícil de tutelar, básicamente porque millones de usuarios entregan voluntariamente sus datos a poderosas corporaciones que los usan en forma monopólica. La manipulación tiene matices, escalas. El algoritmo define un camino para cada usuario. Pero una cosa es que sugiera la próxima película que va a ver y otra que vaya inclinándolo hacia determinados valores o determinada opción política.

Para Fernández Slezak, la regulación tiene un desafío extra, que es, primero, describir el problema. «La ciencia del comportamiento existe desde hace miles de años. De los sofistas a la propaganda, las sociedades siempre generaron discursos para manipular. Lo que pasó en los últimos años es que la precisión con la que uno puede capturar el estado mental de las personas a las que quiere guiar en determinada dirección, es enorme. Tanto el poder de cómputo como la capacidad de captura de datos y el poder de manipularlos es astronómicamente más grande. Pero hay que definir el problema. ¿El problema es que empresas muy poderosas manipulen los datos? ¿O el problema ya es que los tengan? ¿O que sean las únicas en tenerlos?”

La oficina de ciberpatrullaje de Bullrich podrá ser un dispositivo que cercene muchos derechos, un riesgo para la democracia, en el contexto de un fuerte proceso de liberalización de las prácticas del mercado, incluidos los usos de la inteligencia artificial.

En uno de sus muchos viajes a Estados Unidos, en mayo, Javier Milei se reunió con Sam Altman, CEO de OpenAI y creador de ChatGPT. La promiscua relación que pretende establecer con éste y otros frontmen de las megaempresas tecnológicas un presidente que predica la autorregulación del mercado, es ciertamente preocupante.

«Precisamente —cierra Fernández Slezak—, este gobierno pregona la desregulación total. Si en Europa no se puede y en Estados Unidos tampoco, la Argentina sería tierra fértil para hacer las barbaridades que se les ocurran, que quizás salgan bien, nunca se sabe, pero el riesgo es altísimo. ¿Por qué vendrían? Porque tendrían vía libre para operar desreguladamente sus experimentos de manipulación con estrictos fines de lucro.»

Pablo Taranto



Comentarios

Lo más visto de la semana pasada

Don Cornelio y la Zona - Don Cornelio y la Zona (1987)

"Hola, les saludo desde Ecuador, he seguido la página desde hace unos años y han sido un gran soporte emocional en mi vida gracias a la música que me han compartido. Quería preguntarles si pueden revivir este álbum que descubrí hace poco". ¿Y cómo negarnos ante ese comentario?. Como homenaje al recientemente desaparecido Palo Pandolfo (uno de los cantautores más destacados de la música argentina en las últimas tres décadas), reflotamos un discos que Artie había publicado hace ya mucho tiempo. Acá está, entonces, el disco homónimo de Don Cornelio, muy pedido por varios, como recuerdo de ese referente del rock argento que fue el poeta del rock "Palo" Pandolfo, con su combinación de lirismo y violencia reconocible en su rock, algunos dicen que fue heredero artístico de Pescado Rabioso , y desde hace 35 años que vino siendo bastante más que el flaquito que vino a poner oscuridad en el pop alfonsinista. Artista: Don Cornelio y la Zona Álbum: Don Cornelio y la Zona ...

Los 100 Mejores Álbumes del Rock Argentino según Rolling Stone

Quizás hay que aclararlo de entrada: la siguiente lista no está armada por nosotros, y la idea de presentarla aquí no es porque se propone como una demostración objetiva de cuales obras tenemos o no que tener en cuenta, ya que en ella faltan (y desde mi perspectiva, también sobran) muchas obras indispensables del rock argento, aunque quizás no tan masificadas. Pero sí tenemos algunos discos indispensables del rock argentino que nadie interesado en la materia debería dejar de tener en cuenta. Y ojo que en el blog cabezón no tratamos de crear un ranking de los "mejores" ni los más "exitosos" ya que nos importa un carajo el éxito y lo "mejor" es solamente subjetivo, pero sobretodo nos espanta el concepto de tratar de imponer una opinión, un solo punto de vista y un sola manera de ver las cosas. Todo comenzó allá por mediados de los años 60, cuando Litto Nebbia y Tanguito escribieron la primera canción, Moris grabó el primer disco, Almendra fue el primer ...

Serú Girán - La Grasa de las Capitales (Edición 40 Aniversario) (1979 / 2019)

Esta edición especial tiene su lanzamiento digital hoy, y nosotros no podíamos dejar de mencionarlo. Un disco bien para que aparezca en el blog cabezón un viernes. Porque no es una versión cualquiera, porque salió hoy mismo, porque es una gran sorpresa tenerlo aquí y porque lo trae el Mago Alberto.  A partir de la recuperación del histórico catálogo discográfico de Music Hall, realizada por el Instituto Nacional de la Música (INAMU), y con un minucioso trabajo de producción que incluyó la remasterización del sonido desde cintas, restauración de arte de tapa e inclusión de un insert con fotos originales nunca antes vistas, se lanza a 40 años de su publicación una edición especial de "La Grasa de las Capitales", segundo disco del legendario Serú Girán. Con la idea de escuchar cada vez mejor estas obras que traspasan el tiempo, es que anunciamos estas cosas maravillosas que van saliendo, y es que así se vive la mejor música en el blog cabezón. Artista: Serú Girán Álbum: ...

Jethro Tull - A Passion Play (1973)

#Músicaparaelencierro. Gracias a Carlos el Menduco y Horacio Manrique volvemos con el es quizás el disco que más me gusta de los Jethro Tull, un disco valiente, riesgoso, temerario y sumamente complejo, con solamente dos canciones para sacudirte cada neurona del cerebro. Y ojo que no es un disco nada fácil, y quizás no tuvo, ni en el momento en que salió a la venta ni a lo largo de la historia del grupo, el reconocimiento que se merece, y aquí también revisamos con la versión original y el remixado por parte de Steven Wilson que le dió una vuelta de tuerca a este clásico oculto del prog rock!   Artista: Jethro Tull Álbum: A Passion Play Año: 1973 Género: Folk rock / Rock sinfónico Duración: 40:46 Nacionalidad: Inglaterra El Menduco nuevamente nos trae un discazo de los reyes del folk prog, ahora con un disco, mejor dicho otro discazo, quizás injustamente relegado. Personalmente uno de los discos de la banda que más me gusta, pero que sale un poco del molde de Jethro Tul...

Spinetta & Páez - La La La (1986-2007)

#Músicaparaelencierro. LightbulbSun nos revive el disco doble entre el Flaco y Fito. La edición original de este álbum fue en formato vinilo y contenía 20 temas distribuidos en dos discos. Sin embargo en su posterior edición en CD se incluyeron los primeros 19 temas, dejando fuera la última canción que era la única canción compuesta por ambos. En relación a este trabajo, Spinetta en cada entrevista que le preguntaron sobre este disco el dijo que fue un trabajo maravilloso, que es uno de los discos favoritos grabados por él. En septiembre de 2007 se reedita el disco en formato CD, con todos los temas originales contenidos en la edición original en vinilo pero con un nuevo diseño. Creo que lo más elevado del disco es la poética del Flaco, este trabajo es anterior a "Tester de Vilencia" y musicalmente tiene alguna relación con dicho álbum... y una tapa donde se fusionan los rostros de ambos, que dice bastante del disco. Aquí, otro trabajo en la discografía del Flaco que estamos ...

Asfixia calculada, el bloqueo como arquitectura del sufrimiento

El bloqueo económico, comercial y financiero impuesto por Estados Unidos contra Cuba— iniciado en 1960 bajo Eisenhower y formalizado por Kennedy en 1962 —representa el capítulo más prolongado de coerción económica en la historia moderna. Lo que comenzó como instrumento de presión geopolítica durante la Guerra Fría ha mutado en una compleja arquitectura de asfixia, perfeccionada a través de once administraciones estadounidenses. Su objetivo declarado siempre ha sido el mismo: debilitar al gobierno cubano. Su resultado empírico, sin embargo, revela una verdad más oscura, la transformación deliberada del sufrimiento humano en moneda de cambio político. Mientras el mundo avanza hacia 2026, este mecanismo no solo persiste, se ha refinado hasta alcanzar niveles de sofisticación cruel que desafían la conciencia internacional. Lo inmoral de esta política, es que pretende utilizar el bloqueo como un arma de negociación. Por Lic. Alejandro Marcó del Pont   La orden ejecutiva del 30 de enero...

Aquelarre - Brumas (1974)

#Músicaparaelencierro. LightbulbSun nos recuerda a una de las grandes leyendas del rock argentino de todos los tiempos,  humildemente, quizás este sea el mejor disco de Aquelarre, y uno de los mejores que habrán escuchado en su perra vida. "Brumas" es el tercer disco de Aquelarre, publicado en el año 1974, luego de los exitosos dos primeros álbumes: "Aquelarre" (1972) y "Candiles" (1973). Esto es puro rock y del mejor, rebeldía, letras geniales, música del alma, contenidos, militancia, códigos, y encima es  parte de aquel bloque sonoro que eran Pescado Rabioso, Almendra y Color Humano, ladrillos en una pared maciza, grosos como pocos, una las grandes bandas argentinas de los años 70 en el pico de su creatividad. Con ustedes, Aquelarre... disfrute y vuele por favor. Artista: Aquelarre Álbum: Brumas Año: 1974 Género: Rock progresivo Nacionalidad: Argentina Duración: 43:43 Si tuvieras que elegir qué discos llevar a una isla desiert... ¿este...

Yes - Symphonic Live (2009)

#Videosparaelencierro. Gracias a Horacio Manrique acá está no sólo el sonido de una obra monumental, única, sino el video completo, uno de los grandes hitos de Yes que quizás muchos desconocen. Como dice el Mago Alberto en su comentario: esta obra pasa a ser trascendental simplemente por su contexto, por su coyuntura, este proyecto resiste cualquier crítica, este trabajo va más allá de cualquier análisis. Para el seguidor de Yes esto no es ninguna novedad, para el desprevenido y el colgado esto les va a caer de maravilla. Una de las mayores obras creadas por esos magos del rock sinfónico que se dieron a llamar Yes, grabadas a fuego en el blog cabezón... y de ahora en más también en tu cabeza. Artista: Yes Álbum: Symphonic Live Año: 2009 Género: Rock sinfónico de aquellos Duración: 194:00 Nacionalidad: Inglaterra Desde unos días antes de la partida de Chris Squire (y por ende de su propio proyecto personal: Yes ) habíamos estado publicando las sendas obras de Yes ; y n...

Pescado Rabioso - Artaud (1973)

Ya el Mago Alberto trajo el primero de Serú en la mejor calidad de sonido posible, y ahora viene con un clásico y una obra suprema para el disfrute de quienes aman la obra de Spinetta, pero no en cualquier versión, sino en la mejor que podemos tener. Una investigación antropológica que fue a dar con una versión que podría ser el Santo Grial en cuando a la calidad de sonido de este álbum que fue destrozado en su versión en CD, y que corresponde a una tirada de prueba realizada en EEUU de solamente 500 copias y que conserva la calidad original del primer vinilo. Así que este será no solamente un regalito para el fin de semana sino también de fin de año, será el regalito del Mago Alberto y el blog cabezón. Infaltable, no podemos dejar éste disco fuera del Biblioteca Sonora!!!!. Artista: Pescado Rabioso Álbum: Artaud Año: 1973 Género: Rock Duración: 36:39 Nacionalidad: Argentina Aclaro que aquí, y dadas la importancia de este posteo, solamente estarán las palabras de Spinett...

Medios de Comunicación IV (Gobernando en Base en la Desinformación)

Otro aporte al pensamiento crítico sobre cómo la uniformidad en la comunicación tiende a manipular a las masas. Actualmente, el Argentina ya fueron demolidos todos los medios anti-mercado y contra el actual gobierno (salvo el diario Página 12) y el discurso es uno solo, ya los ciudadanos quedaron presa de un brutal apagón informativo, mientras se avasallan las instituciones democráticas junto con la colaboración del Poder Judicial y los medios de comunicación. Desde el 10 de diciembre, día en que asumió el actual presidente, amigo de los medios concentrados de comunicación, todo mejoró súbitamente, de repente se acallaron las cacerolas y también terminó la inseguridad, y la frivolidad hace que la forma de gobernar poco democrática de M&M en base a vetos pase desapercibida (M&M, o El Capitán Veto, suspendió hoy –martes 29 de diciembre- la aplicación del Código Procesal de la Nación a través de otro Decreto , en lo que parece ser una dictadura por Decreto en "El Decreto...

Ideario del arte y política cabezona

Ideario del arte y política cabezona


"La desobediencia civil es el derecho imprescriptible de todo ciudadano. No puede renunciar a ella sin dejar de ser un hombre".

Gandhi, Tous les hommes sont frères, Gallimard, 1969, p. 235.