Ir al contenido principal

Cuando acecha el algoritmo

Mientras en el mundo avanzan las regulaciones en sus usos, en la Argentina se crea una Unidad de Inteligencia Artificial Aplicada a la Seguridad que apunta a patrullar redes sociales utilizando algoritmos de aprendizaje automático para «predecir futuros delitos». Los especialistas reflexionan sobre los peligros del sesgo en los sistemas de «actuación policial predictiva», ya desestimados en muchos países.

Por Pablo Taranto

La inteligencia artificial es una herramienta poderosísima. El riesgo, como ocurre con cualquier herramienta, está en cómo se la usa. Con ella se pueden hacer cosas muy distintas: optimizar los diagnósticos de la clínica médica o montar un dispositivo de vigilancia masiva. El dilema a resolver es cómo construir una inteligencia artificial que sea fiable, justa, que se use para el bien (con un dilema adicional: quién dictamina qué es justo y qué es bueno).

Están pasando cosas con la inteligencia artificial. El 1º de agosto pasado entró en vigencia el Reglamento de IA de la Unión Europea, la primera regulación integral de esta tecnología, que es el resultado de un largo proceso de consultas con todos los sectores involucrados y con los derechos de las personas en el primer plano.

La normativa europea prohíbe expresamente cuatro usos de la inteligencia artificial que califica como inaceptables: las aplicaciones que manipulan el comportamiento humano para eludir la libre voluntad de los usuarios; las que habilitan algún tipo de «puntuación social» por parte de gobiernos y empresas; ciertos sistemas biométricos, como los que reconocen emociones para categorizar personas en el lugar de trabajo o los que las identifican con fines policiales en espacios de acceso público; y los sistemas llamados de «actuación policial predictiva».

En simultáneo, en la Argentina, la Cámara de Diputados empieza a discutir en comisiones siete proyectos de ley que buscan regular estas tecnologías, la mayoría en línea con la UE, velando por los derechos de la ciudadanía en materia de transparencia y protección de datos personales.

Pero el gobierno de Javier Milei va en la dirección contraria. A fines de julio, la Resolución 710/24 del Ministerio de Seguridad creó la Unidad de Inteligencia Artificial Aplicada a la Seguridad (Uiaas), una oficina de ciberpatrullaje que tendrá a su cargo tareas que claramente la regulación europea consideraría un riesgo para los ciudadanos.

El objetivo de la nueva oficina del ministerio que conduce Patricia Bullrich es patrullar redes sociales y sitios de internet utilizando algoritmos de aprendizaje automático para «crear perfiles de sospechosos», «detectar amenazas potenciales» y «predecir futuros delitos», como explicita el texto de la resolución.

Los algoritmos de aprendizaje automático detectan patrones en conjuntos de datos y luego pueden usarlos para realizar predicciones. Los datos, que son la materia prima con que se entrenan las inteligencias artificiales, son la clave: de dónde salen, cuáles se incorporan al modelo y cuáles no, y quién toma esa decisión.

«El sesgo en los modelos de inteligencia artificial suele ocurrir a partir de los datos que se usan para entrenarlos —explica Enzo Ferrante, doctor en matemática e informática e investigador del Laboratorio de Inteligencia Artificial Aplicada (LIAA), que funciona en el Instituto de Investigación en Ciencias de la Computación (ICC, UBA- Conicet), en Exactas UBA—. El recorte o la subrepresentación de datos que se hace al construir las muestras, tiende a generar un rendimiento dispar del modelo para distintos grupos sociales, caracterizados por distintos atributos demográficos, y eso redunda en un comportamiento discriminatorio. Por supuesto, ese recorte obedece a decisiones humanas que están lejos de ser neutrales. De hecho, el déficit de diversidad en los equipos de trabajo que diseñan sistemas de aprendizaje automatizado en el mundo tiende a replicar ese sesgo en sus creaciones”.

En los usos comerciales de la IA, el sesgo es la norma. «¿Cuál es el ícono cultural de esta época? —se pregunta Diego Fernández Slezak, doctor en computación, director del LIAA y profesor de Exactas UBA—. Es el like, la aprobación del otro, con distintos fines. ¿Qué hace la IA con eso? Sesga los pulgares arriba. Te muestra aquello con lo que más probablemente desees interactuar, porque es lo que necesita la empresa detrás de esa inteligencia artificial: que ese producto, ese contenido, genere en vos una reacción, y que vos le des información».

Ahora bien, ¿qué pasa cuando esos parámetros de puntuación social, esos datos, son un cierto reflejo de la realidad, que es profundamente desigual, y el sesgo resultante reproduce esa desigualdad?

«Por supuesto, se pueden diseñar técnicas algorítmicas para mitigar el sesgo. Hay una técnica particular que es no mostrarle al modelo el atributo protegido, el género, por ejemplo, obligarlo a ignorar esa variable. Quienes trabajamos en fairness, en equidad algorítmica, precisamente buscamos entender cómo diseñar modelos que sean más justos —puntualiza Ferrante—. Ahora, puede haber correlación entre ese atributo y alguna otra variable. Ese mecanismo se ve en los sistemas de puntuación que se usan, por ejemplo, para la asignación de préstamos bancarios o límites de gasto en tarjetas de crédito. Un caso testigo fue un modelo que, frente a una pareja con ingresos, gastos y deudas similares, estableció para la mujer un límite que era la mitad que el de su esposo. La brecha salarial entre hombres y mujeres es una realidad del mundo desigual en que vivimos, y los datos con los que fue entrenado ese modelo se reflejan en esa discriminación. Ahora, ¿queremos que el modelo perpetúe y hasta amplifique las desigualdades? ¿O queremos modificar esa realidad?»

El anuncio de que habrá una dependencia del Ministerio de Seguridad que va a «predecir» delitos nos sumerge en una distopía, análoga a la del film Minority Report, basado en un cuento de Philip K. Dick, y abre peligrosos interrogantes sobre el uso que puede darse a esta tecnología.

«Estamos retrocediendo en cuestiones que ya fueron consensuadas incluso antes de toda esta revolución de la IA —sostiene Fernández Slezak—. En Estados Unidos se usan modelos predictivos hace muchísimo tiempo y ya se demostró que fallan, que sólo pueden usarlos expertos, de forma controlada y como evidencia probabilística, de valoración de la prueba, pero no como mecanismo probatorio de un delito. Usaban modelos predictivos que, por ejemplo, confundían a personas de tez negra con gorilas. Eso ya se desestimó. No hay un predictor que diga: «Tenés cara de ladrón, vas a robar en las próximas doce horas». Los países centrales ya no usan estas tecnologías con ese fin, al menos no públicamente, porque están desautorizadas».

«El sesgo racial ha sido una de las grandes polémicas en los algoritmos de reconocimiento facial, con sistemas que claramente tienen un peor rendimiento en mujeres de piel negra que en hombres blancos. Son modelos cuyas predicciones benefician sistemáticamente a un grupo de individuos frente a otro, resultando así injustos», señala Ferrante.

Y vuelve a alertar sobre el modo en que el sesgo, fijando estereotipos, perpetúa las inequidades. «Si se pretende predecir el riesgo de que una persona delinca entrenando el modelo con datos de presos que cumplen condena, no sólo biométricos sino características educativas, económicas u otras, ese es un uso falaz de la IA, pero se puede hacer. Un sistema así diseñado —concluye— va a decir que si vivís en determinado barrio, potencialmente sos un delincuente».

Por supuesto, derechos como la presunción de inocencia, la privacidad o la libertad de expresión quedarían directamente cercenados en la Argentina si la nueva Unidad de Inteligencia Artificial Aplicada a la Seguridad utiliza, como se anunció, este tipo de herramientas.

¿Quién y cómo entrenará esos modelos de IA? Aparte de la flagrante invasión a la privacidad sin orden judicial o la persecución lisa y llana contra quienes no coincidan con el ideario del gobierno libertario, prefiguradas en las atribuciones de la nueva repartición, ¿qué impediría que esos sistemas de predicción del delito, entrenados nadie sabe con qué datos, entreguen «falsos positivos», guiados por un sesgo social, político o ideológico en su algoritmo?

«La regulación es necesaria. Pero hay dos formas de pensar la regulación —señala Fernández Slezak—. Una es regular cómo las empresas y los gobiernos entrenan sus modelos y qué se permite hacer con ellos: los usos. En este enfoque, la IA es una herramienta. Para aquello que querés proteger, para la salud, por ejemplo, es indistinto un ratón moviendo un engranaje o una IA diseñada por Sam Altman, las dos herramientas pueden hacer igual de mal en función de cómo se usan. El otro enfoque es atacar directamente el core técnico de cómo se entrenan las inteligencias artificiales. Decir: «Vamos a regular que nadie pueda crear modelos de IA de más de doscientos billones de parámetros». Yo creo que esa es una mirada inocente: ¿cómo aplicás esa regulación? La propia velocidad astronómica a la que avanza la IA impide regular el aspecto técnico. Hay que regular los campos de aplicación, penalizar los usos indebidos en los ámbitos donde los Estados consideren que hay un peligro».

El derecho de las personas a no estar sujetas a decisiones basadas en algoritmos o perfiles automatizados es todavía un derecho difuso, difícil de tutelar, básicamente porque millones de usuarios entregan voluntariamente sus datos a poderosas corporaciones que los usan en forma monopólica. La manipulación tiene matices, escalas. El algoritmo define un camino para cada usuario. Pero una cosa es que sugiera la próxima película que va a ver y otra que vaya inclinándolo hacia determinados valores o determinada opción política.

Para Fernández Slezak, la regulación tiene un desafío extra, que es, primero, describir el problema. «La ciencia del comportamiento existe desde hace miles de años. De los sofistas a la propaganda, las sociedades siempre generaron discursos para manipular. Lo que pasó en los últimos años es que la precisión con la que uno puede capturar el estado mental de las personas a las que quiere guiar en determinada dirección, es enorme. Tanto el poder de cómputo como la capacidad de captura de datos y el poder de manipularlos es astronómicamente más grande. Pero hay que definir el problema. ¿El problema es que empresas muy poderosas manipulen los datos? ¿O el problema ya es que los tengan? ¿O que sean las únicas en tenerlos?”

La oficina de ciberpatrullaje de Bullrich podrá ser un dispositivo que cercene muchos derechos, un riesgo para la democracia, en el contexto de un fuerte proceso de liberalización de las prácticas del mercado, incluidos los usos de la inteligencia artificial.

En uno de sus muchos viajes a Estados Unidos, en mayo, Javier Milei se reunió con Sam Altman, CEO de OpenAI y creador de ChatGPT. La promiscua relación que pretende establecer con éste y otros frontmen de las megaempresas tecnológicas un presidente que predica la autorregulación del mercado, es ciertamente preocupante.

«Precisamente —cierra Fernández Slezak—, este gobierno pregona la desregulación total. Si en Europa no se puede y en Estados Unidos tampoco, la Argentina sería tierra fértil para hacer las barbaridades que se les ocurran, que quizás salgan bien, nunca se sabe, pero el riesgo es altísimo. ¿Por qué vendrían? Porque tendrían vía libre para operar desreguladamente sus experimentos de manipulación con estrictos fines de lucro.»

Pablo Taranto



Comentarios

Lo más visto de la semana pasada

Los 100 Mejores Álbumes del Rock Argentino según Rolling Stone

Quizás hay que aclararlo de entrada: la siguiente lista no está armada por nosotros, y la idea de presentarla aquí no es porque se propone como una demostración objetiva de cuales obras tenemos o no que tener en cuenta, ya que en ella faltan (y desde mi perspectiva, también sobran) muchas obras indispensables del rock argento, aunque quizás no tan masificadas. Pero sí tenemos algunos discos indispensables del rock argentino que nadie interesado en la materia debería dejar de tener en cuenta. Y ojo que en el blog cabezón no tratamos de crear un ranking de los "mejores" ni los más "exitosos" ya que nos importa un carajo el éxito y lo "mejor" es solamente subjetivo, pero sobretodo nos espanta el concepto de tratar de imponer una opinión, un solo punto de vista y un sola manera de ver las cosas. Todo comenzó allá por mediados de los años 60, cuando Litto Nebbia y Tanguito escribieron la primera canción, Moris grabó el primer disco, Almendra fue el primer ...

Porcupine Tree - Fear Of A Blank Planet Transmission 6.1 (2007)

LightbulbSun nos presenta la edición definitiva en video de la obra maestra de Porcupine Tree "Fear of a Blank Planet", y no se trata exactamente de un DVD en vivo en el sentido tradicional, "Transmission 6.1" es el número de catálogo de la edición especial de lujo en formato DVD-Audio / DVD-Video que acompañó el lanzamiento del álbum de estudio en 2007, y esta edición especial es muy apreciada por los melómanos por ofrecer la producción integral del álbum con un sonido envolvente impecable y de alta resolución... Ideal para que recuerden este gran disco en el fin de semana. Artista:  Porcupine Tree Álbum:  Fear Of A Blank Planet Transmission 6.1  Año:  2007 Género: ---- Duración:  83:01 Referencia:   Rate Your Music Nacionalidad:  Inglaterra Cuando salió en 2007, Steven Wilson —siempre un obsesivo de la calidad sonora— quiso que la experiencia de "Fear Of A Blank Planet" fuera inmersiva. Y bueno, de ahí salió esta versión... El DVD inclu...

Daniel Melingo - H2O (1995)

Artista: Daniel Melingo Álbum: H2O Año: 1995 Género: Reggae/Rock Duración: 47:43 Nacionalidad: Argentina Lista de Temas: 1. Viejo sol 2. H2O 3. Alegría de vivir 4. Belfegor 5.  Nada Ophelia 6. Dub 78 7. Fermín 8. Maldito policía 9. Lejos 10. Nieve mortal 11. Juan Alineación: Daniel Melingo / Voz, guitarra, programación, acordeón, clarinete Cachorro López / Programación, coros Martín Aloé / Bajo Graham Hawthorne / Batería Ciro Baptista / Percusión Tom Malone / Trombón Sandra Baylac / Coros Sebastián Schon / Programación, piano Pablo Guadalupe / Batería Quebracho / Coros Pomo / Batería Ira Seagal / Guitarra española, guitarra eléctrica Willy Crook / Voz de "Belfegor" Pedro Aznar / Bajo, melódica Stan Getz / Saxo soprano (¡¡¡!!!) Larry Etkin / Trompeta Didi Gutman / Órgano Hammond Andrés Calamaro / Voz Pipo Cipolatti / Narrador Guillermo Vadalá / Bajo Patán / Piano Fender Rodhes

Pablo "El Enterrador" - Pablo El Enterrador (1983)

Gracias a Facundo revivimos este tremendo disco de los míticos rosarinos sinfónicos con elementos folk, un gran disco que si no lo conocés te los recomiendo encarecidamente, escuchalo y vas a ver porqué... Y sirve para dar la bienvenida a Facundo al staff del blog cabezón. Y este fue su disco debut, con un sonido que mezcla Genesis y Jethro Tull con los clásicos del rock argentino, Piazolla y el folklore argento, lleno de inspiración genuina que se entrega al verdadero arte, mostrando no solo mucho compañerismo musical sino además el alto nivel del arte musical de cada uno de los miembros de la banda, desplegando una propuesta diversa, llenando con intrincados patrones cada rincón del espacio sonoro, con la dupla de dos teclados contraponiéndose sobre una base sólida y rica, que sintetizan uno de los mejores y más convincentes álbumes progresivos argentos lanzados en la primera mitad de los años 80. ¿Cómo podía faltar este disco en este blog?... sería pecado. Artista:  Pablo "E...

Rush - Kia Forum Inglewood, CA June 7-9-11-13, 2026 (2026)

Y cerramos la semana con otro enorme aporte de LightbulbSun: De lo que estamos hablando no se refiere a un álbum en vivo (oficialmente editado) como tal, bueno, al menos todavía no, sino que vamos a presentar parte de los primeros shows de la gira "Fifty Something" que acaban de suceder este junio de 2026 en el Kia Forum de Los Ángeles. Obviamente es un evento histórico, y si sos seguidor de la banda y del progresivo, entiendo que vayas a disfrutar todo el fin de semana con esto. Acá te comparto los puntos clave de lo que estuvo pasando en esos conciertos, y lo mejor es que LightbulbSun se zarpa y nos comparte el sonido de esto de lo que te estamos hablando: ahora podés atesorar los cuatro días que Los Angeles pudo disfrutar, con un Rush increíblemente a pleno y listo para escucharlo durante todo el finde, mientras nos esperás que recargamos pilas y nos encontramos el lunes de la semana que viene, que hoy nos toca cerrar el viernes a lo grande. Y ojo que acá hay un montón de ...

Historia del Prog Rock en Costa Rica

Para complementar nuestra sección de grupos costarricenses de rock progresivos, presentamos una nota sobre su historia, bastante más jugosa que lo que uno podría imaginarse en un primer momento. En Costa Rica durante la primera mitad de los 60, el rock es considerado esencialmente una música de baile, y esa era precisamente su función. Eso explica, en parte, la recarga de covers en los repertorios. La cultura de música popular costarricense antes del rock estaba dominada por las orquestas, y si bien las orquestas tocan mucho material original específico a cada una, la mayoría del repertorio podía consistir en versiones de clásicos o de éxitos recientes popularizados en la radio. Por Fo León Al nacer en 1959 de la mano de los Twist Masters, el rock costarricense sigue el único patrón conocido, adaptando material extranjero con pericia y con mucha atención a la fidelidad. Complementando esto, las bandas desarrollan su propio material y conforme van madurando, van creando más mater...

Luis Alberto Spinetta - Peluson of Milk (1991)

Vamos cerrando otra semana muy especial en el blog cabezón, sonde han circulado grandes obras, como siempre y gracias a todos los que participan en el staff,  y ahora le toca el turno nuevamente al gran Flaco, pero no con un disco cualquiera, sino con la mejor versión que pueden escuchar de "Peluson of Milk". Esto es en exclusiva y viene de la mano del Mago Alberto, que con su magia consiguió una versión especial, que no salió a la calle, que tiene el mejor sonido, con la fidelidad adecuada que merece su obra y que, al menos en este disco, no estuvo nunca representada en las distintas versiones y ediciones que se comercializaron. Así que cerrando otra gran semana en el blog cabezón, y engalanando la Biblioteca Sonora, presentamos un disco con mejor calidad que el que tiene el CD que seguramente guardás en tu colección. Únicamente esto pasa en este humilde espacio, para alegría de la comunidad. Artista: Luis Alberto Spinetta Álbum: Peluson of milk Año: 1991 Género: ...

Ensemble Nimbus - Fake News! (2026)

Ojo que esto no es una fake news, una mentira o un verso, esto es otro tremendo aporte del Mago Alberto que le entra de lleno al RIO y Avant Prog de esta histórica banda sueca, y eso es una noticia fantástica. Ensemble Nimbus haya vuelto al ruedo después de tantos años de silencio con un disco donde colaboran músicos de la talla de Tomas Bodin (The Flower Kings) y Chris Cutler (Henry Cow, Art Bears, Gong, etc.). Es música exigente, lúdica y muy precisa, ideal para quienes disfrutan de las estructuras que desafían lo convencional. Un disco que suena "high-tech" pero orgánico, manteniendo ese espíritu de orquesta de cámara eléctrica que definía a sus primeros discos, siguen fieles a esa mezcla única de avant-prog, música de cámara con toques circenses, influencias gitanas y ese sentido del humor retorcido tan típico del movimiento RIO.. Como dice muy bien el Mago Alberto en su comentario que acompaña este posteo: "Cabezones, un disco para degustar tranquilo, sonidos inva...

Syrius - Az ördög álarcosbálja (Devil's Masquerade) (1972)

Cerramos la semana con otra tremenda joya desconocida. Otro gran aporte de LightbulbSun para viajar musicalmente otra vez a Hungría, pero esta vez a los setentas. Y hablar de este disco, cuyo título sería "El baile de máscaras del diablo", vendría a ser como describir una fiesta donde han invitado a todo el mundo: un profesor de jazz serio, al rockero con melena y a un marciano con una flauta travesera con algún guiño a Gentle Giant y analogías con las mejores obras de Fripp. Este fue el primer y único LP de la agrupación, que en su momento solo vendió una pequeña cantidad de copias, principalmente con fines promocionales. Lástima, porque Syrius tenía una personalidad arrolladora y no intentaban sonar como los grupos británicos de la época; simplemente agarraron sus instrumentos y dijeron: "vamos a hacer lo que nos canta el culo", y así lo hicieron, generando un disco que debería ser una pieza fundamental en tu playlist de todos los días. Si te gusta la música que...

Gaia Wilmer Large Ensemble - Folia, The Music of Egberto Gismonti (2023)

Un puente entre el Jazz y el legado de Gismonti. Vamos a presentar ahora una maravilla, un disco disco doble que es una obra maravillosa, ambiciosa y profundamente respetuosa en la que la saxofonista, compositora y arreglista brasilera Gaia Wilmer rinde homenaje a uno de los genios más influyentes de la música contemporánea de Brasil; obviamente nos referimos al maestro Egberto Gismonti, y este es otro de nuestros discos desconocidos pero tremendamente recomendados. El proyecto tiene raíces profundas; nació de una serie de conciertos organizados por la propia Wilmer en Brasil (gracias a una beca del Centro Cultural Banco do Brasil) para celebrar el 70º aniversario de Gismonti en 2018. Esta experiencia previa de tocar junto al maestro permitió que los arreglos maduraran antes de llegar al estudio. El repertorio es una selección curada que recorre algunas de las obras más emblemáticas de Gismonti, manteniendo un equilibrio entre la nostalgia y la vitalidad. Ideal para comenzar la seman...

Ideario del arte y política cabezona

Ideario del arte y política cabezona


"La desobediencia civil es el derecho imprescriptible de todo ciudadano. No puede renunciar a ella sin dejar de ser un hombre".

Gandhi, Tous les hommes sont frères, Gallimard, 1969, p. 235.