Ir al contenido principal

Cuando acecha el algoritmo

Mientras en el mundo avanzan las regulaciones en sus usos, en la Argentina se crea una Unidad de Inteligencia Artificial Aplicada a la Seguridad que apunta a patrullar redes sociales utilizando algoritmos de aprendizaje automático para «predecir futuros delitos». Los especialistas reflexionan sobre los peligros del sesgo en los sistemas de «actuación policial predictiva», ya desestimados en muchos países.

Por Pablo Taranto

La inteligencia artificial es una herramienta poderosísima. El riesgo, como ocurre con cualquier herramienta, está en cómo se la usa. Con ella se pueden hacer cosas muy distintas: optimizar los diagnósticos de la clínica médica o montar un dispositivo de vigilancia masiva. El dilema a resolver es cómo construir una inteligencia artificial que sea fiable, justa, que se use para el bien (con un dilema adicional: quién dictamina qué es justo y qué es bueno).

Están pasando cosas con la inteligencia artificial. El 1º de agosto pasado entró en vigencia el Reglamento de IA de la Unión Europea, la primera regulación integral de esta tecnología, que es el resultado de un largo proceso de consultas con todos los sectores involucrados y con los derechos de las personas en el primer plano.

La normativa europea prohíbe expresamente cuatro usos de la inteligencia artificial que califica como inaceptables: las aplicaciones que manipulan el comportamiento humano para eludir la libre voluntad de los usuarios; las que habilitan algún tipo de «puntuación social» por parte de gobiernos y empresas; ciertos sistemas biométricos, como los que reconocen emociones para categorizar personas en el lugar de trabajo o los que las identifican con fines policiales en espacios de acceso público; y los sistemas llamados de «actuación policial predictiva».

En simultáneo, en la Argentina, la Cámara de Diputados empieza a discutir en comisiones siete proyectos de ley que buscan regular estas tecnologías, la mayoría en línea con la UE, velando por los derechos de la ciudadanía en materia de transparencia y protección de datos personales.

Pero el gobierno de Javier Milei va en la dirección contraria. A fines de julio, la Resolución 710/24 del Ministerio de Seguridad creó la Unidad de Inteligencia Artificial Aplicada a la Seguridad (Uiaas), una oficina de ciberpatrullaje que tendrá a su cargo tareas que claramente la regulación europea consideraría un riesgo para los ciudadanos.

El objetivo de la nueva oficina del ministerio que conduce Patricia Bullrich es patrullar redes sociales y sitios de internet utilizando algoritmos de aprendizaje automático para «crear perfiles de sospechosos», «detectar amenazas potenciales» y «predecir futuros delitos», como explicita el texto de la resolución.

Los algoritmos de aprendizaje automático detectan patrones en conjuntos de datos y luego pueden usarlos para realizar predicciones. Los datos, que son la materia prima con que se entrenan las inteligencias artificiales, son la clave: de dónde salen, cuáles se incorporan al modelo y cuáles no, y quién toma esa decisión.

«El sesgo en los modelos de inteligencia artificial suele ocurrir a partir de los datos que se usan para entrenarlos —explica Enzo Ferrante, doctor en matemática e informática e investigador del Laboratorio de Inteligencia Artificial Aplicada (LIAA), que funciona en el Instituto de Investigación en Ciencias de la Computación (ICC, UBA- Conicet), en Exactas UBA—. El recorte o la subrepresentación de datos que se hace al construir las muestras, tiende a generar un rendimiento dispar del modelo para distintos grupos sociales, caracterizados por distintos atributos demográficos, y eso redunda en un comportamiento discriminatorio. Por supuesto, ese recorte obedece a decisiones humanas que están lejos de ser neutrales. De hecho, el déficit de diversidad en los equipos de trabajo que diseñan sistemas de aprendizaje automatizado en el mundo tiende a replicar ese sesgo en sus creaciones”.

En los usos comerciales de la IA, el sesgo es la norma. «¿Cuál es el ícono cultural de esta época? —se pregunta Diego Fernández Slezak, doctor en computación, director del LIAA y profesor de Exactas UBA—. Es el like, la aprobación del otro, con distintos fines. ¿Qué hace la IA con eso? Sesga los pulgares arriba. Te muestra aquello con lo que más probablemente desees interactuar, porque es lo que necesita la empresa detrás de esa inteligencia artificial: que ese producto, ese contenido, genere en vos una reacción, y que vos le des información».

Ahora bien, ¿qué pasa cuando esos parámetros de puntuación social, esos datos, son un cierto reflejo de la realidad, que es profundamente desigual, y el sesgo resultante reproduce esa desigualdad?

«Por supuesto, se pueden diseñar técnicas algorítmicas para mitigar el sesgo. Hay una técnica particular que es no mostrarle al modelo el atributo protegido, el género, por ejemplo, obligarlo a ignorar esa variable. Quienes trabajamos en fairness, en equidad algorítmica, precisamente buscamos entender cómo diseñar modelos que sean más justos —puntualiza Ferrante—. Ahora, puede haber correlación entre ese atributo y alguna otra variable. Ese mecanismo se ve en los sistemas de puntuación que se usan, por ejemplo, para la asignación de préstamos bancarios o límites de gasto en tarjetas de crédito. Un caso testigo fue un modelo que, frente a una pareja con ingresos, gastos y deudas similares, estableció para la mujer un límite que era la mitad que el de su esposo. La brecha salarial entre hombres y mujeres es una realidad del mundo desigual en que vivimos, y los datos con los que fue entrenado ese modelo se reflejan en esa discriminación. Ahora, ¿queremos que el modelo perpetúe y hasta amplifique las desigualdades? ¿O queremos modificar esa realidad?»

El anuncio de que habrá una dependencia del Ministerio de Seguridad que va a «predecir» delitos nos sumerge en una distopía, análoga a la del film Minority Report, basado en un cuento de Philip K. Dick, y abre peligrosos interrogantes sobre el uso que puede darse a esta tecnología.

«Estamos retrocediendo en cuestiones que ya fueron consensuadas incluso antes de toda esta revolución de la IA —sostiene Fernández Slezak—. En Estados Unidos se usan modelos predictivos hace muchísimo tiempo y ya se demostró que fallan, que sólo pueden usarlos expertos, de forma controlada y como evidencia probabilística, de valoración de la prueba, pero no como mecanismo probatorio de un delito. Usaban modelos predictivos que, por ejemplo, confundían a personas de tez negra con gorilas. Eso ya se desestimó. No hay un predictor que diga: «Tenés cara de ladrón, vas a robar en las próximas doce horas». Los países centrales ya no usan estas tecnologías con ese fin, al menos no públicamente, porque están desautorizadas».

«El sesgo racial ha sido una de las grandes polémicas en los algoritmos de reconocimiento facial, con sistemas que claramente tienen un peor rendimiento en mujeres de piel negra que en hombres blancos. Son modelos cuyas predicciones benefician sistemáticamente a un grupo de individuos frente a otro, resultando así injustos», señala Ferrante.

Y vuelve a alertar sobre el modo en que el sesgo, fijando estereotipos, perpetúa las inequidades. «Si se pretende predecir el riesgo de que una persona delinca entrenando el modelo con datos de presos que cumplen condena, no sólo biométricos sino características educativas, económicas u otras, ese es un uso falaz de la IA, pero se puede hacer. Un sistema así diseñado —concluye— va a decir que si vivís en determinado barrio, potencialmente sos un delincuente».

Por supuesto, derechos como la presunción de inocencia, la privacidad o la libertad de expresión quedarían directamente cercenados en la Argentina si la nueva Unidad de Inteligencia Artificial Aplicada a la Seguridad utiliza, como se anunció, este tipo de herramientas.

¿Quién y cómo entrenará esos modelos de IA? Aparte de la flagrante invasión a la privacidad sin orden judicial o la persecución lisa y llana contra quienes no coincidan con el ideario del gobierno libertario, prefiguradas en las atribuciones de la nueva repartición, ¿qué impediría que esos sistemas de predicción del delito, entrenados nadie sabe con qué datos, entreguen «falsos positivos», guiados por un sesgo social, político o ideológico en su algoritmo?

«La regulación es necesaria. Pero hay dos formas de pensar la regulación —señala Fernández Slezak—. Una es regular cómo las empresas y los gobiernos entrenan sus modelos y qué se permite hacer con ellos: los usos. En este enfoque, la IA es una herramienta. Para aquello que querés proteger, para la salud, por ejemplo, es indistinto un ratón moviendo un engranaje o una IA diseñada por Sam Altman, las dos herramientas pueden hacer igual de mal en función de cómo se usan. El otro enfoque es atacar directamente el core técnico de cómo se entrenan las inteligencias artificiales. Decir: «Vamos a regular que nadie pueda crear modelos de IA de más de doscientos billones de parámetros». Yo creo que esa es una mirada inocente: ¿cómo aplicás esa regulación? La propia velocidad astronómica a la que avanza la IA impide regular el aspecto técnico. Hay que regular los campos de aplicación, penalizar los usos indebidos en los ámbitos donde los Estados consideren que hay un peligro».

El derecho de las personas a no estar sujetas a decisiones basadas en algoritmos o perfiles automatizados es todavía un derecho difuso, difícil de tutelar, básicamente porque millones de usuarios entregan voluntariamente sus datos a poderosas corporaciones que los usan en forma monopólica. La manipulación tiene matices, escalas. El algoritmo define un camino para cada usuario. Pero una cosa es que sugiera la próxima película que va a ver y otra que vaya inclinándolo hacia determinados valores o determinada opción política.

Para Fernández Slezak, la regulación tiene un desafío extra, que es, primero, describir el problema. «La ciencia del comportamiento existe desde hace miles de años. De los sofistas a la propaganda, las sociedades siempre generaron discursos para manipular. Lo que pasó en los últimos años es que la precisión con la que uno puede capturar el estado mental de las personas a las que quiere guiar en determinada dirección, es enorme. Tanto el poder de cómputo como la capacidad de captura de datos y el poder de manipularlos es astronómicamente más grande. Pero hay que definir el problema. ¿El problema es que empresas muy poderosas manipulen los datos? ¿O el problema ya es que los tengan? ¿O que sean las únicas en tenerlos?”

La oficina de ciberpatrullaje de Bullrich podrá ser un dispositivo que cercene muchos derechos, un riesgo para la democracia, en el contexto de un fuerte proceso de liberalización de las prácticas del mercado, incluidos los usos de la inteligencia artificial.

En uno de sus muchos viajes a Estados Unidos, en mayo, Javier Milei se reunió con Sam Altman, CEO de OpenAI y creador de ChatGPT. La promiscua relación que pretende establecer con éste y otros frontmen de las megaempresas tecnológicas un presidente que predica la autorregulación del mercado, es ciertamente preocupante.

«Precisamente —cierra Fernández Slezak—, este gobierno pregona la desregulación total. Si en Europa no se puede y en Estados Unidos tampoco, la Argentina sería tierra fértil para hacer las barbaridades que se les ocurran, que quizás salgan bien, nunca se sabe, pero el riesgo es altísimo. ¿Por qué vendrían? Porque tendrían vía libre para operar desreguladamente sus experimentos de manipulación con estrictos fines de lucro.»

Pablo Taranto



Comentarios

Lo más visto de la semana pasada

Los 100 Mejores Álbumes del Rock Argentino según Rolling Stone

Quizás hay que aclararlo de entrada: la siguiente lista no está armada por nosotros, y la idea de presentarla aquí no es porque se propone como una demostración objetiva de cuales obras tenemos o no que tener en cuenta, ya que en ella faltan (y desde mi perspectiva, también sobran) muchas obras indispensables del rock argento, aunque quizás no tan masificadas. Pero sí tenemos algunos discos indispensables del rock argentino que nadie interesado en la materia debería dejar de tener en cuenta. Y ojo que en el blog cabezón no tratamos de crear un ranking de los "mejores" ni los más "exitosos" ya que nos importa un carajo el éxito y lo "mejor" es solamente subjetivo, pero sobretodo nos espanta el concepto de tratar de imponer una opinión, un solo punto de vista y un sola manera de ver las cosas. Todo comenzó allá por mediados de los años 60, cuando Litto Nebbia y Tanguito escribieron la primera canción, Moris grabó el primer disco, Almendra fue el primer ...

Genesis - BBC Broadcasts (2023)

Falta poco para el fin de semana y ya vamos preparando algo para no se aburran, ahora es el Mago Alberto que aparece y lanza un bombazo, les copio palabras textuales: "El pasado viernes 3 de marzo se lanzó en todo el mundo una serie de 5 volúmenes finamente seleccionados por Tony Banks de grabaciones en vivo de Genesis que abarcan desde los comienzos de la banda hasta su etapa final. Lo sorprendente de estas ediciones es el trabajo de retocado muy profesional del sonido, que produce un placer auditivo muy particular ya que las primeras tomas en vivo en los albores de la banda por lo general no eran muy buenas, pero realmente vale la pena escuchar estas versiones, aparte de un muy buen gusto en la selección de los tracks, todos muy rockeros incluida la etapa mas popera y menos atractiva del grupo, así que vayan con confianza y disfruten a pleno de esta muy buena edición. Por supuesto ya todos conocemos el inmenso abanico musical de Genesis, así que los fanáticos van a ...

Rockal y La Cría - Salgan del Camino (1973)

La primera vez que presentamos este disco nos había llegado desde Polonia con amor, gracias a un aporte de un cabezón polaco llamado Bob, y ahora lo recuerda LightbulbSun. Parece ser que este es un olvidado grupo que incluia a Rocky Rodriguez (Rockal) que era un excelente guitarrista, y algunos músicos amigos que se juntaron con Pajarito Zaguri pata editar este álbum de rock pesado "progresivo" (como se decía en su momento) con rock urbano y fraseos de blues, aunque los temas bastante simples y cuadrados. Otro aporte que aparece antes de que me tome el palo con unas ansiadas y necesarias vacaciones, y otra de las tantas cosas que tienen para escuchar en mi ausencia. Artista:   Rockal Y La Cria Álbum: Salgan Del Camino Año: 1973 / 1996 Género: Hard rock / Blues rock Duración: 36:20 Nacionalidad: Argentina Una rareza perdida en en tiempo. Espero que lo disfruten! El fundador del mítico club la Cueva Rocky "Rockal" Rodríguez formo un grupo llamado La Cría R...

Festival La Plata Prog 2011

En la ciudad de La Plata se desarrolla desde el año 2010 el Festival La Plata Prog . Este año, en su segunda edición, y siempre con el auspicio de la Secretaría de Cultura de la Municipalidad de La Plata, el Colectivo Progresivo Platense , ha organizado un festival que abarcará todo el mes de Setiembre . En un evento que incluye diez conciertos a lo largo del mes de la primavera, veremos en los mejores escenarios de la Ciudad de La Plata, a los mayores exponentes del rock Progresivo de nuestro País. Esta convocatoria incluye bandas locales, así como de Capital Federal, de Chascomús, y de Bahía Blanca. Aunque todavía quedan bandas por confirmar, esta es la grilla hasta el momento: LA PLATA PROG 2011 Septiembre Viernes 02 Baalbek La Dieta (Cap. Fed.) Pasaje Dardo Rocha Calle 50 entre 6 y 7 Sala Polivalente Sábado 03 Post Mortem Fughu (Cap. Fed.) El Ayuntamiento, Calle 49 e/ 6 y 7 Calle 1 e/ 47 y 48 Viernes 09 Hexatónica Oscura Sedición Jinetes Negros (Cap. Fed.) Sábado ...

Genesis - Selling England By The Pound Analogue Productions (Atlantic 75 Series) (1973 / 2023)

El Mago Alberto se zarpa de nuevo mientras nos pregunta: "¿El mejor disco de Genesis? ¿Uno de los mejores discos de la historia de la música?". Pero esta no es cualquier versión de este clásico, sino que nos estamos refiriendo a esta versión que viene de la mano de una presentación conmemorativa muy especial: celebrando el 75 Aniversario de Atlantic Records, el sello lanzo una serie de álbumes masterizados a partir de las cintas analógicas originales o de la mejor fuente disponible, la serie (de la cual ya había presentado el Mago a "The Lamb Lies Down On Broadway") cuenta con la maestría de reconocidos ingenieros de masterización, así que esto vendría a ser como la frutillita de la torta para coronar un 2024 lleno de alegrías musicales, al menos en nuestro blog. Y si los poderosos no nos hacen mierda en el 2025 seguiremos haciéndolos un poco más felices, porque si no lo hacemos nosotros los cabezones.... ¿quién mierda te hará feliz? Artista: Genesis Álbum: ...

Kate Bush - The Christmas TV Show (1979)

Y se viene un regalito de navidad para tanto cabezón que visita nuestro espacio. Se trata de otro aporte del Mago Alberto que ya había anunciado oportunamente y ahora se hace efectivo, la tenemos a la Kate en un registro de 1979 titulado "The Christmas TV Show", una grabación con trece temas que muchos de quienes gusten de esta artista seguro ni saben que existe, y el Mago nos cuenta un poco: "El Kate Bush Christmas TV Special de 1979, dirigido por Roy Norton, es un programa único que captura la esencia artística de la hermosa cantante británica. Este especial navideño presenta a Kate en una serie de actuaciones musicales y sketches teatrales, mostrando su versatilidad y profundidad como artista. Y como condimento especial sobresale la actuación de Peter Gabriel, haciendo una versión descomunal del clásico "Here Comes The Flood", con una intro coral que la hace aún mas espléndida". Así que ya saben, para quien acepte el convite y quiera tener otro rega...

Weather Systems - Ocean Without A Shore (2024)

Weather Systems es la banda resultante del final de Anathema (una banda que se pegó el palo en plena pandemia al sufrir una crisis económica al tener que suspender una gira ya programada y con todos los gastos ya adelantados) y cuyo responsable es Daniel Cavanagh, quien se ha encargado de casi todo en este disco: voz, piano, teclados, guitarras, bajo y programación. Acompañado de el ex baterista y productor de Anathema Daniel Cardoso. He aquí otro de los grandes trabajos de este 2024, un lindo y emocionante trabajo que los invito a conocer, y seguramente no tienen nada más interesante que ver si les gusta, o no? Artista: Weather Systems Álbum: Ocean Without A Shore Año: 2024 Género: Crossover Prog Duración: 56:31 Referencia: Discogs Nacionalidad: Inglaterra En 2019, Daniel Cavanagh se sumergió en el desarrollo de lo que creía que sería el próximo trabajo de Anathema , pero sin embargo, en 2020, la banda acordó una pausa indefinida. Al final logró crear otra vez mú...

The Beat Belew-Vai-Levin-Carey - Live at Murat Theatre 30/10/24 (2024)

El último regalo del año de LightbulbSun, pero no el último del blog cabezón porque aún falta algo que les dejará el Mago Alberto. Las bandas tributo están de moda y el resurgimiento de los clásicos está brindando experiencias emocionantes y es el momento de revivir una nueva era de una de las eras de King Crimson... y quién mejor para interpretar esta asombrosa plétora de increíbles clásicos que algunos de los mejores músicos más otros invitados; Adrian Belew y Tony Levin, han traído el talento y virtuoso de Steve Vai y gran baterista Danny Carey (de Tool) para ayudar a revivir la era de los 80 de King Crimson. Este supergrupo, apodado The Beat, conquistará Chile dentro de poco pero los podés comenzar a escuchar desde ahora, antes de experimentar este concierto cuando se apodere del Movistar Arena, y gracias a LightbulbSun que los quiere tanto! Artista: The Beat Belew-Vai-Levin-Carey Álbum: Live at Murat Theatre 30/10/24 Año: 2024 Género: Progresivo ecléctico Nacionalida...

Holy Lamb - Minefield Promenade (2024)

D esde Letonia llega el e xcelente rock progresivo de una banda impresionante a la que hemos reseñado todos sus discos, que sacan chispas instrumentalmente, un rock sinfónico con bastante de la melodía neo-progresiva, la técnica intrincado y rebuscado embutido dentro de melodías sinfónicas, y que me parece bastante en la onda del último de Solaris. Cabezones y cabezonas, no dejen de conocer otro de los mejores discos de este año que viene desde el rincón más ignoto, les aseguro que si no los escucharon nunca se van a sorprender, y aterriza en el blog cabezón recién salido del horno, siendo quizás el último top ten que tendremos este año, aunque seguirán varios de los mejores discos del 2024, pero siendo muy buenos no llegan al talento desparramado acá. Super recontra recomendadísimo!!!! Artista: Holy Lamb Álbum: Minefield Promenade Año: 2024 Género: Rock sinfónico / Neo-progresivo Duración: 44:22 Referencia: Rate Your Music Nacionalidad: Letonia Siempre cuando hablé d...

David Gilmour - Luck and Strange (2024)

Una entrada cortita y al pie para aclarar porqué le llamamos "Mago". Esto recién va a estar disponible en las plataformas el día de mañana pero ya lo podés ir degustando aquí en el blog cabeza, lo último de David Gilmour de mano del Mago Alberto, y no tengo mucho más para agregar. Ideal para comenzar a juntar cositas para que escuchen en el fin de semana que ya lo tenemos cerquita... Artista: David Gilmour Álbum: Luck and Strange Año: 2024 Género: Rock Soft Progresivo / Prog Related / Crossover prog / Art rock Referencia: Aún no hay nada Nacionalidad: Inglaterra Lo único que voy a dejar es el comentario del Mago... y esto aún no existe así que no puedo hablar de fantasmas y cosas que aún no llegaron. Si quieren mañana volvemos a hablar. Cae al blog cabezón, como quien cae a la Escuela Pública, lo último del Sr. David Gilmour (c and p). El nuevo álbum de David Gilmour, "Luck and Strange", se grabó durante cinco meses en Brighton y Londres y es el prim...

Ideario del arte y política cabezona

Ideario del arte y política cabezona


"La desobediencia civil es el derecho imprescriptible de todo ciudadano. No puede renunciar a ella sin dejar de ser un hombre".

Gandhi, Tous les hommes sont frères, Gallimard, 1969, p. 235.