¿Y si... los algoritmos llegan a dictar no solo los medios que consumimos o los servicios gubernamentales a los accedemos, sino también nuestra capacidad de caminar por la ciudad?

Algoritmos Super-Smart de Bigville convierte a algunos ciudadanos en prisioneros de facto

Se trataba de una nueva era para Bigville, una “ciudad inteligente” a una escala diferente, desde su planificación centralizada hasta un mejor comportamiento de sus habitantes. La primera ciudad verdaderamente inteligente del mundo fue más allá de la gestión del tráfico y aire más limpio: transformó la experiencia de vida de cada ciudadano.

La “vigilancia inteligente” aplicó heurísticas basadas en la evidencia para apoyar y proteger a la comunidad en tiempo real, poniendo fin a la controvertida práctica de “detención y registro”. El reconocimiento facial a través de la red de CCTV más densa del mundo hace que el crimen callejero sea casi imposible, ya que se caracteriza y vigila a las personas desde el momento en que salen de sus hogares. A las personas que activan determinados umbrales de amenaza se las sigue y se evalúa el riesgo de cada uno de sus movimientos. Esto permite que la policía y los servicios de emergencia respondan aún más rápido al terrorismo, al crimen y al comportamiento antisocial.  Dado que ya no deben preocupaciones por el desorden y el caos, la gente de Bigville se concentra en lo que mejor sabe hacer: ganar dinero.

¿Pero qué fue lo que falló?

Resulta que los algoritmos de caracterización (profiling) se están centrando cada vez más en los factores que diferencian a los ricos de los pobres, a quienes tienen mucho efectivo de quienes tienen deudas y de las personas que podrían ser más propensos a cometer un crimen.   Los espacios comerciales utilizan la misma inteligencia artificial, lo que permite que los vendedores se dirijan a quienes tienen mayor probabilidad y capacidad de gastar y no a quienes solo están mirando. Los espacios públicos y el transporte, los vestíbulos de los edificios y las zonas comerciales monitorean a decenas de miles de personas y siguen a quienes tienen perfiles de mayor riesgo; mientras tanto, el personal de seguridad se mantiene alerta. Se desalienta el ingreso de quienes son identificados como indeseables a las áreas y edificios particulares. El resultado es una creciente segregación según la cual los pobres son activamente alejados de los barrios más acomodados y del centro porque un algoritmo inexplicable determina que han alcanzado o superado algún umbral de amenaza.

Quienes planificaron la ciudad sostienen que el sistema solo necesita algunos ajustes y que los algoritmos son menos discriminatorios que las personas, siempre que los datos sean buenos. Sin embargo, alarmados por el creciente uso de profiling por parte de Bigville en aras del bien público, muchos se están cuestionando si la ciudad se está volviendo inteligente o es que ha perdido su alma.

Estas preguntas exploran cómo Internet podría evolucionar. Pero el camino que tomamos depende de nosotros.

Perteneciente a