¿Qué es un sistema informático sesgado?

 

En su sentido más general, el término inclinación significa simplemente “desviación”. Debido a este uso indistinto el término es utilizado algunas veces con un sentido relativamente neutral. Por ejemplo, un comprador de alimentos puede tender a no comprar fruta en mal estado. Otras veces el término “sesgo” se utiliza con un sentido moral, por ejemplo, un empresario puede inclinarse a no contratar a personas de clases sociales minoritarias. En este artículo nos enfocamos en el uso de esta última acepción, ya que si se quiere desarrollar un criterio de la calidad de los sistemas en uso, el cual es nuestro objetivo, los criterios deben estar delineados de forma que respondan en un sentido amplio pero preciso a asuntos pertinentes en materia social, esto se logra mediante un enfoque en el término “sesgo” con implicaciones morales.

Por consiguiente, utilizamos el término “sesgado” para referirnos a los sistemas informáticos que sistemática e injustamente discriminan a ciertos individuos o grupos a favor de otros. Un sistema discrimina injustamente si niega un beneficio, o si asigna un resultado no deseable a un individuo o grupo por motivos irracionales o inapropiados. Consideremos, por ejemplo, un sistema automatizado de evaluación de crédito que colabora en la decisión de extender o no un crédito a un solicitante en particular; si el asesor niega el crédito a individuos que en el registro de sistema no cumplen consistentemente con los pagos, no quiere decir que sea un sistema sesgado, por lo que es razonable y pertinente para una compañía evitar extender créditos a personas que no pagan sus cuentas con regularidad. Por otra parte, si nos referimos a aquel asesor de crédito que asigne sistemáticamente bajas calificaciones crediticias a individuos con apellidos de origen étnico estaríamos hablando de una discriminación en ámbitos que no son relevantes para la evaluación crediticia, es decir una discriminación injusta.

En primer lugar, una discriminación injusta por sí sola no da lugar a sesgo si no se produce de forma sistemática. Consideremos nuevamente el sistema automatizado de evaluación de crédito e imaginemos que el sistema sufre una falla aleatoria, la cual cambia en un único caso la información del historial crediticio de un solicitante que casualmente tiene un apellido de origen étnico; el cambio de información provocaría una degradación de la calificación del solicitante. En tanto que la discriminación injusta sea resultado de una falla aleatoria del sistema, el solicitante perjudicado puede ser cualquier persona. Si el incidente se repite y el mismo solicitante u otros con apellidos del mismo origen étnico no son discriminados por el sistema, incluso si el sistema es propenso a errores aleatorios, no quiere decir que el sistema esté sesgado.

En segundo lugar, la discriminación sistemática no crea sesgo al menos que se relacione a resultados considerados injustos. Un ejemplo de ello es la guerra del Golfo Pérsico, donde misiles Patriots de los Estados Unidos fueron utilizados para detectar e interceptar los misiles Scud iraquíes. Por lo menos un fallo en el software, identificado durante la guerra, contribuyó a un mal funcionamiento de los misiles Patriots [Gao 1992]. Los cálculos utilizados para predecir la localización de un misil Scud dependían del reloj interno de los misiles Patriots; así, mientras más tiempo tomaba el misil, mayor era la imprecisión de los cálculos. La muerte de al menos 28 estadounidenses en Dhahran puede relacionarse con  este error de software, el cual degradó sistemáticamente la precisión de los misiles Patriots. Si bien no minimizamos las importantes consecuencias de este error del sistema, queda fuera de nuestro análisis puesto que no implica injusticia.

El texto original puede verse en: http://www.nyu.edu/projects/nissenbaum/papers/biasincomputers.pdf