Em resposta aos pedidos de registos públicos da WIRED, a Avon e a Polícia de Somerset forneceram um enorme tesouro de dados de desempenho para 13 modelos de risco utilizados entre 2017 e 2024 – incluindo aqueles utilizados para prever pessoas desaparecidas, comportamento anti-social e quem tinha maior probabilidade de cometer ou ser vítima de crime. A WIRED passou esses dados, juntamente com outras informações contextuais sobre o programa de ciência de dados da Avon e da Polícia de Somerset, para a empresa independente de auditoria de IA Eticas para revisão. O veredicto foi condenatório.
“A maioria destes modelos produz pontuações de baixa precisão, o que significa que uma elevada proporção dos indivíduos que sinalizam como riscos são identificados incorretamente”, concluiu a análise dos dados. Um modelo usado para ajudar a prever os ladrões pareceu funcionar com uma taxa de precisão inferior a 10% durante mais de três anos, de acordo com os dados da polícia. De acordo com a Eticas, isso significava que menos de um em cada 10 sinalizados como de alto risco realmente ofenderia. Outras preocupações incluíam mudanças acentuadas nas métricas de desempenho de vários modelos. “Isso não é típico de modelos bem governados em uso operacional”, observou a auditoria.
Um porta-voz da Polícia de Avon e Somerset disse à WIRED que a força optou por não implantar alguns dos modelos que desenvolveu, incluindo aquele relacionado a roubos. Quando questionado sobre por que a força tinha anos de auditoria e dados de desempenho para modelos que não utilizava, o porta-voz disse que o processo de auditoria foi “automatizado” e utilizou dados de um “arquivo estático que não foi excluído quando foi tomada a decisão de não implantar o modelo”.
A força policial recusou pedidos de entrevistas sobre o seu trabalho de ciência de dados e não respondeu integralmente a uma lista detalhada de perguntas. “Cada modelo é pontuado com base em seu desempenho e, quando os problemas forem identificados, eles serão atualizados ou desativados”, disse o porta-voz da Avon e da Polícia de Somerset em um comunicado, acrescentando que os modelos são revisados por um especialista policial antes de serem implantados.
Não está claro que medidas a Avon e a Polícia de Somerset tomaram para abordar os riscos levantados pelo seu próprio comité de ética nos primeiros dias do seu trabalho de ciência de dados. O comitê não pareceu discutir novamente a análise preditiva depois de 2017, de acordo com divulgações de solicitações de registros. E embora a Avon e a Polícia de Somerset digam em seu site que “cada produto e projeto” realizado como parte de seu trabalho de ciência de dados é revisado por um grupo de ética dedicado, o porta-voz disse à WIRED “até agora não houve nenhuma reunião”, porque “nenhum modelo foi produzido para o qual possíveis questões éticas tenham sido identificadas”.
Em resposta a uma solicitação de registros públicos, a Avon e a Polícia de Somerset forneceram uma captura de tela de um “aplicativo de verificação de preconceito” que parecia monitorar e comparar pontuações médias de risco para indivíduos brancos e pessoas de cor, concluindo que “não havia diferença significativa entre os dois”. A revisão do Eticas afirmou: “A simples inclusão da etnia como variável de monitorização não equivale a testar se o modelo produz resultados discriminatórios”, descrevendo a ausência de testes mais detalhados por etnia, género e estatuto socioeconómico como “uma omissão significativa”.
Questionado sobre se acredita que a análise preditiva tem um papel a desempenhar no policiamento ou no trabalho social, Davies diz que é necessário mais trabalho. “Quando estávamos tentando fazer isso, estávamos tentando fazê-lo pelos motivos certos, da maneira certa, mas não tínhamos a capacidade que provavelmente seria necessária.” Parte desse trabalho deveria analisar a forma como os modelos de risco podem informar os trabalhadores sem os levar a conclusões precipitadas, diz ele. “Existe o risco de os funcionários verem o computador dizer alguma coisa e depois não usarem o seu próprio julgamento.”
A análise preditiva continua a desempenhar um papel significativo no policiamento e nos serviços públicos da região. A Câmara Municipal de Bristol ainda utiliza um modelo de pontuação de risco para avaliar a probabilidade de uma criança abandonar a educação, o emprego ou a formação. Os últimos dados de auditoria da Avon e da Polícia de Somerset, fornecidos em julho do ano passado, indicam que o modelo usado pelo aplicativo Offender Management prevê corretamente apenas uma em cada três pessoas que realmente cometem crimes, enquanto uma em cada quatro pessoas sinalizadas como prováveis infratores não o faz.
