A desenvolvedora Roblox Corporation introduziu recentemente um novo recurso de digitalização facial como forma de aumentar a proteção da segurança infantil em sua plataforma de criação de jogos, Roblox. O CEO David Baszucki está muito entusiasmado com esta iniciativa, dando algumas respostas bastante intensas e questionáveis durante um novo episódio de podcast sobre a tecnologia de restrição de idade.
Baszucki conversou com os jornalistas do The New York Times Casey Newton e Kevin Roose para um episódio de seu podcast Hard Fork. Postado em 21 de novembro, os três engajados em uma conversa ampla que começou com o recurso de digitalização facialpassou a usar nomes impróprios sobre dados e atingiu o pico de divergências sobre o uso de IA para moderação. Newtown abriu com uma investigação sobre o problema dos predadores no Roblox, que Baszucki disse ser um dilema bom e ruim.
“Pensamos nisso não necessariamente apenas como um problema, mas também como uma oportunidade”, disse ele. “Como permitimos que os jovens construam, comuniquem e saiam juntos? Como construímos o futuro da comunicação ao mesmo tempo? Então, nós, você sabe, estivemos, acho que no bom sentido, trabalhando nisso desde que começamos. E quando estávamos – isso foi há quase 18 ou 19 anos – quando lançamos a empresa pela primeira vez e éramos apenas quatro sentados em uma sala, éramos literalmente os moderadores, como se fôssemos girar o tempo todo.”
Baszucki continuou, dizendo que com a escala que o Roblox cresceu, a empresa decidiu que “a tecnologia mais recente” (isto é, “usando estimativa de idade facial com IA”) é o que ela busca para complementar suas ferramentas de moderação. Ele mencionou os filtros de texto como um exemplo, especialmente porque os usuários tendem a usar “hashtag, hashtag, hashtag” e outros truques de palavras-chave para contornar o sistema.
“Com a IA, esses filtros ficaram cada vez melhores”, disse Baszucki. “O estado em que estamos agora é principalmente bloquear tentativas adversárias de invadir o filtro e tentativas adversárias de tentar compartilhar PII (informações de identificação pessoal), nas quais estamos melhorando cada vez mais. Na estimativa de idade, é apenas – eu diria – recentemente atingiu a maioridade a ponto de complementá-la.
Em pouco tempo, os três estavam interrompendo um ao outro, interpondo declarações e perguntas para se ajudarem. Baszucki “rejeitou categoricamente” a afirmação em processos recentes alegando que predadores usam Roblox para encontrar crianças. Ele disse que a plataforma está fazendo “um trabalho incrível de inovação” quando comparada a outras plataformas sociais online, repetindo que a empresa está “melhorando constantemente” na proteção da capacidade das crianças de conversar no jogo.
“Há enormes benefícios em permitir que as pessoas se comuniquem e achamos que vemos esses benefícios”, explicou Baszucki. “Há muitas crianças que encontram suas espreitadelas no Roblox. Na verdade, há muitas crianças quando estão sozinhas ou isoladas – não vou usar isso como desculpa nem nada – mas recebo muitas ligações de pais famosos que dizem: ‘Olha, meu filho estaria morto se não fosse por encontrar uma comunidade em uma plataforma como o Roblox para se manter conectado.’ E eu também diria que assumimos como uma enorme responsabilidade projetar não para o pai sofisticado que chega e diz: ‘Olha, vou desligar com quem você pode conversar e tudo mais.’ Temos que projetar para todos os pais e pensar nisso. Mas acreditamos que temos uma tecnologia extremamente excelente em toda a pilha. Achamos que faz parte da construção de uma experiência como essa. Sabe, se você vai lá no espaço de jogos, acho que é muito comum apoiar a comunicação. Não vou listar nenhum outro jogo. E, normalmente, estamos muito além, eu diria, do nosso nível de inovação, nível de responsabilidade, tanto na filtragem, no compartilhamento de imagens, em todas essas coisas.”
Depois de discussões mais tensas em torno dos 150 milhões de usuários ativos diariamente – que Baszucki afirmou ser agora “auto-relatado (como sendo) quase dois terços com mais de 13 anos” – Roose perguntou sobre Resultados da Hindenburg Research de outubro de 2024 sobre a empresa supostamente desconsiderando a segurança infantil em nome dos lucros. Ele desviou, optando em vez disso por se concentrar no fato de que o fundo ativista “saiu do mercado por algum motivo” e perguntou aos anfitriões se eles próprios pesquisaram essa informação. Ele então respondeu dizendo que a IA está tornando tudo melhor.
“Então é realmente interessante, porque acho que estamos mergulhando em uma situação em que estamos melhorando, melhorando, melhorando”, disse Baszucki. “Mas você perguntaria a mesma situação de alguém que passou do trabalho talvez hipermanual de fabricação de carros manualmente para uma linha de montagem? A linha de montagem pode ser infinitamente melhor e ao mesmo tempo não ter tantas pessoas. Então, acho que eles estão se referindo a migrar cada vez mais e mais e mais para a IA. Indiscutivelmente, é melhor ter sistemas de IA revisando cada imagem, cada pedaço de texto, tudo isso, ou continuar fazendo isso manualmente? Então eu acho que foi um equívoco. E eu acho que se você entrevistar alguém em nossa equipe de segurança ou sistemas de segurança, isso seria apenas parte de melhorar nossos sistemas.”
Foi nesse ponto que o humor de Baszucki ficou um pouco confuso – embora não “frustrado”, como ele disse em várias ocasiões – enquanto ele aparentemente cumprimentava Newton e Roose por “alinharem-se” com a decisão da empresa de usar ferramentas de IA para moderação de conteúdo e “apoiar nossa matriz de decisão Roblox”.
“Esta é uma entrevista furtiva onde você realmente ama tudo o que estamos fazendo e está aqui para apoiá-la furtivamente?” Ele perguntou aos anfitriões, acrescentando mais tarde que está “animado para conversar”.
“Achei que iríamos conversar sobre coisas divertidas e engraçadas na indústria e tudo mais”, disse Baszucki. ‘Então, não estou frustrado, estou apenas descobrindo quanto tempo me divirto com vocês e quanto tempo nos divertimos em comparação com esse superfoco. Mas estou feliz em falar sobre o que vocês quiserem.
Algo divertido sobre o qual Baszucki começou a falar foi um hipotético “mercado de previsão dentro do Roblox” que Roose lançou fora. Uma “ideia terrível”, pensou Roose, ele se perguntou se a empresa algum dia consideraria permitir que crianças fizessem apostas com a moeda do jogo Robux.” Baszucki chamou isso de uma “ideia brilhante” que ele adora.
“Na verdade, acho que é uma ideia brilhante se isso puder ser feito de uma forma educacional e legal”, disse ele. “E então, imagine nenhum Robux grátis, nenhum prêmio grátis, apenas um jogo chamado Dress to Impress Predictor, onde não é como tentar conseguir o dinheiro das crianças ou algo assim.
No final, Baszucki parecia inflexível ao defender o fato de que as ferramentas de moderação de conteúdo do Roblox estão em constante evolução, apontando a filtragem de texto no passado e a verificação facial no presente como formas pelas quais a empresa cuida da segurança de sua base de usuários.
A Roblox Corporation passou por intenso escrutínio nos últimos meses após um Investigação da Bloomberg de junho de 2024 que revelou que a plataforma está repleta de predadores. Estados como Flórida e Texas processaram pelo que os legisladores dizem ser a empresa não fazendo o suficiente para proteger as crianças da exploração e do aliciamento infantil.
Seja Roblox ou não, o problema com crianças predadoras está começando a atingir um nível febril. De acordo com a agência europeia de aplicação da lei, Europol, a sociedade europeia está a assistir a um aumento acentuado na redes criminosas que armam crianças cometer crimes violentos.
