Nos últimos anos, a inteligência artificial (IA) tem se tornado uma ferramenta cada vez mais comum em diversos setores, incluindo a saúde. Entretanto, a adoção de tecnologias como o Whisper, da OpenAI, levanta sérias preocupações sobre sua precisão e confiabilidade. Um recente relatório da Associated Press revelou que o Whisper frequentemente gera transcrições imprecisas, criando texto fabricado em ambientes médicos e empresariais. Neste artigo, analisaremos os riscos associados ao uso do Whisper e por que essa tecnologia deve ser utilizada com cautela.
O Problema das Transcrições Falsas
A investigação da Associated Press, publicada no último sábado, revelou que o Whisper pode inventar informações, um fenômeno conhecido como “confabulação” ou “alucinação”. Para ilustrar, a AP entrevistou mais de 12 especialistas em tecnologia, que confirmaram a gravidade do problema. Um pesquisador da Universidade de Michigan apontou que, em suas análises, o Whisper gerou texto falso em 80% das transcrições de reuniões públicas que foram examinadas. Outro desenvolvedor, cuja identidade não foi divulgada, relatou encontrar conteúdo inventado em quase todas as 26.000 transcrições que testou.
Riscos em Ambientes de Saúde
Os riscos da confabulação são ainda mais críticos em ambientes de assistência médica. Apesar de a OpenAI ter alertado sobre o uso do Whisper em “domínios de alto risco”, mais de 30.000 profissionais da saúde já utilizam ferramentas baseadas nessa tecnologia para transcrever interações com pacientes. Instituições como a Clínica Mankato, em Minnesota, e o Hospital Infantil de Los Angeles estão entre os 40 sistemas de saúde que utilizam um serviço de copiloto de IA baseado no Whisper, desenvolvido pela empresa Nabla, que promete precisão na terminologia médica.
Infelizmente, a Nabla admite que o Whisper pode confabular, mas, por razões de segurança de dados, apaga gravações de áudio originais. Essa prática pode dificultar a verificação da precisão das transcrições, uma vez que os médicos não têm acesso ao material de origem. Isso é especialmente preocupante para pacientes surdos, que não têm como validar a exatidão das informações transcritas.
Problemas Além da Saúde
As questões levantadas pelo uso do Whisper não se limitam apenas ao setor de saúde. Pesquisadores da Universidade de Cornell e da Universidade da Virgínia estudaram milhares de amostras de áudio e descobriram que a ferramenta também pode adicionar conteúdo violento e comentários raciais a discursos neutros. De acordo com os pesquisadores, 1% das amostras analisadas continham “frases ou sentenças alucinadas que não existiam no áudio original”. Além disso, 38% das amostras incluíam “danos explícitos, como perpetuar a violência ou criar associações imprecisas”.
Em um exemplo alarmante, quando um falante descreveu “duas outras meninas e uma senhora”, o Whisper adicionou informações fictícias, afirmando que elas “eram negras”. Em outro caso, uma transcrição de áudio que mencionava um menino pegando um guarda-chuva foi alterada para incluir referências a “um pedaço grande de uma cruz” e “múltiplas mortes”.
Por que o Whisper Confabula?
A propensão do Whisper a confabular é um dos principais motivos pelos quais ele não é adequado para ambientes de alto risco. A AP relata que os pesquisadores não têm uma resposta clara para a questão, mas, na verdade, sabemos que isso se deve à natureza da tecnologia. O Whisper utiliza uma abordagem baseada em previsão, o que significa que ele gera a próxima palavra com base em dados de entrada.
Os dados de entrada para o Whisper são audio tokenizado, enquanto os resultados são previsões sobre o que é mais provável, e não o que é preciso. A precisão depende da qualidade e relevância dos dados no conjunto de treinamento. Se o modelo não encontrar informações suficientes, ele pode recorrer a padrões aprendidos, resultando em transcrições imprecisas.
Fontes dos Dados
A OpenAI mencionou em 2022 que o Whisper foi treinado em 680.000 horas de dados de áudio, coletados de várias fontes online. Um fenômeno conhecido como “overfitting” também pode ocorrer, onde as informações mais frequentes nos dados de treinamento têm maior probabilidade de serem reproduzidas. Isso significa que, em casos de baixa qualidade de áudio, o Whisper pode gerar saídas que são estatisticamente prováveis, mas não necessariamente corretas.
Por exemplo, se muitos dados de treinamento incluem a frase “crimes cometidos por criminosos negros”, o Whisper pode preencher transcrições de áudio ilegíveis com essa informação, mesmo que não esteja presente na gravação original.
Conclusão
Diante de tudo isso, é evidente que o conselho da OpenAI para não utilizar o Whisper em domínios de alto risco, como registros médicos, deve ser levado a sério. No entanto, as instituições de saúde frequentemente buscam reduzir custos utilizando ferramentas de IA que parecem “boas o suficiente”. Como resultado, há um risco crescente de que pessoas possam sofrer consequências negativas devido a erros de IA.
Para mitigar esses problemas, pode ser necessário algum tipo de regulamentação e certificação para ferramentas de IA utilizadas em setores críticos como a saúde. A tecnologia deve ser utilizada com cautela, especialmente em contextos onde a precisão é crucial.
FONTE: ARSTECHNICA
