Ferramenta de IA detecta textos gerados por LLMs em pesquisas
A ferramenta de IA da Pangram Labs está revolucionando a detecção de textos gerados por modelos de linguagem em pesquisas acadêmicas, alcançando uma precisão de 99,85%. No entanto, enfrenta desafios como falsos positivos e a distinção entre textos gerados e editados por IA.
A ferramenta de inteligência artificial desenvolvida pela Pangram Labs está revolucionando a detecção de textos gerados por modelos de linguagem de grande escala (LLMs) em artigos científicos e revisões por pares, mostrou um artigo da revista científica Nature. Com a crescente presença de textos gerados por IA, a precisão dessa tecnologia se torna essencial para manter a integridade das publicações acadêmicas.
Aumento do uso de LLMs em pesquisas
Nos últimos anos, houve um aumento significativo no uso de Modelos de Linguagem de Grande Escala (LLMs) em pesquisas acadêmicas.
Esses modelos, que incluem tecnologias como o ChatGPT, têm sido cada vez mais utilizados por autores para gerar textos em artigos científicos e revisões por pares.
Um estudo da American Association for Cancer Research (AACR) revelou que, em 2024, 23% dos resumos de manuscritos e 5% dos relatórios de revisão por pares continham texto provavelmente gerado por LLMs.
Isso representa um aumento notável em relação aos anos anteriores, indicando uma tendência crescente no uso dessas ferramentas.
Apesar das políticas editoriais que exigem a divulgação do uso de IA, menos de 25% dos autores informaram o uso de LLMs ao submeter seus manuscritos.
Essa falta de transparência levanta preocupações sobre a integridade das publicações científicas, uma vez que o uso não divulgado de IA pode introduzir vieses ou erros nos textos acadêmicos.
Além disso, a crescente utilização de LLMs em países onde o inglês não é a língua nativa sugere que esses modelos são vistos como uma ferramenta valiosa para superar barreiras linguísticas.
No entanto, ao alterar a linguagem de seções metodológicas, por exemplo, há o risco de introduzir erros que podem comprometer a precisão científica.
Desafios na detecção de textos por IA
A detecção de textos gerados por inteligência artificial (IA) em pesquisas acadêmicas apresenta vários desafios.
Um dos principais obstáculos é a capacidade de identificar com precisão quais partes de um texto foram criadas por modelos de linguagem de grande escala (LLMs) e quais foram escritas por humanos.
A ferramenta desenvolvida pela Pangram Labs, utilizada pela American Association for Cancer Research (AACR), destaca-se por sua eficácia na identificação de textos gerados por IA.
No entanto, mesmo com uma taxa de precisão de 99,85%, ainda existe o risco de falsos positivos, onde textos humanos são erroneamente marcados como gerados por IA. Esse tipo de erro pode comprometer a confiança nas avaliações e revisões por pares.
Outro desafio significativo é a diferenciação entre textos totalmente gerados por IA e aqueles que foram apenas editados por essas ferramentas.
Atualmente, a ferramenta da Pangram não consegue distinguir entre textos criados exclusivamente por IA e aqueles que foram revisados ou aprimorados por humanos utilizando IA.
Além disso, a evolução constante dos LLMs e o surgimento de novos modelos complicam ainda mais o processo de detecção.
A cada nova versão ou modelo, as características linguísticas podem mudar, exigindo ajustes contínuos nas ferramentas de detecção para manter sua eficácia.
