A Science Magazine desta semana é dedicada à I.A., grande parte dela aplicações médicas e progresso. Neste post, vou analisar brevemente esses artigos, juntamente com outros trabalhos novos e relevantes.
Chatbots em vez de participantes de pesquisa?
Um ensaio provocativo de Matthew Hutson, dos principais jornalistas que cobrem A.I., baseia-se em um breve artigo recente que levantou a questão sobre os LLMs substituindo participantes humanos para pesquisa científica social/psicológica—por meio de uma anedota com GPT 3.5 respondendo >460 perguntas em comparação com humanos com um coeficiente de correlação de 0,95.
Marcel Benz, cientista cognitivo do Instituto Max-Planck, disse: ““É plausível que tenhamos um sistema dentro de alguns anos que possa ser colocado em qualquer experimento e produzirá um comportamento indistinguível do comportamento humano.”
Dadas todas as questões que atormentaram a pesquisa em ciências sociais nos últimos anos em relação ao preto de reprodutibilidade, não vejo que isso seja provável. Como mencionado acima, os LLMs têm grandes problemas com vieses e inconsistências (por exemplo, dê ao GPT-4 o mesmo aviso e obtenha respostas diferentes). Além disso, isso parece bastante improvável em outros tipos de pesquisa médica.
Resumo
Há muita coisa na edição da Science A.I. e eu certamente não cobri tudo, com artigos adicionais sobre tópicos como jogos, arte e direitos autorais. Mas um breve ensaio que quero terminar é o ensaio de Melanie Mitchell : “Como sabemos como os sistemas de IA são inteligentes?” É o primeiro de uma nova série chamada “Expert Voices” na Science. O Prof. Mitchell disseca as recentes afirmações ousadas sobre a super inteligência LLM e aponta: “Conjuntos, esses problemas dificultam a conclusão – a partir das evidências dadas – de que os sistemas de IA agora ou em breve corresponderão ou excederão a inteligência humana”. Esta é uma perspectiva essencial e equilibrada a ter em mente – que há uma necessidade de muito mais transparência dos modelos para avaliar quaisquer alegações de inteligência de máquina de alta ordem.
