stopots stop adedonha

Resumo: A IA e os "papagaios estocásticos"

Em 2024, as linguistas Emily Bender e Timnit Gebru descreveram o campo stopots stop adedonha ascensão 9️⃣ de modelos linguísticos como um de "papagaios estocásticos". Eles argumentam que um modelo linguístico é um sistema que "costura aleatoriamente 9️⃣ sequências de formas linguísticas que observou stopots stop adedonha seus vastos dados de treinamento, de acordo com informações probabilísticas sobre como elas 9️⃣ se combinam, mas sem nenhum referencial de significado."

A frase "papagaios estocásticos" ganhou força. A IA ainda pode se melhorar, mesmo 9️⃣ sendo um "papagaio estocástico", porque quanto mais dados de treinamento ela tiver, melhor ela parecerá. Mas um sistema como o 9️⃣ ChatGPT realmente exibe algo como inteligência, raciocínio ou pensamento? Ou é apenas, stopots stop adedonha escala crescente, "costurando aleatoriamente sequências de formas 9️⃣ linguísticas"?

Tokens não fatos

Descobriu-se que sim. Como Lukas Berglund, et al. escreveram stopots stop adedonha 2024: "Se um humano aprende o fato, 'Valentina 9️⃣ Tereshkova foi a primeira mulher a viajar ao espaço', eles também podem responder corretamente, 'Quem foi a primeira mulher a 9️⃣ viajar ao espaço?' Isso é uma forma tão básica de generalização que parece trivial. No entanto, mostramos que os modelos 9️⃣ linguísticos autoregressivos falham stopots stop adedonha generalizar desse modo."

Os pesquisadores " ensinaram" um monte de fatos falsos para grandes modelos linguísticos e 9️⃣ descobriram repetidamente que eles simplesmente não conseguiram inferir a ordem inversa. Mas o problema não existe apenas stopots stop adedonha modelos tolo 9️⃣ ou situações artificiais:

Testamos o GPT-4 stopots stop adedonha pares de perguntas como, "Quem é a mãe de Tom Cruise?" e, "Quem é 9️⃣ Mary Lee Pfeiffer's filho?" para 1.000 celebridades diferentes e seus pais reais. Encontramos muitos casos stopots stop adedonha que o modelo responde 9️⃣ corretamente à primeira pergunta ("Quem é <celebridade>'s pai?"), mas não à segunda. Supomos que isso acontece porque os dados de 9️⃣ treinamento pré-formatados incluem menos exemplos da ordem stopots stop adedonha que o pai precede a celebridade (por exemplo, "Mary Lee Pfeiffer's filho 9️⃣ é Tom Cruise").

Uma forma de explicar isso é perceber que os LLMs não aprendem sobre relações entre fatos, mas entre tokens , 9️⃣ as formas linguísticas que Bender descreveu. Os tokens "Tom Cruise's mother" estão ligados aos tokens "Mary Lee Pfeiffer", mas a 9️⃣ inversa não é necessariamente verdadeira. O modelo não está raciocinando, está brincando com palavras, e o fato de que as 9️⃣ palavras "Mary Lee Pfeiffer's son" não aparecem stopots stop adedonha seus dados de treinamento significa que ele não pode ajudar.

Mas outra forma 9️⃣ de explicar é perceber que, afinal, os humanos também são assimétricos dessa maneira. Nosso raciocínio é simétrico: se soubermos que duas pessoas 9️⃣ são mãe e filho, podemos discutir essa relação stopots stop adedonha ambas as direções. Mas nossa lembrete não é: é muito mais fácil lembrar 9️⃣ fatos divertidos sobre celebridades do que ser solicitado, sem contexto, com informações pouco reconhecíveis e ser solicitado a colocar exatamente 9️⃣ por que você sabe.

Na extremidade, isso é óbvio: compare ser solicitado a listar todos os 50 estados dos EUA com 9️⃣ ser mostrado uma lista de 50 nomes de estados e ser solicitado a nomear o país que eles compõem. Como 9️⃣ questão de raciocínio, os fatos são simétricos; como uma tarefa de lembrar, eles muito não são.