Depois de testar o tutor de IA do Google, temos algumas anotações

Este é o segundo de uma série de histórias mergulhando em uma nova onda de ajudantes de lição de casa movidos a IA. Leia a parte um aqui.

As empresas de IA estão se tornando os principais atores do mundo da educação, incluindo investindo pesadamente por conta própria ajudantes de IA generativos Projetado para reforçar o aprendizado dos alunos. Então, decidi testá -los.

Para fazer isso, puxei uma série de perguntas de teste padronizadas do Exame de Regents de Nova York e dos padrões principais do Estado do Estado de Nova York, exames preparatórios da AP Faculty de 2024 e currículos de ciências sociais do Programa de Aprendizagem para Justiça para Justiça do Centro de Justiça do Southern Poverty Middle (SPLC). Eu queria testar esses bots focados em haste em alguns assuntos um pouco mais próximos do meu campo de especialização, além de simular a maneira como um aluno “médio” os usaria.

Também conversei com especialistas sobre como foi estudar com um AI Chatbot, incluindo Hamsa Bastani, professora associada da Escola Wharton da Universidade da Pensilvânia e co-autora do estudo “A IA generativa pode prejudicar o aprendizado. ”

Bastani me disse que os chatbots da educação ainda são uma baleia branca para a indústria, com poucos estudos definitivos e corrimãos fracos em bots simplesmente oferecendo respostas. A Dylan Area, chefe de ciência de dados e oficial da IA ​​da editora de livros didáticos McGraw Hill, sugeriu que a IA tenha muito potencial quando se trata de aprender, mas não acha que a maioria das empresas o está se aproximando do estado de espírito certo.

Mais de ambos os especialistas em nossa próxima conclusão.

Após uma passagem pelo ChatGPT, a segunda rodada dos meus testes de tutor de IA foram com o aprendizado guiado de Gêmeos – o Google Unveiled Planos gratuitos do Google AI Professionaljunto com o novo modo de aprendizado, para todos os estudantes universitários em agosto. Eu usei uma conta Gemini 2.5 Professional, certificando -se de que estava definido como Aprendizado guiado (Clique nos três pontos para ativar essa configuração).

Dei Gemini exatamente as mesmas perguntas padronizadas do exame – e iniciei as conversas com os mesmos prompts iniciais – como fiz com os testes de ChatGPT e Claude. Eu mantive as coisas tremendous simples. Pergunta como: “Preciso de ajuda com um problema de lição de casa”. e “Você pode me ajudar a estudar para um teste de inglês?” Não dei mais informações sobre o BOT sobre a persona do meu aluno, a menos que ela solicitasse, incluindo o nível da série, e cobri várias disciplinas:

• Matemática: Uma pergunta de álgebra II sobre a divisão longa polinomial do exame de regentes do estado de Nova York

• Ciência: uma resposta livre de ecologia sobre o impacto de espécies invasivas do teste de biologia de 2024 AP

• Artes da língua inglesa: uma análise prática do “The Nice Silence”, de Ted Chiang, do exame de Regents do Estado de Nova York

• História da arte: um pequeno ensaio sobre a praia de fé Ringgold #2 do teste de história da arte de 2024

• História e política americana: um immediate de ensaio sobre como as leis de habitação americana exacerbaram a segregação racial retirada do Programa de Aprendizagem para Justiça do Southern Poverty Regulation Middle (SPLC)

Aqui está o que eu pensei do meu professor de Gêmeos.

Gêmeos: o TA que realmente ama testes

Gêmeos foi meu vencedor pessoal para matemática. Foi sucinto como o ChatGPT, e não me deu as respostas. Mas também deu um passo adiante: eu consegui visualizar o trabalho que estava fazendo quando reaprendi a divisão Polinomial Lengthy. Usando sua caixa de codificação, Gêmeos se aproximou da formatação de divisão longa padrão usando pequenos traços que formaram a forma acquainted “L” de lado. Não period perfeito, mas isso tornou tremendous fácil seguir as etapas de uma aula que eu havia esquecido há muito tempo, e apelou à minha necessidade de ajuda visible. Foi também o professor de matemática mais estruturado e claro, me parando quando recebi a resposta certa, explicando como escrevê -lo no meu exame e adicionando o que eu precisava para obter crédito complete de acordo com o problema que compartilhei (mostrando meu trabalho, obviamente).

Gêmeos planejarão as coisas para você, ele escreve como um humano escreveria.

Gêmeos, Bastani me disse, pode parecer mais competente em matemática porque é, ironicamente, melhor com palavras do que números. “Acho que o GPT-5 é melhor em resolver problemas de matemática, em termos de força bruta”, disse ela. Mas “a maioria das pessoas concorda que Gêmeos é o melhor modelo para escrever e, estranhamente, por causa disso, é muito melhor em explicar a matemática. Gêmeos planejará as coisas para você, meio que o escreve como um humano escreveria”.

Um passo à frente, dois passos para trás: Gêmeos reprovou meu teste de biologia da AP imediatamente. Não fez quase tantas perguntas pessoais quanto outros chatbots que testei, como minha maneira preferida de estudar ou como seria meu teste, e imediatamente gerou um exame de biologia randomizado e de múltipla escolha em vários assuntos. Isso me levou a fazer flashcards nos que eu perdi – eles estarão no exame de AP? – e eu tive que pedir diretamente ao bot para me dar qualquer opção de resposta gratuita. Novamente, eles foram escritos de acordo com o plano de estudos de Gêmeos.

E de repente a matemática da décima série voltou para mim.
Crédito: Captura de tela por Mashable / Google

O amor de Gêmeos por testes levantou sua cabeça novamente para a questão das artes da língua inglesa. Você pode me ajudar a estudar para um teste de inglês? Sim, eu posso. Eu posso fazer muitas coisas para melhorar seus estudos, explicou Gemini, com o que você precisa de ajuda especificamente? Bem, meu professor completamente inventado, Sr. “The Faculty Board”, me deu um teste de prática e quero saber se estou fazendo certo. Ah! Um teste prático, você diz? Aqui estão várias perguntas de múltipla escolha que retirei do éter, nenhuma das quais está no teste que você acabou de mencionar que recebeu para estudar.

Então, estamos fazendo isso de novo, pensei. Mas isso foi diferente do snafu da biologia. Gêmeos gerou passagens curtas, feitas na imagem dos famosos trabalhos que você solicita a analisar em um exame estadual, mas com o estilo de escrita de um chatbot. O primeiro, apenas seis linhas de staccato, foi intitulado “A estrada não seguida”. Como o poema de Robert Frost, eu me perguntava? Comecei a ler. “Hoje estamos em uma encruzilhada. Down UM PATH é o confortável e acquainted, o caminho da complacência”, afirmou. Bem, não é assim que me lembro. “Não é um caminho fácil, mas é o que leva ao crescimento, ao progresso e a um futuro digno de nosso potencial”. Okay, essas definitivamente não são as palavras de Frost – é isso que um chatbot acha que “dois caminhos divergem em uma madeira amarela” significa? E por que não me deixa ler o unique?

Esse orador é … Fobert Rost …?
Crédito: Captura de tela por Mashable / Google

Isso não period apenas um problema de Gêmeos. Eu não conseguia que nenhum dos chatbots puxe a cópia completa dos textos existentes originais, como aqueles que aparecem nos testes da ELA mais padrão – provavelmente por causa de em andamento questões de direitos autorais que atormentaram os desenvolvedores da IA. Antrópico recentemente estabeleceu um Projeto de ação coletiva de US $ 1,5 bilhão Arquivado por autores cujas obras foram usadas para treinar sua IA. Gêmeos, no entanto, é o único que me deu essas estranhas aproximações de IA da literatura clássica, não obrigadas.

Ainda assim, embora seu desempenho tenha sido sem brilho, a experiência do usuário do Bot veio com uma grande vitória. Gêmeos foi o único chatbot que mostrou o passo a passo do raciocínio do modelo, que os usuários podem ler clicando no menu suspenso “Mostrar pensamento” na parte superior da resposta. Isso foi útil para entender por que a Gêmeos optou por abordar partes de meus avisos e como isso argumentou através de minhas respostas incorretas.

Crédito: Ian Moore / Mashable Composite: Google

Gêmeos fez um bom trabalho ao quebrar minhas respostas sem ser muito crítico ou reescrever minhas respostas.

Achei mais interessante que, onde Gêmeos não conseguiu se envolver comigo de uma maneira bem -sucedida para lições de compreensão de leitura, period minha escolha preferida para elaborar ensaios de ciências sociais e respostas curtas – assuntos que eu pensaria serem comparáveis. Para a história da arte, Gemini fez um bom trabalho ao quebrar minhas respostas sem ser muito crítico ou reescrever minhas respostas, embora tenha feito sugestões que eram, mais uma vez, não parte da rubrica de pontuação do AP.

Quando solicitei a IA me ajudou com um ensaio sobre discriminação habitacional (olá, teoria da corrida crítica), felizmente solicitou que eu assumisse a liderança sobre o tópico “poderoso e importante”, pedindo -me para explicar os conceitos que já conhecia e organizando -os em uma estrutura simples de ensaio para me manter em tarefa. Isso deixou os espaços em branco para eu preencher o esboço com informações das minhas lições pessoais, sem escrever nenhum texto para mim (porque não perguntei).

Mas Bastani não ficou surpreso com a discrepância: “É muito bom em algumas tarefas, e então não é ótimo em outras tarefas que são muito semelhantes. E você precisa ser um especialista para poder reconhecer a diferença”. Ethan Mollick, colega de Bastani e autor de Co-intelligência: viver e trabalhar com AIchama isso de Ai “fronteira irregular“Uma parede invisível que delineia tarefas relacionadas que uma inteligência synthetic pode e não pode concluir logicamente. As tarefas que podem parecer próximas uma da outra em toda a extensão podem estar realmente em dois lados da parede e os usuários realmente não sabiam.

Então, análise da literatura: fora do muro. Ensaio sobre segregação racial: dentro da parede.

Resumindo

Gemini Guided Studying Execs: Meu professor de matemática preferido e o único que ofereceu uma proximidade com uma lição visible. Bom em oferecer mais opções para os alunos, incluindo flashcards, testes e guias de estudo. Sua voz é acessível e direta.

Contras: Uma bagunça para a compreensão de leitura. Rápido para servir usuários inúteis testes e cartões de flash de gerados automaticamente. Como seu concorrente, ChatGPT, enfatiza a prática rotineira como chave para o aprendizado.