Por que o ChatGPT-4 é tão lento em comparação com o ChatGPT-3.5?

Com a versão mais recente do ChatGPT, GPT-4, lançada em março de 2023, muitos estão se perguntando por que ele é tão lento em comparação com seu antecessor, GPT-3.5. Então, qual é a principal razão aqui?

Por que o ChatGPT-4 é tão lento e você deve se limitar ao GPT-3.5?

O que é ChatGPT-4?

ChatGPT-4 é o mais novo modelo de O chatbot da OpenAI, geralmente conhecido como ChatGPT. O ChatGPT é alimentado por inteligência artificial, permitindo responder às suas perguntas e solicitações muito melhor do que os chatbots anteriores. O ChatGPT usa um grande modelo de linguagem alimentado por um GPT (Transformador pré-treinado generativo) para fornecer informações e conteúdo aos usuários, além de poder conversar.

O ChatGPT possui uma ampla gama de recursos, tornando-o útil para milhões. Por exemplo, o ChatGPT pode escrever histórias, formular piadas, traduzir textos, educar usuários e muito mais. Embora o ChatGPT também possa ser usado para atos mais ilícitos, como criação de malware, sua versatilidade é um tanto revolucionária.

Modelo GPT-4 do ChatGPT foi lançado em 14 de março de 2023. Esta versão do ChatGPT foi projetada para entender melhor a linguagem emocional por meio do texto, ao mesmo tempo em que compreende melhor os diferentes dialetos de linguagem e processamento de imagem. O GPT-4 também pode manter conversas mais longas e responder efetivamente a solicitações de usuário mais longas.

Além disso, os parâmetros do GPT-4 excedem em muito os do GPT-3.5. Os parâmetros do ChatGPT determinam como a IA processa e responde às informações. Em suma, os parâmetros determinam a habilidade que o chatbot tem para interagir com os usuários. Enquanto o GPT-3.5 tem 175 bilhões de parâmetros, o GPT-4 tem incríveis 100 trilhões a 170 trilhões (rumores - a OpenAI não confirmou esse número).

Foi o GPT-3.5 da OpenAI que foi usado para alimentar o ChatGPT, que agora é o chatbot de IA mais popular do mundo. Portanto, o GPT-3.5 deixou uma marca inegável no reino da IA. Mas as coisas estão sempre progredindo na indústria de tecnologia, então não é surpresa que o GPT-3.5 agora tenha um sucessor no GPT-4.

No entanto, o GPT-4 não é perfeito. Na verdade, os longos tempos de resposta do GPT-4 estão causando bastante agitação. Então, vamos analisar esse problema e por que isso pode estar acontecendo.

ChatGPT-4 está lento

Muitos perceberam com o lançamento do GPT-4 que o novo chatbot da OpenAI era incrivelmente lento. Isso deixou dezenas de usuários frustrados, já que o GPT-4 deveria ser um passo à frente do GPT-3.5, não para trás. Como resultado, os usuários do GPT-4 têm acessado plataformas online, como o Reddit e o fórum da comunidade OpenAI, para discutir o problema.

Sobre Fórum da Comunidade OpenAI, vários usuários apresentaram suas frustrações com o atraso do GPT-4. Um usuário afirmou que o GPT-4 era "extremamente lento" e que até mesmo pequenas solicitações feitas ao chatbot resultavam em atrasos extraordinariamente longos de mais de 30 segundos.

Outros usuários foram rápidos em compartilhar suas experiências com o GPT-4, com um deles comentando na postagem que "a mesma chamada com os mesmos dados pode demorar até 4 vezes mais devagar que 3,5 turbo".

Noutro Postagem no fórum da comunidade OpenAI, um usuário comentou que seus prompts às vezes são recebidos com um "erro no fluxo do corpo" mensagem, resultando em nenhuma resposta. No mesmo tópico, outro indivíduo afirmou que não conseguiu que o GPT-4 "respondesse com sucesso com um script completo." Outro usuário comentou que eles continuavam encontrando erros de rede ao tentar usar GPT-4.

Com atrasos e respostas com falha ou incompletas, parece que o GPT-4 está repleto de problemas que estão rapidamente afastando os usuários.

Então, por que exatamente isso está acontecendo? Há algo de errado com o GPT-4?

Por que o GPT-4 é lento em comparação com o GPT-3.5?

Na postagem do Fórum da comunidade OpenAI mencionada acima, um usuário respondeu sugerindo que o atraso se devia a um "problema atual com toda a infraestrutura sobrecarga", acrescentando que há um desafio em "enfrentar a escalabilidade em um período de tempo tão curto com essa popularidade e número de usuários de chat e API."

Em um postagem no Reddit carregado no subreddit r/singularity, um usuário apresentou algumas razões possíveis para a lentidão do GPT-4, começando com um tamanho de contexto maior. Dentro do ecossistema GPT, o tamanho do contexto refere-se a quanta informação uma determinada versão do chatbot pode processar e produzir informações. Enquanto o tamanho do contexto do GPT-3.5 era 4K, o do GPT-4 é o dobro disso. Portanto, ter um tamanho de contexto de 8K pode ter um impacto nas velocidades gerais do GPT-4.

O autor do Reddit também sugeriu que a dirigibilidade e o controle aprimorados do GPT-4 poderiam desempenhar um papel nos tempos de processamento do chatbot. Aqui, o autor afirmou que a maior dirigibilidade do GPT-4 e controle de alucinações e idioma pode ser o culpado, pois esses recursos adicionam etapas extras ao método de processamento do GPT-4 Informação.

Além disso, foi proposto que a capacidade do GPT-4 de processar imagens poderia estar tornando as coisas mais lentas. Esse recurso útil é amado por muitos, mas pode vir com uma pegadinha. Dado que há rumores de que o GPT-4 leva de 10 a 20 segundos para processar uma imagem fornecida, há uma chance de que esse componente está estendendo os tempos de resposta (embora isso não explique os atrasos experimentados pelos usuários que fornecem apenas prompts de texto).

Outros usuários sugeriram que a novidade do ChatGPT-4 está desempenhando um grande papel nesses atrasos. Em outras palavras, alguns pensam que o mais novo chatbot da OpenAI precisa experimentar algumas dores de crescimento antes que todas as falhas possam ser resolvidas.

Mas a maior razão pela qual o GPT-4 é lento é o número de parâmetros que o GPT-4 pode usar em comparação com o GPT-3.5. O aumento fenomenal nos parâmetros simplesmente significa que leva mais tempo para o modelo GPT mais recente processar informações e responder com precisão. Você obtém respostas melhores com maior complexidade, mas chegar lá demora um pouco mais.

Você deve escolher GPT-3.5 em vez de GPT-4?

Então, com essas questões em mente, você deve usar GPT-3.5 ou GPT-4?

No momento em que escrevo, parece que o GPT-3.5 é a opção mais rápida do que o GPT-4. Tantos usuários sofreram atrasos que é provável que o problema de tempo esteja presente em todos os setores, não apenas em alguns indivíduos. Portanto, se o ChatGPT-3.5 estiver atendendo a todas as suas expectativas e você não quiser esperar por uma resposta em troca de recursos extras, pode ser sensato manter esta versão por enquanto.

No entanto, você deve observar que o GPT-4 não é apenas GPT-3.5, mas mais lento. Esta versão do chatbot da OpenAI tem inúmeras vantagens em relação ao seu antecessor. Se você está procurando um chatbot de IA mais avançado e não se importa em esperar mais pelas respostas, pode valer a pena fazer a transição do GPT-3.5 para o GPT-4.

Com o tempo, os atrasos do GPT-4 podem ser reduzidos ou totalmente resolvidos, então a paciência pode ser uma virtude aqui. Quer você tente mudar para o GPT-4 agora ou espere um pouco mais para ver como as coisas funcionam com esta versão, você ainda pode aproveitar muito o pequeno chatbot da OpenAI.

GPT-4 é mais avançado, mas vem com um atraso

Embora o GPT-4 tenha vários recursos avançados sobre o GPT-3.5, seus atrasos significativos e erros de resposta o tornaram inutilizável para alguns. Esses problemas podem ser resolvidos em um futuro próximo, mas, por enquanto, o GPT-4 certamente tem alguns obstáculos a superar antes de ser aceito em uma escala mais ampla.