O paradoxo da produtividade


O uso de ferramentas de IA irá aumentar ainda mais a importância do conhecimento dos conceitos e reduzir a necessidade de executar os procedimentos.


Ao rever as crónicas que escrevi este ano, constatei que o tema genérico da inovação acabou por me levar a tratar, quase exclusivamente, do enorme progresso dos modelos de linguagem de grande escala (LLMs), geralmente identificados como inteligência artificial (IA). Ethan Mollick, professor da Universidade da Pensilvânia, constata no seu último artigo que temos hoje cerca de 10 modelos com desempenho comparável ao ChatGPT-4 que, há um ano, era o único modelo disponível da segunda geração de LLMs. O mais recente é o Llama 3.3, lançado este mês pela Meta, que está publicamente disponível podendo até correr integralmente no seu computador. Nesta geração há ainda três modelos chineses e apenas um europeu, o francês Mistral. Do lado dos modelos mais poderosos, foram lançadas as versões ChatGPT-o1 e o1-pro, baseados na ideia simples de dar mais tempo e recursos ao modelo para seguir o seu raciocínio quando a questão é complexa, apresentando resultados surpreendentes que apenas especialistas conseguem avaliar se estão corretos ou errados.

A inovação não é, no entanto, apenas a geração de novos conhecimentos ou novas ferramentas, mas também a criação de valor para a sociedade. Apesar do enorme progresso das ferramentas IA, não se têm observado ganhos de produtividade generalizados e, pelo contrário, têm surgido muitos relatos de resultados caricatos no seu uso. Mesmo descontando o maior interesse jornalístico dos insucessos face aos sucessos, nota-se na Europa um menor entusiasmo das empresas e investidores pela IA. Sabemos, contudo, que a inovação tem raízes no insucesso. A maior capacidade de investimento e de aceitação do risco destas tecnologias nos EUA, tem produzido ganhos de produtividade em várias áreas que alguns analistas consideram como sendo uma das causas de um crescimento económico muito superior ao da Europa.

Na primeira crónica deste ano referi o meu gosto pela frase “o futuro já está aqui, apenas não está muito bem distribuído” de William Gibson. As inovações são inicialmente utilizadas por pequenas comunidades que percebem que o seu valor justifica o custo de aprender a usá-las e de as adaptar às suas necessidades. Uma das comunidades que mais usa ferramentas baseadas em LLMs é a dos programadores. Será que aumentam a sua produtividade?

Addy Osmani, um engenheiro de software na Google e autor do livro Building effective engineering teams escreveu recentemente um artigo sobre o paradoxo do uso de ferramentas de inteligência artificial por programadores. Apesar de todos referirem um dramático aumento na sua produtividade, esta não se tem traduzido numa grande diferença na qualidade da generalidade dos programas que usamos. Segundo o autor, isso deve-se às diferentes formas como estas ferramentas são usadas por programadores experientes e inexperientes. Um programador experiente consegue usar estas ferramentas para criar em minutos um protótipo completo incluindo os testes de funcionamento e a sua documentação. Olhando com cuidado nota-se que não se limita a usar as sugestões do modelo: usa a sua experiência para as melhorar. O modelo acelera o desenvolvimento, mas é ele quem assegura a qualidade do código. Um programador inexperiente fica deslumbrado com a solução proposta pelo modelo que aceita sem uma análise profunda, deixando passar problemas que serão mais tarde muito difíceis de corrigir. Ambos usam o modelo para uma prototipagem rápida da solução, mas o primeiro usa-a para ideias que compreende e que pode depois refinar, enquanto o segundo aceita soluções incorretas ou incompletas e que não compreende na sua totalidade. Neste último caso, a maior eficiência no desenvolvimento perde-se no esforço da correção dos erros. Um programador experiente usa o modelo como um programador júnior a quem delega tarefas que este sabe fazer para ficar com mais tempo para as outras mais importantes.

A generalização das observações de Addy Osmani para outros usos de ferramentas de IA é a de que os profissionais precisam de saber dividir as tarefas entre si e o modelo, sem perder a capacidade de avaliar e modificar o resultado. Isto sugere que os processos de ensino e formação destes profissionais devem incorporar o uso destas ferramentas. A integração da máquina de calcular no sistema de ensino não acabou com a aprendizagem das operações algébricas, mas reduziu a importância dos procedimentos para realizar as operações de forma manual, dando mais foco à aquisição dos conceitos associados a essas operações. O uso de ferramentas de IA irá aumentar ainda mais a importância do conhecimento dos conceitos e reduzir a necessidade de executar os procedimentos. Infelizmente, grande parte da avaliação no nosso sistema de ensino foca-se ainda muito mais na execução sem erros de procedimentos manuais do que no domínio dos conceitos fundamentais subjacentes.

Outra questão relevante na integração de ferramentas de IA no ensino e formação pode ser resumida na frase de Andrej Karpathy, o fundador da startup Eureka Labs que junta a IA com a educação: “o Inglês está a tornar-se a linguagem de programação mais fixe!”. Com efeito, temos de saber expressar adequadamente o que pretendemos para aumentar a probabilidade de o modelo produzir uma resposta satisfatória. A forma como os modelos de uso mais comuns estão a ser treinados dá uma vantagem significativa a quem domina a língua inglesa. É esse um dos motivos que leva muitos governos a incentivar o desenvolvimento de modelos treinados para serem usados de forma eficaz com as línguas dos seus países. Espero que em 2025 mais jovens possam dizer que “a minha língua é a linguagem de programação mais fixe!”.

Professor do Instituto Superior Técnico

O paradoxo da produtividade


O uso de ferramentas de IA irá aumentar ainda mais a importância do conhecimento dos conceitos e reduzir a necessidade de executar os procedimentos.


Ao rever as crónicas que escrevi este ano, constatei que o tema genérico da inovação acabou por me levar a tratar, quase exclusivamente, do enorme progresso dos modelos de linguagem de grande escala (LLMs), geralmente identificados como inteligência artificial (IA). Ethan Mollick, professor da Universidade da Pensilvânia, constata no seu último artigo que temos hoje cerca de 10 modelos com desempenho comparável ao ChatGPT-4 que, há um ano, era o único modelo disponível da segunda geração de LLMs. O mais recente é o Llama 3.3, lançado este mês pela Meta, que está publicamente disponível podendo até correr integralmente no seu computador. Nesta geração há ainda três modelos chineses e apenas um europeu, o francês Mistral. Do lado dos modelos mais poderosos, foram lançadas as versões ChatGPT-o1 e o1-pro, baseados na ideia simples de dar mais tempo e recursos ao modelo para seguir o seu raciocínio quando a questão é complexa, apresentando resultados surpreendentes que apenas especialistas conseguem avaliar se estão corretos ou errados.

A inovação não é, no entanto, apenas a geração de novos conhecimentos ou novas ferramentas, mas também a criação de valor para a sociedade. Apesar do enorme progresso das ferramentas IA, não se têm observado ganhos de produtividade generalizados e, pelo contrário, têm surgido muitos relatos de resultados caricatos no seu uso. Mesmo descontando o maior interesse jornalístico dos insucessos face aos sucessos, nota-se na Europa um menor entusiasmo das empresas e investidores pela IA. Sabemos, contudo, que a inovação tem raízes no insucesso. A maior capacidade de investimento e de aceitação do risco destas tecnologias nos EUA, tem produzido ganhos de produtividade em várias áreas que alguns analistas consideram como sendo uma das causas de um crescimento económico muito superior ao da Europa.

Na primeira crónica deste ano referi o meu gosto pela frase “o futuro já está aqui, apenas não está muito bem distribuído” de William Gibson. As inovações são inicialmente utilizadas por pequenas comunidades que percebem que o seu valor justifica o custo de aprender a usá-las e de as adaptar às suas necessidades. Uma das comunidades que mais usa ferramentas baseadas em LLMs é a dos programadores. Será que aumentam a sua produtividade?

Addy Osmani, um engenheiro de software na Google e autor do livro Building effective engineering teams escreveu recentemente um artigo sobre o paradoxo do uso de ferramentas de inteligência artificial por programadores. Apesar de todos referirem um dramático aumento na sua produtividade, esta não se tem traduzido numa grande diferença na qualidade da generalidade dos programas que usamos. Segundo o autor, isso deve-se às diferentes formas como estas ferramentas são usadas por programadores experientes e inexperientes. Um programador experiente consegue usar estas ferramentas para criar em minutos um protótipo completo incluindo os testes de funcionamento e a sua documentação. Olhando com cuidado nota-se que não se limita a usar as sugestões do modelo: usa a sua experiência para as melhorar. O modelo acelera o desenvolvimento, mas é ele quem assegura a qualidade do código. Um programador inexperiente fica deslumbrado com a solução proposta pelo modelo que aceita sem uma análise profunda, deixando passar problemas que serão mais tarde muito difíceis de corrigir. Ambos usam o modelo para uma prototipagem rápida da solução, mas o primeiro usa-a para ideias que compreende e que pode depois refinar, enquanto o segundo aceita soluções incorretas ou incompletas e que não compreende na sua totalidade. Neste último caso, a maior eficiência no desenvolvimento perde-se no esforço da correção dos erros. Um programador experiente usa o modelo como um programador júnior a quem delega tarefas que este sabe fazer para ficar com mais tempo para as outras mais importantes.

A generalização das observações de Addy Osmani para outros usos de ferramentas de IA é a de que os profissionais precisam de saber dividir as tarefas entre si e o modelo, sem perder a capacidade de avaliar e modificar o resultado. Isto sugere que os processos de ensino e formação destes profissionais devem incorporar o uso destas ferramentas. A integração da máquina de calcular no sistema de ensino não acabou com a aprendizagem das operações algébricas, mas reduziu a importância dos procedimentos para realizar as operações de forma manual, dando mais foco à aquisição dos conceitos associados a essas operações. O uso de ferramentas de IA irá aumentar ainda mais a importância do conhecimento dos conceitos e reduzir a necessidade de executar os procedimentos. Infelizmente, grande parte da avaliação no nosso sistema de ensino foca-se ainda muito mais na execução sem erros de procedimentos manuais do que no domínio dos conceitos fundamentais subjacentes.

Outra questão relevante na integração de ferramentas de IA no ensino e formação pode ser resumida na frase de Andrej Karpathy, o fundador da startup Eureka Labs que junta a IA com a educação: “o Inglês está a tornar-se a linguagem de programação mais fixe!”. Com efeito, temos de saber expressar adequadamente o que pretendemos para aumentar a probabilidade de o modelo produzir uma resposta satisfatória. A forma como os modelos de uso mais comuns estão a ser treinados dá uma vantagem significativa a quem domina a língua inglesa. É esse um dos motivos que leva muitos governos a incentivar o desenvolvimento de modelos treinados para serem usados de forma eficaz com as línguas dos seus países. Espero que em 2025 mais jovens possam dizer que “a minha língua é a linguagem de programação mais fixe!”.

Professor do Instituto Superior Técnico