Semana passada rodei uns experimentos num projeto paralelo. Um agente recebe um repositório com um bug e um shell. Ele roda os testes, ou o linter, ou puxa o log do pipeline que falhou, lê o que volta e conserta o bug. Rodo cada tarefa algumas vezes e conto os tokens. Está tudo no repositório no GitHub.
Foi no log do pipeline que a coisa ficou boba. Uma rodada leu o log de CI do jeito que a ferramenta imprime e gastou mais de dez vezes os tokens de uma rodada que leu só as linhas com erro. Mesmo bug, mesma correção. A diferença era o prefixo. Cada linha começa com o nome do job, o nome do step e um timestamp, uns setenta e cinco bytes antes de qualquer coisa útil. No navegador ninguém lê isso. O agente pagou por tudo.
Depois colei as transcrições num chat e pedi a um modelo que me dissesse o que o agente tinha lido. Ou seja, paguei para ler a saída e depois paguei de novo para ler a leitura. Várias rodadas disso. Na sexta, a análise tinha custado mais do que os experimentos.
Não é só log de CI. Rodada de teste, plano, scan e build, tudo imprime para alguém sentado num terminal. Cor, barra de progresso, banner com a versão, e duzentos testes que passaram listados um por linha em volta dos oito que falharam. Alguém numa issue pública contou uma rodada de testes. Umas cento e cinquenta linhas, e oito importavam. A issue foi fechada como “not planned”.
Minha primeira reação é cortar. tail, um limite de bytes, as últimas cem linhas. Toda vez que fiz isso, uma hora a linha que falhou estava acima do corte.
O que eu queria era rodar um comando e receber só o que pede uma ação minha. Uma linha por falha ou mudança. Sem cor. Os mesmos bytes para a mesma entrada, para eu poder comparar duas rodadas. Uma linha no fim dizendo o que ficou de fora e como pegar de volta. E nunca um valor que a ferramenta sabe que é segredo, porque um limite de bytes não faz ideia de quais são.
Também quero que a ferramenta decida o que eu preciso, que é justamente o que eu reclamo nos dashboards que outras pessoas montaram. Isso eu ainda não resolvi.
Achei dois test runners que já trocam para um reporter mais quieto quando veem um agente nas variáveis de ambiente. Coisa pequena. Foi a primeira vez que vi uma ferramenta tratar o agente como leitor.
Pude gastar uma semana de conta de API nisso porque o dinheiro estava lá e ninguém dependia de mim. Quem está no plano gratuito recebe as mesmas cento e cinquenta linhas numa janela de contexto menor, e quando a janela enche, o agente esquece como a tarefa começou.
Não sei onde a correção deveria morar. Talvez nas ferramentas, um reporter de cada vez. Talvez no harness do agente, que já sabe quanto espaço o modelo tem. Talvez em algo no meio do pipe que traduz, e isso pode não sobreviver ao ano em que as ferramentas se atualizarem. Também apaguei quatro dos formatos que eu tinha construído, porque os números disseram que eles não economizavam nada. O agente estava bem com o que a ferramenta imprimia. Então nem tenho certeza de que a versão curta é sempre o que ele precisa.