VocabX: comprimir a resposta sem comprimir a decisão
Dharma-AI adapta o vocabulário de um corretor de redações e mostra por que estrutura repetida e nota precisam de tratamentos diferentes.
Reduzir tokens não basta para demonstrar que um modelo ficou mais barato. No relato da Dharma-AI, publicado em 21 de outubro de 2026, o VocabX escolhe partes do vocabulário considerando o custo de processar entradas e gerar respostas, em vez de usar apenas frequência.
O caso principal é um corretor de redações em português baseado em Qwen3-4B. A equipe reconstrói unidades menores e transforma trechos recorrentes, inclusive estruturas JSON, em tokens próprios. Compara versões mantendo modelo-base, dados e receita de treinamento.
O detalhe mais relevante é uma tentativa que perdeu qualidade: fundir a nota com a estrutura ao redor. Separar novamente a nota preservou melhor a decisão avaliada. Isso sustenta uma distinção útil: comprimir texto previsível e comprimir a variável que o modelo precisa decidir são intervenções diferentes.
Para uma avaliação própria, eu separaria validade do JSON, qualidade da nota e custo medido. Os resultados publicados ainda pertencem a um trabalho em revisão. Falta estabelecer quanto essa vantagem persiste quando mudam o formato de saída e a distribuição das redações.
Fonte: Bernardo e coautores, da Dharma-AI, no relato sobre adaptação de vocabulário com VocabX.