Transformers MIC: modelos pequenos para erros que passam em silêncio
Checkpoints reduzidos preservam comportamentos arquiteturais para tornar a integração mais fácil de testar.
Um erro em atenção pode produzir uma resposta aparentemente normal. Esse é o pano de fundo do artigo sobre Transformers MIC, publicado em 3 de novembro de 2026: a equipe relata um problema em que implementações de T5 e UMT5 acessavam informação de tokens futuros sem uma falha evidente de execução.
A proposta é usar checkpoints pequenos derivados de configurações reais para testes de integração rápidos em CPU. Reduzir dimensões e camadas não deve apagar os tipos de componentes que precisam ser exercitados. Tokenizadores e processadores também fazem parte da correspondência que torna o teste representativo.
O valor está em aproximar velocidade de teste e fidelidade arquitetural. Um substituto genérico pode rodar depressa, mas deixar de passar justamente pelo ramo que contém o defeito. Um modelo reduzido útil precisa preservar as propriedades relevantes para a verificação.
O MIC cobre integração com checkpoints pequenos; comportamento com pesos completos e desempenho em outros hardwares ficam fora dessa prova. Antes de adotar uma fixture, identifique o caminho real que a configuração reduzida ainda exercita. Qual propriedade da atenção sobrevive à redução e qual depende do checkpoint completo? Esse limite define o que um teste rápido aprovado consegue demonstrar.