Polybee AI Research · Publicação 02
F3-Swarm v1.5.2
Modelos pequenos, verificação e inferência local sob restrições de memória.
- 01Qwen2.5-0.5BTriagem e primeira tentativa
- 02Qwen2.5-1.5BEscalonamento sob demanda
- 03Qwen2.5-Coder-3BReparo de código com contraexemplos
Carregamento sequencial: um modelo ativo por vez.
Preprint técnico sem revisão por pares, preparado para submissão ao arXiv. Código e registros de execução disponíveis no GitHub.
01 / Resumo científico
Como executar mais com a memória disponível?
O F3-Swarm investiga dois problemas em computadores comuns: o custo de mover pesos entre RAM e armazenamento e a confiabilidade de modelos pequenos em tarefas operacionais.
Na Trilha A (Labs 01–02), o estudo compara a leitura de matrizes a partir do SSD com um pipeline de três processos que mantém os pesos em RAM. A comunicação é feita por TCP loopback na mesma máquina, com latências de rede emuladas.
Na Trilha B (Labs 03–05), verificadores decidem quando aceitar a saída de um modelo pequeno ou escalar para outro. A avaliação reúne 30 tarefas em português brasileiro: 12 de triagem, 10 de extração documental e 8 de síntese de funções Python.
02 / Resultados
Dois experimentos, duas medidas de desempenho.
Memória · Labs 01–02
Pesos residentes em RAM versus leitura de SSD
A carga usa 24 camadas de matrizes densas (1,50 GiB em float32), 32 passos e limite de 600 MiB de working set por processo. O hardware é um Intel Core i7-11370H com Windows 11.
| Condição | Passos/s | Ganho de vazão | Leitura de SSD |
|---|---|---|---|
| NVMe sem buffer | 1,44 | 1× | 33,00 GiB |
| LAN emulada · 0,4 ms | 19,79 | 13,70× | 0 GiB |
| Wi-Fi emulado · 4,5 ms | 15,62 | 10,82× | 0 GiB |
| WAN emulada · 60 ms | 4,84 | 3,35× | 0 GiB |
O estudo registrou diferença numérica máxima de 0,0 nas condições comparadas. Os passos são operações da carga matricial; não são tokens gerados por um modelo de linguagem.
Cascata de SLMs · Labs 03–05
Acurácia e tempo nas tarefas em português
| Política | Acurácia | Tempo total |
|---|---|---|
| P1 · 0.5B | 12/30 · 40,0% | 57,76 s |
| P2 · 1.5B | 22/30 · 73,3% | 111,18 s |
| P3 · Cascata inicial | 19/30 · 63,3% | 96,21 s |
| P4 · Swarm v1.0 | 23/30 · 76,7% | 84,70 s |
| P5a · Diagnóstico sem ajustes | 27/30 · 90,0% | 119,07 s |
| P5b · Versão ajustada | 29/30 · 96,7% | 121,19 s |
A P4 acertou 23/30, contra 22/30 do modelo 1,5B isolado (P2), e levou 23,8% menos tempo neste teste. A P5b acertou 29/30 (IC 95% de Wilson: 83,3%–99,4%), mas levou 121,19 s, 9,0% a mais que a P2. O especialista 3B foi acionado em 3 das 30 tarefas.
A P5b incorporou fechamento de sufixo e a correção de um erro no resultado esperado da tarefa T26. O conjunto já havia orientado ajustes no sistema; 29/30 descreve desempenho no desenvolvimento.
Auditoria de generalização em código
| Recorte | Casos corretos | Tarefas aprovadas |
|---|---|---|
| Código registrado literalmente nos logs | 27/28 | 6/7 |
| Incluindo a função reconstruída de T29 | 31/32 | 7/8 |
O agregado ajustado de 28/30 (93,3%; IC 95% de Wilson: 78,7%–98,2%) combina 11/12 de triagem e 10/10 de extração no conjunto original com 7/8 de código na auditoria posterior. Triagem e extração não foram avaliadas em novas tarefas.
03 / Metodologia
A verificação decide quando escalar.
Triagem calibrada
Ajuste de logits e inversão da ordem das alternativas ajudam a detectar viés pela primeira opção. A escalada pode usar uma justificativa curta e fechamento determinístico da saída.
Extração com evidência
O Motor B verifica se o trecho extraído está no texto de origem e normaliza deterministicamente os valores monetários em PT-BR.
Verificação funcional
Cada função Python passa por quatro testes de desenvolvimento. Quando falha, o reparo AACR encaminha um contraexemplo, com entrada e saídas esperada e obtida.
Carregamento sequencial
Os modelos GGUF rodam localmente em CPU via llama-server, um por vez. Os níveis 1–2 ficam abaixo de 1,5 GiB de RAM ativa; o nível 3 sob demanda foi reportado em 2,1 GB.
04 / Limitações
O que a avaliação permite concluir.
- Uma máquina, RTT emulado.
O pipeline matricial não testa modelos completos distribuídos em computadores físicos. Jitter, congestionamento e rede real estão fora do ensaio.
- As trilhas não foram integradas.
A cascata executou os modelos localmente em sequência. Integrar o pipeline com inferência multi-host é trabalho futuro.
- Amostra pequena e ajustes no desenvolvimento.
Os resultados descrevem 30 tarefas e uma auditoria posterior de funções. Testes finitos podem aceitar soluções que falham em outros casos.
- Energia estimada; isolamento não demonstrado.
Os valores energéticos no manuscrito são estimativas, não medições elétricas. O executor Python do protótipo não oferece isolamento de segurança para código não confiável.
05 / Materiais e reprodução
Manuscrito, código e evidências.
O script de reprodução verifica os registros JSON e a auditoria posterior. Para repetir a execução dos modelos e a telemetria do benchmark, consulte os scripts e as instruções do repositório.
06 / Como citar
Como citar este trabalho.
Oliveira, H. (2026). Polybee F3-Swarm v1.5.2: Verifier-Guided Heterogeneous SLM Routing, Symbolic Evidence Normalization, and Controlled Memory-Pipeline Benchmarks on Commodity Edge Hardware. Polybee AI Research Laboratory. TR-2026-F3S-05. DOI 10.5281/zenodo.24095260 .
@techreport{oliveira2026f3swarm,
author = {Henrique Oliveira},
title = {{Polybee F3-Swarm v1.5.2: Verifier-Guided Heterogeneous SLM Routing, Symbolic Evidence Normalization, and Controlled Memory-Pipeline Benchmarks on Commodity Edge Hardware}},
institution = {Polybee AI Research Laboratory},
number = {TR-2026-F3S-05},
year = {2026},
month = nov,
doi = {10.5281/zenodo.24095260},
url = {https://polybee.ai/research/f3-swarm-v1-5-2/},
note = {Technical preprint, version 1.5.2}
}
Baixar BibTeX