ControlNet é uma extensão revolucionária do Stable Diffusion que permite controle preciso sobre a geração de imagem, condicionando-a a outras imagens de entrada. Antes do ControlNet, você descrevia em texto e torcia. Com ControlNet, você fornece referências estruturais (pose, profundidade, edges) e o modelo segue.
Tipos de controle (cada um é um "ControlNet model"):
- Canny / HED / Lineart: edges/contornos da imagem de referência.
- Depth: mapa de profundidade — controla distâncias.
- Pose (OpenPose): postura humana detalhada (esqueleto).
- Normal map: orientação de superfícies.
- Segmentation: regiões coloridas que viram objetos.
- Scribble: rabisco grosseiro.
- Tile: refinamento ou upscale com coerência.
- Reference / IP-Adapter: preserva estilo ou identidade de referência.
- InstantID: preserva rosto específico.
Como funciona (simplificado):
- ControlNet é uma rede paralela ao SD que recebe condicionamento extra.
- Durante geração, ele "guia" o SD para respeitar a estrutura da entrada.
- Você combina: prompt + ControlNet input.
Casos de uso:
- Manter pose: gerar variações de personagem em mesma pose.
- Substituir personagem mantendo cenário: pose ControlNet + prompt mudando sujeito.
- Arquitetura: depth map de planta baixa → render fotorealista.
- Storyboards: scribble rough → ilustração polida.
- E-commerce: pose fixa, variar roupa/cor.
- Animação 2D para 3D-like: lineart → render volumétrico.
Onde rodar:
- Automatic1111: extension ControlNet for WebUI.
- ComfyUI: nodes nativos.
- InvokeAI: também integrado.
- APIs (Replicate, Fal.AI): modelos prontos.
- Adobe Firefly: alguns controles similares integrados.
Modelos derivados/relacionados em 2026:
- IP-Adapter: preserva estilo de imagem de referência.
- InstantID: preserva identidade facial.
- T2I-Adapter: alternativa lightweight.
- Multi-ControlNet: combina vários controles.
Para o profissional brasileiro:
- Estúdios de criação: ControlNet é diferencial vs concorrentes que só usam Midjourney.
- E-commerce: gerar variantes com pose/composição fixa.
- Arquitetura/design: visualização rápida de conceitos.
- Mídia: storyboards e mood boards consistentes.
Limitações:
- Curva de aprendizado: mais técnico que Midjourney.
- Setup: precisa GPU, ComfyUI/A1111, baixar modelos.
- Preprocessing: gerar input adequado (depth, pose) tem seus próprios passos.
- Computação: cada controle adiciona inferência.
Em 2026, ControlNet é "ferramenta profissional" do mundo Stable Diffusion. Quem domina ControlNet entrega trabalho que nenhum gerador "preto e branco" (só prompt) consegue. Para agências e estúdios brasileiros sérios em IA visual, é skill obrigatória.