Dataset é o combustível da IA. Sem dados, não há aprendizado. A qualidade, quantidade e diversidade do dataset determinam quão bom seu modelo será — muito mais que a escolha de algoritmo.
Datasets em ML são tipicamente divididos em três partes:
- Treino (60-80%): o modelo aprende daqui.
- Validação (10-20%): usado para ajustar hiperparâmetros e detectar overfitting.
- Teste (10-20%): avaliação final, não pode ser tocado durante desenvolvimento.
Tipos de dataset:
- Tabular: planilhas, banco de dados (clientes, vendas, transações).
- Texto: documentos, conversas, comentários.
- Imagem: fotos rotuladas (gato/cachorro, com/sem doença).
- Áudio: gravações com transcrições.
- Multimodal: combinações (imagem + descrição).
Datasets famosos:
- MNIST: dígitos escritos à mão (clássico de visão).
- ImageNet: 14 milhões de imagens em 20 mil categorias.
- Common Crawl: petabytes de páginas da web (base do treino de LLMs).
- The Pile: dataset de texto curado para LLMs open source.
- LAION-5B: 5 bilhões de pares imagem-texto (treinou Stable Diffusion).
Para o profissional brasileiro:
- Hugging Face Datasets: maior repositório público de datasets prontos para usar.
- Kaggle: competições e datasets de qualidade.
- Datasets brasileiros: Carolina (textos em português), MariTalk corpus, dados abertos do governo (data.gov.br).
Princípios para criar bons datasets:
- Representatividade: cobre os casos que o modelo vai encontrar na produção.
- Qualidade dos rótulos: humanos consistentes ao rotular.
- Limpeza: remover duplicatas, dados corrompidos, exemplos ambíguos.
- Balanceamento: cuidado com classes raras (fraude é raro, mas crucial detectar).
- Compliance: LGPD, direito autoral, consentimento.
Em 2026, datasets sintéticos (gerados por IA) estão cada vez mais comuns para complementar dados reais. Mas atenção ao "model collapse": treinar IA com dados gerados por IA pode degradar qualidade ao longo do tempo.