Kaique Mitsuo Silva Yamamoto
Ia

Roadmap: Preparação para Teste Prático de Engenharia de IA

Guia completo de preparação para testes práticos de desenvolvedor e engenheiro de IA: o que é cobrado, como se preparar, projetos para portfólio e plano de estudo intensivo.

Roadmap: Preparação para Teste Prático de Engenharia de IA

Meu caro buscador (dessa vez, buscador de código), você está prestes a enfrentar um teste prático. Não é hora de ler tudo — é hora de saber o que importa e focar.

Este roadmap foi feito para quem já tem base e precisa afilar a lâmina antes da prova. Vou te dizer exatamente o que estudar, em que ordem, e o que provavelmente será cobrado.


O que um Teste Prático de IA Costuma Avaliar

ÁreaO que cobramPeso
Python + bibliotecasCódigo limpo, NumPy, Pandas, manipulação de dadosAlto
LLMs e APIsIntegração com OpenAI/Anthropic, chamadas de API, parsingAlto
RAGConstruir pipeline de busca + geração, embeddings, vector DBMuito Alto
Prompt EngineeringSystem prompts eficazes, few-shot, chain-of-thoughtAlto
Agentes e ToolsCriar agentes que usam ferramentas, tool calling, LangChain/LangGraphMuito Alto
Avaliação de modelosMétricas, testes, avaliação de qualidade de respostasMédio-Alto
DeployContainerização, APIs REST, escalabilidadeMédio
ML clássicoRegressão, classificação, métricas (F1, AUC)Médio
Deep LearningFine-tuning, transfer learning, TransformersMédio
MLOpsVersionamento, monitoramento, CI/CD para MLMédio

Plano de Estudo Intensivo

Fase 1 — Fundação Rápida (Dias 1-3)

Objetivo: Garantir que a base está sólida.

Dia 1 — Python para IA

  • NumPy: arrays, broadcasting, operações matriciais
  • Pandas: DataFrames, groupby, merge, apply
  • Matplotlib/Seaborn: gráficos básicos para análise
  • List comprehensions, generators, decorators

Dia 2 — ML Clássico (rápido)

  • Revisar Fundamentos de IA — foco em supervised learning
  • Scikit-learn: train_test_split, fit/predict, métricas
  • Regressão logística, Random Forest, XGBoost
  • Overfitting/underfitting, cross-validation

Dia 3 — Deep Learning (conceitual)

  • Revisar Redes Neurais Profundas
  • Entender Transformers (atenção, encoder/decoder)
  • Transfer learning e fine-tuning
  • PyTorch básico: tensors, nn.Module, training loop

Fase 2 — O que Mais Cai (Dias 4-10)

Objetivo: Dominar as áreas de maior peso.

Dia 4-5 — LLMs e APIs

  • Revisar LLMs e APIs
  • OpenAI API: chat completions, function calling, streaming
  • Anthropic API: messages API, system prompts
  • Parsing de respostas JSON
  • Tratamento de erros e rate limiting

Dia 6-7 — RAG

  • Revisar RAG
  • Pipeline completo: ingestão → chunking → embedding → indexação → retrieval → geração
  • Embeddings e Vetorização
  • Vector DB: Chroma (mais simples) ou Qdrant (mais robusto)
  • Estratégias de retrieval: similarity, MMR, hybrid
  • Re-ranking e avaliação com Ragas

Dia 8-9 — Agentes e Tools

Dia 10 — Prompt Engineering

  • Revisar Prompt Engineering
  • System prompts estruturados (persona, contexto, regras, formato)
  • Few-shot learning com exemplos
  • Chain-of-thought prompting
  • Saídas estruturadas (JSON mode, function calling)

Fase 3 — Tópicos Complementares (Dias 11-14)

Dia 11 — Avaliação e Métricas

  • Revisar Avaliação e Métricas
  • Métricas de ML: F1, AUC-ROC, precision/recall
  • Métricas de RAG: faithfulness, relevância, recall
  • LLM-as-judge: usar LLM para avaliar LLM
  • A/B testing de modelos

Dia 12 — Deploy e MLOps

  • Revisar MLOps e Deploy
  • FastAPI para servir modelos
  • Docker para containerização
  • Monitoramento de modelos em produção
  • Versionamento de prompts e modelos

Dia 13 — Integração de LLMs

  • Revisar Integração de LLMs
  • Gateway de modelos (fallback, roteamento)
  • Controle de custos
  • Observabilidade

Dia 14 — Revisão Geral + Projeto Prático

  • Revisar pontos fracos
  • Fazer um mini-projeto completo do zero

O Mini-Projeto de Revisão

Construa um projeto que cobre o máximo possível:

Projeto: Assistente de Documentos com RAG + Agent

Stack:
  - FastAPI (backend)
  - LangChain / LangGraph (orchestration)
  - OpenAI ou Anthropic (LLM)
  - Chroma (vector DB)
  - Docker (containerização)

Funcionalidades:
  1. Upload de documentos (PDF, TXT, MDX)
  2. Chunking + embedding + indexação
  3. Perguntas e respostas sobre os documentos (RAG)
  4. Agent com tools (busca web, calculadora, resumo)
  5. Avaliação automática de qualidade das respostas
  6. API REST documentada (Swagger)

Esse projeto cobre: Python, APIs de LLM, RAG, agentes, prompt engineering, deploy e avaliação.


O que Provavelmente Vão Perguntar

PerguntaResposta-chave
"Como você evitaria alucinações em um sistema RAG?"Re-ranking, grounding com citations, LLM-as-judge, faithfulness score
"Como você avaliaria a qualidade das respostas?"Métricas Ragas (faithfulness, relevância), LLM-as-judge, A/B testing
"Como você faria fallback entre modelos?"Gateway com timeout/retry, roteamento por tarefa, custo vs qualidade
"Como você versionaria prompts?"Tratar como código: git, testes unitários, CI/CD
"Como você lidaria com documentos grandes?"Hierarchical chunking, parent document retrieval, summary index
"Como você faria fine-tuning?"Dataset de qualidade > quantidade, LoRA/QLoRA, evaluation antes/depois

Referências Rápidas


Dica Final

Não tente aprender tudo. Foque no que mais cai: RAG, agentes, LLMs e APIs, e prompt engineering. Essas quatro áreas cobrem 80% do que será testado.

E lembre-se: no teste prático, o mais importante não é saber a resposta — é saber como chegar à resposta. Pense em voz alta. Mostre seu processo. Explique trade-offs. Isso vale mais que código perfeito.

Boa sorte.

On this page