Garantir a qualidade em sistemas de IA Generativa é um desafio único: as respostas podem ser não-determinísticas. Sua missão será desenhar e implementar estratégias de testes que validem não apenas o código, mas a precisão, segurança e confiabilidade dos nossos sistemas agênticos.

Principais Responsabilidades

• Estratégia de Testes de IA: Criar frameworks para validar saídas de LLMs, combatendo alucinações, vieses e garantindo a aderência ao contexto.
• Automação: Desenvolver e manter scripts de automação de testes (E2E, API e Integração) utilizando ferramentas como Playwright ou Cypress.
• Shift-left Testing: Atuar desde a fase de requisitos para garantir que a qualidade seja pensada no início do desenvolvimento.
• Testes de Performance e Segurança: Validar a resiliência das integrações com modelos de IA e a segurança contra vulnerabilidades como prompt injection.
• Monitoramento de Qualidad...