Oráculo independente
O valor esperado vem do arquivo de origem, do contrato cadastrado ou da regra que a própria tela publica. Nunca da resposta do sistema que está sendo testado.
Case · testes de ponta a ponta · 2026
Um SaaS de faturamento de saúde move o dinheiro de clínicas: a cobrança enviada aos convênios, o que eles pagam, o que glosam e o recurso para recuperar o glosado. A suíte automatizada que já existia abria telas e conferia se carregavam.
O trabalho foi trocar o critério. Em vez de perseguir cobertura, os fluxos foram ordenados pelo prejuízo que causam quando quebram, e cada teste passou a conferir o valor que sai na tela.
01 / O critério
Cobertura total é um projeto caro que costuma terminar em suíte instável, e suíte instável acaba desligada. A pergunta que organiza a lista é o que para o dinheiro se quebrar.
| # | Fluxo | Se quebrar… | O teste prova que… |
|---|---|---|---|
| 01 | Faturamento | O atendimento não vira cobrança | Um lote real vira cobrança com as guias e o valor exatos do arquivo enviado |
| 02 | Recebimento | Pagamento lido errado, glosa sem detecção | O demonstrativo real traz informado, liberado e glosa iguais ao arquivo, já ligados ao faturamento |
| 03 | Conciliação | A glosa some e ninguém recorre | As guias casam com o faturamento, por lote e por guia |
| 04 | Prazo do recurso | Recurso fora do prazo vira perda definitiva | Centenas de prazos, em contratos de durações diferentes, são recalculados e batem com o contrato; os filtros somam o mesmo total da coluna |
| 05 | Montar e enviar o recurso | Recurso recusado, glosa mantida | Carta, PDF e pacote saem completos; o arquivo de envio leva o hash de integridade, os valores da tela e a data escolhida |
| 06 | Antecipação de recebíveis | Dinheiro sai com valor ou taxa errados | Disponível, deságio e líquido batem com os termos contratados; a simulação respeita o teto do pedido. Nada é efetivado |
| 07 | Dados bancários | O depósito cai na conta errada | O que se digita (zeros à esquerda, dígito, tipo de conta) é o que fica gravado, e a conta original volta no fim do teste |
| 08 | Isolamento entre clientes | Um cliente vê dados de outro | Um usuário comum tenta alcançar outro cliente por 14 caminhos distintos, cada um com prova de controle no próprio cadastro |
02 / O entregável
O relatório padrão do Playwright é bonito e ninguém abre. O que chega depois de cada rodada é uma página curta, escrita para uma decisão só: esta versão pode subir? Ela encolhe quando está tudo bem.
❌ NÃO — quebrou Prazo do recurso. 36 testes em ~12 min · comparado com a rodada anterior ## 1. Quebrou desde a última rodada Prazo do recurso › a coluna Prazo bate com o contrato de cada convênio Prazo do recurso › os filtros recortam igual à coluna e somam o total Funcionava nas versões anteriores de front e API; não funciona nas novas (link para o que mudou) ## 2. Mudou para o outro lado ✅ Voltou a funcionar: marcar como enviado grava a data escolhida ✅ Voltou a funcionar: pelo id do registro, o cadastro de outro cliente não abre
Três coisas ficam de fora de propósito: ranking absoluto de performance, número de testes como métrica de sucesso e ruído do ambiente de execução misturado com achado de produto. São elas que fazem um time parar de abrir o relatório depois do segundo mês.
03 / O método
Suíte verde na primeira rodada costuma significar asserção frouxa. Cinco regras mantêm o resultado honesto nos dois sentidos.
O valor esperado vem do arquivo de origem, do contrato cadastrado ou da regra que a própria tela publica. Nunca da resposta do sistema que está sendo testado.
Toda recusa só conta se o mesmo pedido funciona para quem tem direito. Sem isso, um usuário que não acessa nada pareceria prova de segurança.
O perfil administrativo enxerga tudo e contorna sem perceber o que está quebrado para os outros. Três dos cinco defeitos só apareceram porque o teste entra com um usuário comum do cliente.
O ciclo financeiro roda com arquivos reais e apaga tudo no fim. O que não tem como desfazer fica restrito a um cadastro de teste, marcado.
O fluxo de antecipação vai até a confirmação e para. O teste falha se a tela tentar criar o pedido de verdade.
“Se a suíte passa de primeira, a primeira suspeita é o teste.”
04 / Os achados
Cinco defeitos. Nenhum quebrava tela ou exibia erro: todos só apareceram porque o valor esperado vinha de fora do sistema ou porque o teste entrou como usuário comum.
Um usuário comum, autenticado no próprio cadastro, chegava a registros de outro cliente da plataforma. O perfil administrativo enxerga tudo por definição e nunca acusaria o problema: só um usuário real do cliente revela esse tipo de falha.
A classe de defeito combina risco regulatório e perda de confiança de quem contrata o serviço.
A tela mostrava apenas o cadastro do próprio usuário. A camada por trás dela devolvia a lista completa, com dados de contato. Testar só pela interface não encontraria isso.
Onde o pagamento liberado foi de R$ 100,00, o card no topo da tela mostrava R$ 180,00, enquanto a tabela logo abaixo trazia o valor certo. A tela se contradizia sem exibir nenhum erro.
Somados, cerca de R$ 72 mil apareciam a mais do que o pago. O teste reproduz o caso com um arquivo sintético, sem nenhum dado de paciente, e passa a verde no dia em que a correção chegar.
O cliente abria a tela e via zero registros em todas as abas. O perfil administrativo via os mesmos registros normalmente. Por baixo, a montagem da lista falhava e a tela engolia o erro.
Quem nunca registrou nada recebe uma lista vazia legítima, e é por isso que esse tipo de falha convive meses com o produto sem ninguém notar.
O campo guarda a data de que depende a contagem de prazo da outra parte, e estava errado havia meses. Nenhuma tela quebrava, nenhum erro aparecia, e o número exibido na tela estava certo.
Um defeito assim só aparece quando o valor esperado vem de fora do sistema, neste caso do contrato cadastrado.
05 / Depois da primeira rodada
A suíte não é um projeto com fim. É um critério de liberação que roda todo dia e acompanha o produto.
Uma lista nomeada de fluxos críticos, acordada com quem conhece o negócio, não escolhida por quem escreve o teste.
Execução diária e a cada versão, com o relatório de diferenças como critério de liberação do deploy.
Manutenção da suíte incluída. Teste instável é problema de quem mantém, nunca do time do cliente.
Defeito encontrado vira teste no mesmo dia, mesmo antes da correção. Ele nasce reprovando e passa a verde quando o conserto chega, o que trava a volta do problema.
A cobertura cresce por consequência: quando a lista dos oito está estável, entram os fluxos de segunda prioridade.
Case publicado com autorização do cliente. Os defeitos de segurança estão corrigidos; os dois em aberto são de exibição de valor e de listagem, sem caminho de exploração. O nome do cliente, o ambiente e os volumes ficam de fora, e os detalhes técnicos ficam com o time responsável.
Próximo passo
Manda o link do produto e o fluxo que mais te preocupa. Eu respondo com o que dá para cobrir primeiro e como seria a primeira rodada.
Conversa direta comigo · Sem formulário · Sem compromisso