Testes de Spark Streaming com JUnit

{lang: ‘pt-BR’}Dando continuidade ao artigo sobre testes no Spark, apresento agora como fazer testes em jobs streaming. O maior desafio ao criar estes testes é fazer com que eles não dependam do tempo real para executar, pois alguns jobs podem aguardar muitos minutos para gerar…

Testes de jobs Spark com JUnit

{lang: ‘pt-BR’}A boa prática de desenvolvimento de software diz que devemos criar sempre testes para nossos códigos, e no universo de Big Data não deveria ser diferente. Neste artigo apresento como testar um código Spark com JUnit para jobs que rodam em batch (não-streaming). Os…

O problema do mock de funções em Python

A boa prática dos testes unitários diz que devemos isolar um método de qualquer dependência externa, a fim de testarmos um módulo de cada vez. Entenda como criar mocks de funções no Python, redefinindo as referências da maneira correta.