Curso de Big Data – Tutorial de Spark

{lang: ‘pt-BR’}Nestas aulas apresento o Spark em mais detalhes. Você aprenderá como o Spark funciona, vai instalar em seu ambiente local e ainda começar a fazer operações usando um conjunto de dados real. O que é e como funciona o Spark Como instalar o Spark…

Curso de Big Data – Aula 1 – O que é Big Data?

{lang: ‘pt-BR’}Esta é uma iniciativa de criar um curso de Big Data gratuito e em português. Na primeira aula eu abordo o que é Big Data, as motiviações e conceitos fundamentais. Na próxima aula eu falarei sobre as principais tecnologias, como Hadoop, Spark, HBase, MapReduce…

Testes de Spark Streaming com JUnit

{lang: ‘pt-BR’}Dando continuidade ao artigo sobre testes no Spark, apresento agora como fazer testes em jobs streaming. O maior desafio ao criar estes testes é fazer com que eles não dependam do tempo real para executar, pois alguns jobs podem aguardar muitos minutos para gerar…

Testes de jobs Spark com JUnit

{lang: ‘pt-BR’}A boa prática de desenvolvimento de software diz que devemos criar sempre testes para nossos códigos, e no universo de Big Data não deveria ser diferente. Neste artigo apresento como testar um código Spark com JUnit para jobs que rodam em batch (não-streaming). Os…

Criando um joguinho com Arduino usando orientação a objetos

{lang: ‘pt-BR’}Recentemente resolvi fazer um joguinho simples com Arduino e surgiu a necessidade de separar melhor o código do jogo do código que fazia a interface com o usuário, que neste caso eram apenas alguns leds e botões. Ainda que simples, separar em módulos distintos…

O problema do mock de funções em Python

A boa prática dos testes unitários diz que devemos isolar um método de qualquer dependência externa, a fim de testarmos um módulo de cada vez. Entenda como criar mocks de funções no Python, redefinindo as referências da maneira correta.