Engenharia de Dados

Engenharia de Dados

 Articles

Google Cloud Composer (integrado ao Apache Airflow) simplificado

Google Cloud Composer (integrado ao Apache Airflow) simplificado

O Google Cloud Platform oferece um serviço chamado Cloud Composer para agendar e monitorar pipelines que se estendem por ambientes híbridos e com várias nuvens. Esse serviço é baseado no projeto de código aberto Apache Airflow e operado usando python.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
9
 min read
Apache Spark Streaming com Python

Apache Spark Streaming com Python

Faremos uma demonstração simples, porém muito objetiva de como utilizar o ApacheSpark com o modulo de streaming, para capturar todos os arquivos CSVs disponibilizadosem uma pasta especifica da rede. Será utilizado o Pyspark, banco de dados PostgreSql paraarmazenamento dos dados, três arquivos csv com dados dummy e um jar de conexão ao postgres. Apache Spark, Pyspark, Streaming, PostgreSQL

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
9
 min read
A relative from localhost and Kubernetes

A relative from localhost and Kubernetes

Start in kubernetes maybe looks like a hard thing to do but you can take a simpler approach by making a parallel with your local development environment. We need to focus on the fact that kubernetes is a container orchestrator so in the basic approach we don’t go too far from this idea.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
12
 min read
Estratégia de programação - Chega de IFs!

Estratégia de programação - Chega de IFs!

Neste artigo estarei te apresentando um design pattern muito poderoso e muito fácil de se aplicar em um projeto, conhecido como Strategy.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
9
 min read
A Transição Real para a Indústria 4.0

A Transição Real para a Indústria 4.0

O Texto abaixo relata um breve histórico do surgimento do conceito de Indústria 4.0, sua evolução até os dias atuais e o panorama do Brasil neste contexto.Cabe alertar que o presente conteúdo foi escrito em 2021 e dado e que o avanço tecnológico está num estágio de crescimento exponencial.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
25
 min read
Como contar uma história com dados

Como contar uma história com dados

A narrativa de dados é algo recente no meio empresarial, porém cada vez mais necessária dentro das empresas de DataDriven

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
16
 min read
Descomplicando o Apache Spark

Descomplicando o Apache Spark

O que é e como utilizar o mecanismo de processamento de dados Spark

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
8
 min read
Gestão de APIs e Integrações tem ajudado empresa a automatizar os pagamentos de seus clientes

Gestão de APIs e Integrações tem ajudado empresa a automatizar os pagamentos de seus clientes

Com a ajuda de uma plataforma de Gestão de APIs e integrações, a Vindi tem automatizado pagamentos aos seus clientes. Confira.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
8
 min read
A evolução da experiência de consumo com um iPaaS

A evolução da experiência de consumo com um iPaaS

Como um iPaaS pode te ajudar a evoluir a experiência do consumo dos seus clientes? Aqui explicamos, do lado da empresa e do lado do consumidor!

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
4
 min read
Design Pattern Adapter: uma boa solução para lidar com códigos legados

Design Pattern Adapter: uma boa solução para lidar com códigos legados

As bibliotecas e frameworks vem e vão e para lidar com elas em uma aplicação, uma excelente opção é aplicando o design pattern Adapter.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
5
 min read
Conventional Commits Pattern

Conventional Commits Pattern

Dispor de uma linguagem coerente e padronizada ajuda a todos os envolvidos no projeto a entenderem as mudanças ocorridas e quais os contextos foram afetados.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
15
 min read