Serviços de engenharia de dados
Serviços de engenharia de dados: pipelines ETL e ELT, armazéns de dados e lakehouses no Snowflake, Databricks, BigQuery, Amazon Redshift e Microsoft Fabric, processamento com Spark, modelação com dbt, streaming com Kafka e plataformas de dados para analítica e IA, com engenheiros de dados dedicados à sua equipa ou uma plataforma de dados entregue de ponta a ponta.
Engenharia de dados que assumimos
Pipelines de ingestão e ETL
Cargas de bases de dados, APIs SaaS, ficheiros e rastreadores de eventos com Airbyte, Fivetran, dlt ou Python à medida, agendadas no Airflow 3, no Dagster, no Azure Data Factory ou no AWS Glue, incrementais sempre que possível e seguras para repetir, além de ETL inverso de volta para o seu CRM e produto.
Armazéns de dados e lakehouses
Snowflake, Databricks, BigQuery, Amazon Redshift e Microsoft Fabric, ou um lake no S3 ou no Azure Data Lake Storage com tabelas Apache Iceberg ou Delta Lake, organizados em camadas brutas, limpas e prontas para o negócio.
Spark e processamento em grande escala
Jobs em lote em PySpark e Spark SQL no Databricks, no Amazon EMR ou no Fabric, particionados e afinados para que uma execução noturna termine na sua janela, e DuckDB ou Polars onde os dados cabem numa só máquina.
Modelação de dados em dbt
Esquemas em estrela e modelos Data Vault como SQL no Git, com testes a chaves, relações e valores aceites, documentação e linhagem geradas a partir do código e cada alteração executada em CI antes de ser integrada.
Streaming e change data capture
Alterações ao nível da linha capturadas de bases de dados operacionais com Debezium, e eventos transportados por Kafka, Amazon Kinesis ou Azure Event Hubs e processados em Flink ou Spark Structured Streaming, para dados que têm de ter segundos ou minutos em vez de um dia.
Qualidade e governação de dados
Verificações de atualidade, volume e esquema com testes dbt, Soda ou Great Expectations e alertas em caso de falha, um catálogo com linhagem no Unity Catalog, no DataHub ou no OpenMetadata, acesso concedido por perfil e dados pessoais mascarados fora da produção.
Saídas de plataformas legadas
Pacotes SSIS, armazéns de dados SQL Server e Oracle on-premises, clusters Teradata e Hadoop migrados para uma plataforma cloud por fases, com contagens de linhas e totais reconciliados entre o antigo e o novo antes de desligar o que quer que seja.
Dados para machine learning e IA
Pipelines de features e feature stores como o Feast ou a integrada no Databricks, conjuntos de treino corretos no tempo (point-in-time) e os pipelines de chunking e de embeddings que mantêm um índice vetorial para recuperação em sintonia com os documentos de origem.
Custo e desempenho da plataforma
Despesa de armazéns de dados e de clusters decomposta por pipeline e por equipa e depois reduzida com modelos incrementais, particionamento e clustering, computação dimensionada à medida e auto-suspend, com tempos de consulta medidos antes e depois.
Contratar engenheiros de dados
engenheiros de dados dedicados
Engenheiros de dados que integram a sua equipa a tempo inteiro, trabalham nas suas ferramentas e no seu processo, e reportam ao seu responsável. A sua empresa entrevista-os; nós assumimos o contrato ucraniano, o processamento salarial, a faturação e as férias.
Projetos de Engenharia de dados
Uma parcela definida de engenharia de dados, com âmbito, plano fixo e um responsável identificado do nosso lado, que responde pelo resultado e reporta o progresso nos seus canais.
engenharia de dados em regime contínuo
Engenharia de dados como serviço contínuo: as mesmas pessoas todos os meses, um backlog que a sua empresa prioriza e horas que pode consultar no nosso portal e na fatura.
A página da equipa dedicada explica como os especialistas integram a sua equipa, e a página de outsourcing aborda a entrega de projetos, as tomadas a cargo e a forma como cobramos.
Quem trabalha em engenharia de dados para a sua empresa
Engenheiros de dados
Pipelines, Spark, dbt e streaming
Engenheiros de analytics
Modelos dbt e definições de métricas
Engenheiros de Python
Conectores personalizados e ingestão de APIs
Engenheiros de cloud e DevOps
Terraform e CI para a plataforma de dados
Programadores de BI
Os relatórios no fim do pipeline
Escolher uma plataforma de dados
Microsoft Fabric quando a empresa já trabalha no Microsoft 365 e no Power BI. Databricks quando o processamento à escala do Spark ou o machine learning correm sobre os mesmos dados. Snowflake quando o trabalho é sobretudo SQL e a equipa quer pouco para operar. BigQuery ou Redshift quando o resto do parque está no Google Cloud ou na AWS. PostgreSQL ou Azure SQL com dbt por cima quando há um punhado de fontes e volumes modestos.
Seja qual for, a plataforma é definida em Terraform, os pipelines e os modelos vivem no Git e são implementados via CI com os seus testes, o desenvolvimento e a produção são separados e os segredos vêm de um cofre e não de um notebook.
Outros serviços de dados e IA que prestamos
IA e machine learning
Serviços de desenvolvimento de IA e machine learning: previsão, deteção de fraude, sistemas de recomendação, visão computacional, NLP e reconhecimento de voz, e MLOps, com engenheiros de machine learning dedicados ou entrega de projetos.
Análise de dados e Power BI
Serviços de análise de dados e Power BI: dashboards em Power BI, Tableau e Looker, análise de produto, testes A/B, relatórios financeiros e de marketing, com analistas de dados e programadores de BI dedicados ou entrega de projetos.
Desenvolvimento de bases de dados
Serviços de desenvolvimento e administração de bases de dados: desenho de esquemas, afinação de queries, migrações e cópias de segurança em SQL Server, PostgreSQL, MySQL, Oracle e MongoDB, com programadores de bases de dados e DBA dedicados ou entrega de projetos.
Desenvolvimento de visão computacional
Serviços de desenvolvimento de visão computacional: deteção de objetos, inspeção visual, OCR, análise de vídeo, imagiologia médica e modelos em dispositivos edge, com engenheiros de visão computacional dedicados ou entrega de projetos.
Anotação de dados
Serviços de anotação e etiquetagem de dados para IA: etiquetagem de imagem, vídeo, texto, áudio e LiDAR, RLHF e dados de avaliação, com controlo de qualidade em cada lote, por anotadores de dados dedicados ou entrega de projetos.
MLOps
Serviços e consultoria de MLOps: plataformas de ML, CI/CD para modelos, registos de modelos, serving e escalonamento automático, infraestrutura GPU, monitorização de drift e LLMOps, com engenheiros de MLOps dedicados ou entrega de projetos.
Desenvolvimento Databricks
Desenvolvimento e consultoria Databricks: configuração de lakehouse, pipelines Lakeflow, Unity Catalog, migrações, AI/BI, machine learning e controlo de custos, com engenheiros Databricks dedicados ou entrega de projetos.
Desenvolvimento Snowflake
Desenvolvimento e consultoria Snowflake: desenho de data warehouses, ingestão com Snowpipe e Openflow, dbt, migrações, Cortex AI, segurança e controlo de custos, com programadores Snowflake dedicados ou entrega de projetos.
Kafka e streaming de eventos
Desenvolvimento e consultoria Apache Kafka: arquitetura orientada a eventos, Kafka Connect e Debezium, Flink e Kafka Streams, Confluent Cloud, MSK e Event Hubs, com engenheiros Kafka dedicados ou entrega de projetos.
Automatização de fluxos de trabalho
Serviços de automatização de fluxos de trabalho e com IA: fluxos em n8n, Make, Zapier e Power Automate, agentes de IA nos fluxos, automatizações de CRM, finanças e documentos, com programadores de automatização dedicados ou entrega de projetos.
Perguntas sobre engenharia de dados
Em que setores trabalham os engenheiros de dados?
Produtos de IA e de dados, onde os pipelines alimentam modelos e análises voltadas para os clientes; fintech, para dados de transações, de risco e de reporte regulamentar; comércio eletrónico e retalho, para encomendas, inventário e clickstream; saúde, para dados clínicos e de sinistros sob regras de acesso rigorosas; tecnologia de publicidade e marketing, para fluxos de eventos de grande volume e atribuição; e SaaS empresarial, para dados de utilização do produto e relatórios dentro do produto.
Com que ferramentas e plataformas trabalham?
Snowflake, Databricks, BigQuery, Amazon Redshift, Microsoft Fabric e ClickHouse para armazenamento e computação; Spark, dbt, DuckDB e Polars para processamento; Airflow, Dagster, Prefect, Data Factory e AWS Glue para orquestração; Kafka, Kinesis, Event Hubs, Flink e Debezium para streaming; e Python e SQL em todo o lado.
Podem assumir pipelines construídos por outra equipa?
Sim. Uma assunção começa com uma revisão só de leitura dos pipelines, dos agendamentos e das falhas que passam despercebidas, e uma lista escrita de riscos por ordem de impacto, antes de alterar o que quer que seja.
Em quanto tempo podem começar engenheiros de dados?
Quando o engenheiro de dados adequado está disponível, o arranque depende apenas da sua entrevista, do NDA e da cedência de propriedade intelectual. Caso contrário, fazemos uma pesquisa, que normalmente produz perfis de candidatos em duas a três semanas, e ninguém começa antes de a sua empresa dar o seu acordo.
Como contratamos engenheiros de dados através da BigTree108?
Diga-nos qual é o trabalho, a senioridade e o horário de que precisa. Propomos uma ou duas pessoas com os respetivos perfis, a sua empresa entrevista-as como entrevistaria uma contratação própria, e assina um único contrato com a BIG TREE 108 LLC e recebe uma fatura por mês.
A quem pertence o trabalho que produzem?
A sua empresa. Cada especialista tem um contrato assinado com a BigTree108 que atribui à empresa todo o trabalho produzido, e o nosso contrato com a sua empresa atribui-lho. O código, os designs e os documentos são entregues nos seus próprios repositórios e ferramentas, e não mantidos onde só nós os podemos alterar.
Precisa dos seus dados num só lugar?
Indique-nos as suas fontes, os seus volumes e o que os dados têm de alimentar. Receberá resposta no prazo de um dia útil: um plano, uma recomendação de plataforma ou perfis de candidatos.