Serviços de desenvolvimento e consultoria em Databricks
Desenvolvimento e consultoria em Databricks: implementação de lakehouse em Delta Lake e Unity Catalog, pipelines Lakeflow e jobs Spark, migrações a partir de Hadoop, armazéns de dados legados e do Hive metastore, Databricks SQL e dashboards AI/BI, machine learning e agentes de IA no Databricks, CI/CD e otimização de custos, com engenheiros de Databricks dedicados à sua equipa ou um projeto Databricks entregue de ponta a ponta.
O que construímos com Databricks
Implementação de lakehouse no Databricks
Workspaces no Azure Databricks, na AWS ou no Google Cloud configurados em Terraform com Unity Catalog, camadas brutas, limpas e prontas para o negócio em tabelas Delta Lake ou Apache Iceberg, e desenvolvimento, staging e produção separados por catálogo e workspace.
Pipelines Lakeflow e jobs Spark
Pipelines em lote e em streaming nos Lakeflow pipelines, construídos sobre Spark Declarative Pipelines (anteriormente Delta Live Tables), com expectativas de qualidade de dados, ingestão através do Lakeflow Connect e do Auto Loader e jobs PySpark agendados nos Lakeflow Jobs.
Unity Catalog e controlo de acessos
Catálogos, esquemas e permissões geridos como código, filtros de linhas, máscaras de colunas e políticas baseadas em atributos para dados pessoais, linhagem e registos de auditoria lidos das system tables, e Delta Sharing para dar a parceiros acesso governado sem copiar dados.
Migrações para o Databricks
Clusters Hadoop e Hive, armazéns de dados SQL Server, Oracle e Teradata e cargas de trabalho do Azure Synapse migrados por fases, tabelas do Hive metastore atualizadas para o Unity Catalog e cada tabela reconciliada por contagens de linhas e totais antes de o sistema antigo ser desligado.
Databricks SQL e AI/BI
SQL warehouses que servem o Power BI e o Tableau, dashboards AI/BI, metric views que definem cada KPI uma só vez e o Genie, onde utilizadores de negócio fazem perguntas em linguagem natural sobre dados e definições que a equipa de dados curou.
Machine learning no Databricks
Feature engineering, treino acompanhado no MLflow 3, modelos registados no Unity Catalog e servidos a partir de endpoints do Model Serving, para modelos de previsão, de scoring e de recomendação treinados junto dos dados que utilizam.
Agentes de IA e recuperação no Databricks
Agentes construídos com o Agent Bricks ou em código, recuperação sobre os seus documentos com o Databricks AI Search (anteriormente Vector Search), tracing e avaliação no MLflow, e aplicações no Databricks Apps com o Lakebase, a base de dados Postgres gerida, a guardar os seus dados transacionais.
Controlo de custos no Databricks
Despesa decomposta por job, warehouse e equipa a partir das system tables de faturação e depois reduzida com computação serverless ou dimensionada à medida, cluster policies, terminação automática, Photon onde compensa e liquid clustering automático em tabelas grandes.
CI/CD com Declarative Automation Bundles
Jobs, pipelines e dashboards implementados a partir do Git através dos Declarative Automation Bundles (anteriormente Databricks Asset Bundles) com GitHub Actions ou Azure DevOps, código PySpark coberto por testes unitários e service principals com credenciais federadas em vez de personal access tokens.
Contratar engenheiros de Databricks
engenheiros de Databricks dedicados
Engenheiros de Databricks que integram a sua equipa a tempo inteiro, trabalham nos seus repositórios, no seu tracker e nas suas reuniões, e reportam ao seu responsável. A sua empresa entrevista-os; nós assumimos o contrato ucraniano, o processamento salarial, a faturação e as férias.
Entrega de projetos Databricks
Uma equipa que conduz o projeto Databricks do âmbito à release: estimativa, desenvolvimento, testes e implementação, com um líder técnico do nosso lado que é responsável pelo plano e pela qualidade.
Suporte e tomada a cargo de sistemas Databricks
Um sistema Databricks existente assumido de outra equipa ou mantido em funcionamento: primeiro uma revisão só de leitura e uma lista escrita de riscos, depois correções e novas funcionalidades por ordem de impacto.
A página da equipa dedicada explica como os especialistas integram a sua equipa, e a página de outsourcing aborda a entrega de projetos, as tomadas a cargo e a forma como cobramos.
Quem trabalha no seu projeto Databricks
engenheiros de Databricks
Lakeflow, Spark, Unity Catalog e configuração da plataforma
Engenheiros de dados
Ingestão, pipelines e qualidade de dados
Engenheiros de analytics e programadores de BI
Databricks SQL, dbt, metric views e painéis
Engenheiros de machine learning
MLflow, Model Serving e agentes
Engenheiros de cloud e DevOps
Terraform, redes e CI/CD
Um lakehouse gerido como software
Workspaces, catálogos, permissões, jobs e pipelines são todos definidos em código: Terraform para a plataforma, bundles para jobs e pipelines e pull requests com testes para cada alteração, pelo que a produção nunca é editada à mão num notebook e qualquer ambiente pode ser reconstruído.
O custo e o acesso são desenhados desde a primeira semana: computação etiquetada por equipa com orçamentos e alertas, cluster policies que limitam o que pode ser iniciado, dados pessoais mascarados através do Unity Catalog e workspaces acedidos por rede privada onde a sua política de segurança o exige.
Outros serviços de dados e IA que prestamos
IA e machine learning
Serviços de desenvolvimento de IA e machine learning: previsão, deteção de fraude, sistemas de recomendação, visão computacional, NLP e reconhecimento de voz, e MLOps, com engenheiros de machine learning dedicados ou entrega de projetos.
Engenharia de dados
Serviços de engenharia de dados: pipelines ETL, Spark, dbt e streaming, data warehouses e lakehouses em Snowflake, Databricks, BigQuery, Redshift e Microsoft Fabric, com engenheiros de dados dedicados ou entrega de projetos.
Análise de dados e Power BI
Serviços de análise de dados e Power BI: dashboards em Power BI, Tableau e Looker, análise de produto, testes A/B, relatórios financeiros e de marketing, com analistas de dados e programadores de BI dedicados ou entrega de projetos.
Desenvolvimento de bases de dados
Serviços de desenvolvimento e administração de bases de dados: desenho de esquemas, afinação de queries, migrações e cópias de segurança em SQL Server, PostgreSQL, MySQL, Oracle e MongoDB, com programadores de bases de dados e DBA dedicados ou entrega de projetos.
Desenvolvimento de visão computacional
Serviços de desenvolvimento de visão computacional: deteção de objetos, inspeção visual, OCR, análise de vídeo, imagiologia médica e modelos em dispositivos edge, com engenheiros de visão computacional dedicados ou entrega de projetos.
Anotação de dados
Serviços de anotação e etiquetagem de dados para IA: etiquetagem de imagem, vídeo, texto, áudio e LiDAR, RLHF e dados de avaliação, com controlo de qualidade em cada lote, por anotadores de dados dedicados ou entrega de projetos.
MLOps
Serviços e consultoria de MLOps: plataformas de ML, CI/CD para modelos, registos de modelos, serving e escalonamento automático, infraestrutura GPU, monitorização de drift e LLMOps, com engenheiros de MLOps dedicados ou entrega de projetos.
Desenvolvimento Snowflake
Desenvolvimento e consultoria Snowflake: desenho de data warehouses, ingestão com Snowpipe e Openflow, dbt, migrações, Cortex AI, segurança e controlo de custos, com programadores Snowflake dedicados ou entrega de projetos.
Kafka e streaming de eventos
Desenvolvimento e consultoria Apache Kafka: arquitetura orientada a eventos, Kafka Connect e Debezium, Flink e Kafka Streams, Confluent Cloud, MSK e Event Hubs, com engenheiros Kafka dedicados ou entrega de projetos.
Automatização de fluxos de trabalho
Serviços de automatização de fluxos de trabalho e com IA: fluxos em n8n, Make, Zapier e Power Automate, agentes de IA nos fluxos, automatizações de CRM, finanças e documentos, com programadores de automatização dedicados ou entrega de projetos.
Perguntas sobre o desenvolvimento em Databricks
Em que setores trabalham os engenheiros de Databricks?
Fintech, banca e seguros, para dados de risco, de fraude e regulamentares; comércio eletrónico e retalho, para dados de clientes, encomendas e procura; produtos de IA e de dados construídos sobre o lakehouse; saúde e ciências da vida, para dados clínicos e de investigação sob regras de acesso rigorosas; tecnologia de publicidade e marketing, para dados de eventos de grande volume; indústria e energia, para dados de sensores e de telemetria; e SaaS empresarial, para analítica de produto.
Trabalham com o Azure Databricks e com o Databricks na AWS e no Google Cloud?
Sim, nas três. O Unity Catalog, o Lakeflow e os SQL warehouses funcionam da mesma forma em cada uma; o que muda é a rede, a configuração de identidade e o armazenamento por baixo, e isso é escrito em Terraform para a cloud que utiliza.
Podem migrar-nos do Hive metastore para o Unity Catalog?
Sim. Primeiro vem um inventário de tabelas, jobs e permissões, depois as tabelas são atualizadas em grupos, os jobs são apontados para os novos nomes e testados, e o metastore antigo fica só de leitura até todos os consumidores terem passado.
Em quanto tempo podem começar engenheiros de Databricks?
Quando o engenheiro de Databricks adequado está disponível, o arranque depende apenas da sua entrevista, do NDA e da cedência de propriedade intelectual. Caso contrário, fazemos uma pesquisa, que normalmente produz perfis de candidatos em duas a três semanas, e ninguém começa antes de a sua empresa dar o seu acordo.
Como contratamos engenheiros de Databricks através da BigTree108?
Diga-nos qual é o trabalho, a senioridade e o horário de que precisa. Propomos uma ou duas pessoas com os respetivos perfis, a sua empresa entrevista-as como entrevistaria uma contratação própria, e assina um único contrato com a BIG TREE 108 LLC e recebe uma fatura por mês.
A quem pertence o trabalho que produzem?
A sua empresa. Cada especialista tem um contrato assinado com a BigTree108 que atribui à empresa todo o trabalho produzido, e o nosso contrato com a sua empresa atribui-lho. O código, os designs e os documentos são entregues nos seus próprios repositórios e ferramentas, e não mantidos onde só nós os podemos alterar.
A planear ou a corrigir uma plataforma Databricks?
Indique-nos a sua cloud, as suas cargas de trabalho e o que a plataforma tem de entregar. Receberá resposta no prazo de um dia útil: um plano, uma revisão de custos e de governação ou perfis de candidatos.