Saltar para o conteúdo
BigTree108

Serviços e consultoria de MLOps

Serviços e consultoria de MLOps: plataformas de machine learning, CI/CD para modelos, acompanhamento de experiências e registos de modelos, disponibilização de modelos e autoscaling, infraestrutura de GPU, monitorização de desvios, LLMOps para aplicações com modelos de linguagem e governação de modelos, com engenheiros de MLOps dedicados à sua equipa ou uma plataforma de MLOps entregue de ponta a ponta.

Trabalho de MLOps que assumimos

  • Configuração de plataformas de machine learning

    Azure Machine Learning, SageMaker AI, Gemini Enterprise Agent Platform ou Databricks, ou Kubeflow e MLflow no seu próprio cluster Kubernetes, definidos em Terraform com ambientes de desenvolvimento, staging e produção separados e acesso através do seu fornecedor de identidade.

  • Acompanhamento de experiências e registo de modelos

    Execuções, parâmetros, métricas e artefactos registados no MLflow 3 ou no Weights & Biases, e cada modelo registado com o código, os dados e os parâmetros que o produziram, e depois promovido para produção através de uma aprovação registada e não de um ficheiro copiado à mão.

  • CI/CD para machine learning

    Código de treino verificado com linter e testado em cada pull request, verificações de dados e de modelos executadas no GitHub Actions, no Azure DevOps ou no GitLab CI, e um novo modelo lançado apenas quando supera o atual no conjunto de avaliação acordado.

  • Endpoints de inferência e autoscaling

    Inferência em tempo real e em lote no KServe, no Ray Serve, no BentoML, em endpoints do SageMaker AI ou em online endpoints do Azure Machine Learning, escalada para zero quando um modelo está inativo, lançada através de deployments canary e shadow, com a latência e o custo por mil previsões medidos.

  • Monitorização de modelos e alertas de desvio

    Desvio das entradas, desvio das previsões e exatidão em tempo real face à verdade-terreno tardia acompanhados no Evidently, no Arize ou na sua stack Grafana, alertas encaminhados para a equipa responsável pelo modelo e retreino acionado por um limiar acordado em vez de um calendário.

  • Infraestrutura de GPU e custos

    Pools de nós de GPU no AKS, EKS ou GKE com o NVIDIA GPU Operator, jobs de treino enfileirados no Kueue ou no Ray, capacidade spot para execuções que retomam a partir de checkpoints, e custos de inferência reduzidos com quantização, processamento em lote e instâncias dimensionadas à medida.

  • Configuração de feature stores

    Feast, tabelas de features do Databricks ou a feature store do SageMaker AI, para que o treino e as previsões em tempo real leiam features calculadas pelo mesmo código, com junções point-in-time para os conjuntos de treino e pesquisas de baixa latência para disponibilização.

  • LLMOps

    Prompts e definições de recuperação versionados como código, cada versão condicionada por uma execução de avaliação, traces no MLflow ou no Langfuse, um gateway como o LiteLLM para encaminhamento, limites de pedidos e custo por equipa, e modelos de pesos abertos servidos com vLLM no KServe.

  • Governação de modelos e rasto de auditoria

    Model cards, linhagem dos dados de origem até ao deploy, registos de aprovação e registos de acesso mantidos no registo de modelos, na forma que as obrigações de documentação da ISO/IEC 42001 e do Regulamento da UE sobre IA exigem, com os dados pessoais nos conjuntos de treino acompanhados para poderem ser removidos a pedido.

Contratar Engenheiros de MLOps

  • Engenheiros de MLOps dedicados

    Engenheiros de MLOps que integram a sua equipa a tempo inteiro, trabalham nas suas ferramentas e no seu processo, e reportam ao seu responsável. A sua empresa entrevista-os; nós assumimos o contrato ucraniano, o processamento salarial, a faturação e as férias.

  • Projetos de MLOps

    Uma parcela definida de MLOps, com âmbito, plano fixo e um responsável identificado do nosso lado, que responde pelo resultado e reporta o progresso nos seus canais.

  • MLOps em regime contínuo

    MLOps como serviço contínuo: as mesmas pessoas todos os meses, um backlog que a sua empresa prioriza e horas que pode consultar no nosso portal e na fatura.

A página da equipa dedicada explica como os especialistas integram a sua equipa, e a página de outsourcing aborda a entrega de projetos, as tomadas a cargo e a forma como cobramos.

Quem trabalha em MLOps para a sua empresa

  • Engenheiros de MLOps

    Pipelines, registos, disponibilização e monitorização

  • Engenheiros de machine learning

    Os modelos e as avaliações que os pipelines executam

  • Engenheiros de cloud e DevOps

    Kubernetes, GPU, redes e Terraform

  • Engenheiros de dados

    Pipelines de features e dados de treino

  • Engenheiros de Python

    APIs e serviços à volta dos modelos

Modelos que chegam à produção e lá ficam

A maior parte do trabalho de MLOps é engenharia à volta do modelo: treino que pode ser repetido a partir das versões do código e dos dados, um registo com linhagem, versões condicionadas pela avaliação e monitorização que avisa o responsável quando a exatidão escorrega. Uma configuração existente é primeiro revista só em leitura, e recebe uma lista escrita de lacunas por ordem de risco antes de alterar o que quer que seja.

A plataforma é código como outro qualquer: infraestrutura em Terraform, pipelines no Git, CI que inicia sessão na cloud com credenciais federadas e não chaves guardadas, segredos num cofre e dependências mantidas em versões atuais, para que o caminho de um modelo até à produção seja sempre o mesmo e possa ser auditado depois.

Outros serviços de dados e IA que prestamos

Visão geral de Dados e IA

Perguntas sobre MLOps

Em que setores trabalham os engenheiros de MLOps?

Produtos de IA e de dados, onde muitos modelos são treinados e lançados todas as semanas; fintech, para modelos de fraude e de crédito que têm de resistir a uma auditoria; comércio eletrónico e retalho, para modelos de recomendação, pesquisa e previsão; saúde, para modelos que precisam de dados de treino rastreáveis; tecnologia de publicidade e marketing, para modelos de licitação e de audiências retreinados diariamente; e SaaS empresarial, para funcionalidades de machine learning entregues dentro do produto.

Precisamos do Kubeflow ou basta uma plataforma gerida?

Uma plataforma gerida como o Azure Machine Learning, o SageMaker AI, a Gemini Enterprise Agent Platform ou o Databricks serve a maioria das equipas com um punhado de modelos e sem vontade de operar clusters. O Kubeflow, o KServe e o MLflow em Kubernetes compensam quando executa muitos modelos, precisa da mesma plataforma em várias clouds ou quer controlo direto sobre o custo das GPU.

Podem levar os modelos dos notebooks dos nossos data scientists para produção?

Sim. O código do notebook passa a ser um pipeline de treino testado, o modelo é registado com os seus dados e parâmetros, disponibilizado atrás de um endpoint ou como job em lote e monitorizado, enquanto os seus data scientists continuam a trabalhar como hoje.

Em quanto tempo podem começar Engenheiros de MLOps?

Quando o engenheiro de MLOps adequado está disponível, o arranque depende apenas da sua entrevista, do NDA e da cedência de propriedade intelectual. Caso contrário, fazemos uma pesquisa, que normalmente produz perfis de candidatos em duas a três semanas, e ninguém começa antes de a sua empresa dar o seu acordo.

Como contratamos Engenheiros de MLOps através da BigTree108?

Diga-nos qual é o trabalho, a senioridade e o horário de que precisa. Propomos uma ou duas pessoas com os respetivos perfis, a sua empresa entrevista-as como entrevistaria uma contratação própria, e assina um único contrato com a BIG TREE 108 LLC e recebe uma fatura por mês.

A quem pertence o trabalho que produzem?

A sua empresa. Cada especialista tem um contrato assinado com a BigTree108 que atribui à empresa todo o trabalho produzido, e o nosso contrato com a sua empresa atribui-lho. O código, os designs e os documentos são entregues nos seus próprios repositórios e ferramentas, e não mantidos onde só nós os podemos alterar.

Precisa que os seus modelos cheguem à produção com fiabilidade?

Indique-nos quantos modelos executa, onde são treinados e como chegam hoje à produção. Receberá resposta no prazo de um dia útil: um plano de revisão, perfis de candidatos ou uma primeira lista de lacunas a fechar.

Enviar e-mail para hello@bigtree108.comComo respondemos