Saltar para o conteúdo
BigTree108

Serviços de implementação de LLMs privados e de fine-tuning

Serviços de LLMs privados e de fine-tuning: modelos de pesos abertos como Llama, Mistral, Qwen, Gemma e gpt-oss ajustados com os seus dados através de LoRA, destilados em modelos mais pequenos e mais baratos e servidos na sua própria cloud ou nos seus próprios servidores com vLLM ou SGLang, fine-tuning alojado através da OpenAI, do Microsoft Foundry, do Amazon Bedrock e do Google Cloud, e os dados de treino e a avaliação por trás disso, com engenheiros de LLM dedicados à sua equipa ou um projeto entregue de ponta a ponta.

Fine-tuning e trabalho com modelos que assumimos

  • Fine-tuning de modelos de pesos abertos

    Fine-tuning supervisionado com LoRA ou QLoRA no Hugging Face TRL, no Unsloth ou no Axolotl, e afinação por preferências com DPO, para um tom, um formato ou um domínio que o modelo de base não domina.

  • Destilação em modelos mais pequenos

    O comportamento de um modelo grande na sua tarefa ensinado a um pequeno que responde mais depressa e custa uma fração por pedido, medido contra o modelo grande no seu conjunto de avaliação.

  • Fine-tuning alojado

    Fine-tuning através da OpenAI, do Microsoft Foundry, do Amazon Bedrock ou do Google Cloud quando prefere um modelo gerido, com os dados de treino e a avaliação nas suas mãos.

  • Implementação de LLMs privados

    Modelos de pesos abertos servidos com vLLM ou SGLang em GPUs na sua conta Azure, AWS ou Google Cloud, ou no seu próprio hardware, atrás de uma API compatível com a que as suas aplicações já chamam.

  • Quantização e custo de inferência

    Modelos quantizados e agrupados em lotes para o seu hardware, com débito, latência e custo por mil pedidos medidos antes e depois.

  • Preparação dos dados de treino

    Exemplos recolhidos dos seus documentos, registos e especialistas, limpos, sem duplicados, sem dados pessoais e etiquetados, com exemplos sintéticos gerados e verificados onde os reais são escassos.

  • Avaliação

    Um conjunto de teste reservado e métricas específicas da tarefa acordados antes do treino, para que um modelo ajustado tenha de superar o modelo de base e a alternativa alojada antes de ser entregue.

  • Adaptação à língua e ao domínio

    Modelos adaptados a uma língua, como o ucraniano, ou ao vocabulário do direito, da medicina, das finanças ou do seu produto, onde os modelos generalistas ficam aquém.

  • Pipelines de retreino

    Dados, execuções de treino e versões de modelos acompanhados no MLflow ou no Weights & Biases, para que o fine-tuning seguinte seja uma execução do pipeline e não um projeto.

Contratar engenheiros de LLM

  • engenheiros de LLM dedicados

    Engenheiros de LLM que integram a sua equipa a tempo inteiro, trabalham nas suas ferramentas e no seu processo, e reportam ao seu responsável. A sua empresa entrevista-os; nós assumimos o contrato ucraniano, o processamento salarial, a faturação e as férias.

  • Projetos de Fine-tuning de LLMs

    Uma parcela definida de Fine-tuning de LLMs, com âmbito, plano fixo e um responsável identificado do nosso lado, que responde pelo resultado e reporta o progresso nos seus canais.

  • Fine-tuning de LLMs em regime contínuo

    Fine-tuning de LLMs como serviço contínuo: as mesmas pessoas todos os meses, um backlog que a sua empresa prioriza e horas que pode consultar no nosso portal e na fatura.

A página da equipa dedicada explica como os especialistas integram a sua equipa, e a página de outsourcing aborda a entrega de projetos, as tomadas a cargo e a forma como cobramos.

Quem trabalha em Fine-tuning de LLMs para a sua empresa

  • Engenheiros de LLM e de machine learning

    Fine-tuning, destilação e avaliação

  • Engenheiros de MLOps

    Infraestrutura de GPU e disponibilização de modelos

  • Engenheiros de dados

    Pipelines de dados de treino

  • Anotadores de dados

    Exemplos etiquetados e revistos

  • Engenheiros de Python e .NET

    As aplicações que chamam o modelo

Fazer fine-tuning quando os números o indicam

Muitas tarefas resolvem-se com um modelo alojado, um bom prompt e recuperação. O fine-tuning compensa o custo quando precisa de um formato ou de um tom consistentes, de um modelo mais pequeno e mais barato em grande volume, ou de um modelo que corra onde os seus dados têm de permanecer. Testamos primeiro as opções mais baratas no seu conjunto de avaliação e fazemos fine-tuning quando as pontuações mostram a diferença.

Os dados de treino, os adaptadores e os pesos dos modelos ficam nas suas contas, os dados pessoais são removidos antes do treino e cada versão do modelo pode ser rastreada até aos dados e às definições que a produziram.

Outros serviços de desenvolvimento de IA que prestamos

Visão geral de Desenvolvimento de IA

Perguntas sobre LLMs privados e fine-tuning

Devemos fazer fine-tuning ou usar RAG?

Resolvem problemas diferentes. A recuperação dá a um modelo factos que ele não tem e mantém-nos atualizados; o fine-tuning muda o comportamento do modelo: o seu formato, o seu tom ou a sua competência numa tarefa restrita. Muitos sistemas usam ambos, e testamos qual deles melhora a sua pontuação de avaliação antes de pagar pelo treino.

Podemos executar um LLM sem enviar dados a um fornecedor externo?

Sim. Modelos de pesos abertos como Llama, Mistral, Qwen, Gemma e gpt-oss correm na sua própria conta cloud ou nos seus próprios servidores, e os atuais igualam os modelos alojados em muitas tarefas empresariais. Dimensionamos o hardware a partir dos seus volumes e medimos a qualidade face à opção alojada.

De quantos dados precisa o fine-tuning?

Para um formato ou um tom, bastam muitas vezes algumas centenas a alguns milhares de bons exemplos com LoRA. Um novo domínio ou uma nova competência exige mais. Começamos com o que tem, medimos e acrescentamos dados onde a avaliação mostra lacunas.

Em quanto tempo podem começar engenheiros de LLM?

Quando o engenheiro de LLM adequado está disponível, o arranque depende apenas da sua entrevista, do NDA e da cedência de propriedade intelectual. Caso contrário, fazemos uma pesquisa, que normalmente produz perfis de candidatos em duas a três semanas, e ninguém começa antes de a sua empresa dar o seu acordo.

Como contratamos engenheiros de LLM através da BigTree108?

Diga-nos qual é o trabalho, a senioridade e o horário de que precisa. Propomos uma ou duas pessoas com os respetivos perfis, a sua empresa entrevista-as como entrevistaria uma contratação própria, e assina um único contrato com a BIG TREE 108 LLC e recebe uma fatura por mês.

A quem pertence o trabalho que produzem?

A sua empresa. Cada especialista tem um contrato assinado com a BigTree108 que atribui à empresa todo o trabalho produzido, e o nosso contrato com a sua empresa atribui-lho. O código, os designs e os documentos são entregues nos seus próprios repositórios e ferramentas, e não mantidos onde só nós os podemos alterar.

Precisa de um modelo próprio?

Indique-nos a tarefa, os dados que detém e onde o modelo tem de correr. Receberá resposta no prazo de um dia útil: um plano de avaliação, uma estimativa de hardware ou perfis de candidatos.

Enviar e-mail para hello@bigtree108.comComo respondemos