Перейти до вмісту
BigTree108

Послуги з розгортання приватних LLM і fine-tuning

Послуги з приватних LLM і fine-tuning: моделі з відкритими вагами, як-от Llama, Mistral, Qwen, Gemma і gpt-oss, донавчені на ваших даних за допомогою LoRA, дистильовані в менші й дешевші моделі та розгорнуті у вашій хмарі чи на ваших серверах через vLLM або SGLang, fine-tuning через OpenAI, Microsoft Foundry, Amazon Bedrock і Google Cloud, а також навчальні дані й оцінювання, що за цим стоять, з виділеними LLM-інженерами у вашій команді або проєктом під ключ.

Роботи з fine-tuning і моделями, які ми беремо на себе

  • Fine-tuning моделей з відкритими вагами

    Supervised fine-tuning із LoRA чи QLoRA в Hugging Face TRL, Unsloth або Axolotl та налаштування за вподобаннями (preference tuning) методом DPO: для тону, формату чи предметної галузі, в яких базова модель помиляється.

  • Дистиляція в менші моделі

    Поведінка великої моделі на вашому завданні, перенесена на малу, яка відповідає швидше й коштує за запит лише частку ціни, з порівнянням із великою моделлю на вашому наборі для оцінювання.

  • Fine-tuning у провайдера

    Fine-tuning через OpenAI, Microsoft Foundry, Amazon Bedrock чи Google Cloud, якщо ви віддаєте перевагу керованій моделі; навчальні дані та оцінювання залишаються у ваших руках.

  • Розгортання приватних LLM

    Моделі з відкритими вагами працюють через vLLM чи SGLang на GPU у вашому акаунті Azure, AWS або Google Cloud чи на вашому власному обладнанні й доступні через API, сумісний з тим, який ваші застосунки вже викликають.

  • Квантизація та вартість інференсу

    Моделі квантизуються й групуються в пакети під ваше обладнання, а пропускна здатність, затримка та вартість тисячі запитів вимірюються до і після.

  • Підготовка навчальних даних

    Приклади збираються з ваших документів, логів і від експертів, очищаються, дедуплікуються, позбавляються персональних даних і розмічаються, а де реальних прикладів мало, створюються й перевіряються синтетичні.

  • Оцінювання

    Відкладений тестовий набір і показники для конкретного завдання узгоджуються до навчання, тож донавчена модель має перевершити базову модель і хмарну альтернативу, перш ніж її випустять.

  • Адаптація до мови та предметної галузі

    Моделі, адаптовані до мови, наприклад української, або до лексики права, медицини, фінансів чи вашого продукту там, де універсальні моделі не справляються.

  • Пайплайни перенавчання

    Дані, запуски навчання та версії моделей відстежуються в MLflow чи Weights & Biases, тож наступне донавчання стає запуском пайплайна, а не окремим проєктом.

Наші LLM-інженери для вашої команди

  • Виділені LLM-інженери

    LLM-інженери, які приєднуються до вашої команди на повний робочий день, працюють у ваших інструментах і за вашим процесом і звітують вашому керівнику. Співбесіду проводите ви, а український договір, зарплата, рахунки й відпустки на нас.

  • Fine-tuning LLM як окремий проєкт

    Окремий проєкт (напрям: fine-tuning LLM) з визначеним обсягом, фіксованим планом і призначеним керівником з нашого боку, який відповідає за результат і звітує про хід роботи у ваших каналах.

  • Постійна співпраця: fine-tuning LLM

    Fine-tuning LLM як постійна послуга: ті самі люди щомісяця, беклог, пріоритети в якому визначаєте ви, і години, які видно в нашому порталі та в рахунку.

На сторінці виділеної команди пояснено, як фахівці приєднуються до вашої команди, а на сторінці аутсорсингу описано реалізацію проєктів, прийняття систем від інших команд і те, як ми беремо оплату.

Хто працює над вашим проєктом (напрям: fine-tuning LLM)

  • Інженери LLM і машинного навчання

    Fine-tuning, дистиляція та оцінювання

  • MLOps-інженери

    GPU-інфраструктура та розгортання моделей

  • Data-інженери

    Пайплайни навчальних даних

  • Розмітники даних

    Розмічені й перевірені приклади

  • Інженери Python і .NET

    Застосунки, що викликають модель

Донавчайте модель, коли цифри цього вимагають

Багато завдань розв'язуються моделлю від провайдера, добрим промптом і пошуком. Fine-tuning окупається, коли потрібні стабільний формат чи тон, менша й дешевша модель у великих обсягах або модель, що працює там, де мають залишатися ваші дані. Спершу ми перевіряємо дешевші варіанти на вашому наборі для оцінювання й донавчаємо модель, коли показники демонструють розрив.

Навчальні дані, адаптери та ваги моделей залишаються у ваших акаунтах, персональні дані видаляються до навчання, а кожну версію моделі можна простежити до даних і налаштувань, з яких вона отримана.

Інші послуги з розробки AI-рішень, які ми надаємо

Розробка AI-рішень: огляд

Запитання про приватні LLM і fine-tuning

Що обрати: fine-tuning чи RAG?

Вони розв'язують різні задачі. Пошук дає моделі факти, яких у неї немає, і підтримує їх актуальність, а fine-tuning змінює поведінку моделі: її формат, тон чи вміння виконувати вузьке завдання. Багато систем використовують обидва підходи, а ми перевіряємо, що саме покращує ваш показник оцінювання, перш ніж ви заплатите за навчання.

Чи можна запустити LLM, не передаючи дані стороннім провайдерам?

Так. Моделі з відкритими вагами, як-от Llama, Mistral, Qwen, Gemma і gpt-oss, працюють у вашому власному хмарному акаунті чи на ваших серверах, а сучасні не поступаються моделям від провайдерів у багатьох бізнес-завданнях. Ми підбираємо обладнання за вашими обсягами та порівнюємо якість із варіантом від провайдера.

Скільки даних потрібно для fine-tuning?

Для формату чи тону з LoRA часто достатньо від кількох сотень до кількох тисяч якісних прикладів. Нова предметна галузь або навичка потребують більше. Ми починаємо з того, що у вас є, вимірюємо й додаємо дані там, де оцінювання виявляє прогалини.

Як швидко можуть стати до роботи LLM-інженери?

Якщо відповідний LLM-інженер вільний, старт залежить лише від вашої співбесіди, NDA і передачі прав на інтелектуальну власність. Інакше ми проводимо пошук, який зазвичай дає профілі кандидатів за два-три тижні, і ніхто не починає роботу, доки ви не скажете «так».

Як найняти фахівців через BigTree108, якщо вам потрібні LLM-інженери?

Розкажіть про роботу, рівень і години, які вам потрібні. Ми пропонуємо одну-двох людей з їхніми профілями, ви проводите з ними співбесіду так, як зі своїм власним кандидатом, підписуєте один договір із ТОВ «БІГ ТРІ 108» і отримуєте один рахунок на місяць.

Кому належать результати їхньої роботи?

Вам. Кожен фахівець має підписаний із BigTree108 договір, за яким усі результати роботи передаються компанії, а наш договір із вами передає їх далі. Код, дизайн-макети та документи постачаються у ваші власні репозиторії та інструменти, а не зберігаються там, де змінити їх можемо лише ми.

Потрібна власна модель?

Розкажіть про завдання, дані, які у вас є, і про те, де має працювати модель. Ви отримаєте відповідь протягом одного робочого дня: план оцінювання, оцінку обладнання або профілі кандидатів.

Напишіть на hello@bigtree108.com Як ми відповідаємо