本文へスキップ
BigTree108

プライベートLLM導入・ファインチューニングサービス

プライベートLLM・ファインチューニングサービス：Llama、Mistral、Qwen、Gemma、gpt-ossなどのオープンウェイトモデルを、LoRAで御社のデータにファインチューニングし、より小さく安価なモデルに蒸留して、御社のクラウドまたは自社サーバー上でvLLMやSGLangによって運用します。OpenAI、Microsoft Foundry、Amazon Bedrock、Google Cloudを通じたホスト型ファインチューニング、その土台となる学習データと評価にも対応します。御社チームに加わる専任のLLMエンジニアとしても、プロジェクトを企画から納品まで一貫して請け負う形でも承ります。

ファインチューニングとモデル業務

  • オープンウェイトモデルのファインチューニング

    Hugging Face TRL、Unsloth、AxolotlでのLoRAまたはQLoRAによる教師ありファインチューニングと、DPOによる選好チューニングです。ベースモデルが苦手とする口調、形式、専門領域に対応します。

  • 小型モデルへの蒸留

    大きなモデルの御社のタスクでの振る舞いを小さなモデルに学習させます。応答が速く、リクエストあたりのコストはわずかです。御社の評価セットで、大きなモデルと比較して測定します。

  • ホスト型ファインチューニング

    マネージドモデルをお望みの場合に、OpenAI、Microsoft Foundry、Amazon Bedrock、Google Cloudを通じて行うファインチューニングです。学習データと評価は御社の手元に置きます。

  • プライベートLLMの導入

    オープンウェイトモデルを、御社のAzure、AWS、Google Cloudアカウント上のGPU、または御社自身のハードウェアで、vLLMやSGLangによって提供します。アプリケーションがすでに呼び出しているものと互換性のあるAPIの背後に置きます。

  • 量子化と推論コスト

    御社のハードウェアに合わせてモデルを量子化・バッチ処理し、スループット、レイテンシ、1,000リクエストあたりのコストを前後で測定します。

  • 学習データの準備

    御社の文書、ログ、専門家から集めた例を、クリーニング、重複排除、個人データの除去、ラベル付けして整えます。実データが少ない場合は、合成データを生成して検証します。

  • 評価

    学習前に合意した、ホールドアウトのテストセットとタスク別のスコアにより、ファインチューニングしたモデルは、リリース前にベースモデルとホスト型の代替案の両方を上回る必要があります。

  • 言語・ドメイン適応

    ウクライナ語のような言語や、法律、医療、金融、御社製品の用語に合わせてモデルを適応させ、汎用モデルでは足りない部分を補います。

  • 再学習パイプライン

    データ、学習の実行、モデルのバージョンをMLflowまたはWeights & Biasesで追跡します。次のファインチューニングは、プロジェクトではなくパイプラインの実行で済みます。

LLMエンジニアを採用する

  • 専任のLLMエンジニア

    御社のチームにフルタイムで参画し、御社のツールとプロセスの中で働き、御社のリードに報告するLLMエンジニアです。面接は御社が行い、ウクライナでの雇用契約、給与支払い、請求書発行、休暇管理は当社が担います。

  • LLMファインチューニングプロジェクト

    スコープと固定の計画が定まったLLMファインチューニングの一区切りの業務です。当社側の担当リードが成果に責任を持ち、進捗は御社のチャネルで報告します。

  • 継続的なLLMファインチューニング

    LLMファインチューニングを継続サービスとして提供します。毎月同じメンバーが担当し、優先順位は御社がバックログで決め、稼働時間は当社のポータルと請求書で確認できます。

スペシャリストが御社のチームに参画する方法は専任チームのページで、プロジェクトのデリバリー、引き継ぎ、料金の考え方はアウトソーシングのページで説明しています。

御社のLLMファインチューニングを担当するメンバー

  • LLM・機械学習エンジニア

    ファインチューニング、蒸留、評価

  • MLOpsエンジニア

    GPUインフラとモデルサービング

  • データエンジニア

    学習データのパイプライン

  • データアノテーター

    ラベル付けとレビュー済みの例

  • Python、.NETエンジニア

    モデルを呼び出すアプリケーション

数値が示すときにファインチューニングする

多くのタスクは、ホスト型モデル、優れたプロンプト、検索で解決できます。ファインチューニングがコストに見合うのは、一貫した形式や口調が必要な場合、大量処理で小さく安価なモデルが必要な場合、データを外に出せない環境でモデルを動かす場合です。まず安価な選択肢を御社の評価セットで試し、スコアに差が表れたときにファインチューニングします。

学習データ、アダプター、モデルの重みは御社のアカウントに置き、個人データは学習前に取り除きます。すべてのモデルバージョンは、それを生んだデータと設定までたどれます。

その他のAI開発サービス

AI開発の概要

プライベートLLMとファインチューニングに関するご質問

ファインチューニングとRAGのどちらを使うべきですか。

解決する問題が異なります。検索は、モデルが持たない事実を与え、それを最新に保ちます。ファインチューニングはモデルの振る舞い、つまり形式、口調、限られたタスクでの能力を変えます。両方を使うシステムも多く、学習に費用をかける前に、どちらが御社の評価スコアを動かすかを検証します。

外部のプロバイダーにデータを送らずにLLMを運用できますか。

はい。Llama、Mistral、Qwen、Gemma、gpt-ossなどのオープンウェイトモデルは、御社自身のクラウドアカウントやサーバー上で動作し、最新のものは多くの業務タスクでホスト型モデルに匹敵します。御社の利用量からハードウェアの規模を見積もり、ホスト型の選択肢と品質を比較します。

ファインチューニングにはどれくらいのデータが必要ですか。

形式や口調であれば、LoRAなら良質な例が数百から数千件あれば足りることが多くあります。新しい領域やスキルには、もっと必要です。まず手元のデータで始めて測定し、評価で不足が分かった部分にデータを追加します。

LLMエンジニアは、どのくらいで開始できますか。

適任のLLMエンジニアがすぐに対応可能な場合、開始までの条件は、御社の面接と、NDAおよび知的財産権の譲渡契約の締結のみです。そうでない場合は人材を探索し、通常は2〜3週間以内に候補者のプロフィールをお出しします。御社が承諾するまで、誰も業務を始めません。

BigTree108を通じてLLMエンジニアを採用するには、どうすればよいですか。

必要な業務内容、シニアリティ、稼働時間をお知らせください。1〜2名の候補者をプロフィールとともにご提案し、御社が自社で採用する場合と同じ形で面接を行います。契約はBIG TREE 108 LLCとの1本、請求書は月1通です。

成果物の権利は、誰に帰属しますか。

御社です。すべてのスペシャリストはBigTree108と署名済みの契約を結び、成果物のすべてを会社に帰属させています。さらに、御社との契約により、その権利は御社に引き継がれます。コード、デザイン、ドキュメントは、当社だけが変更できる場所ではなく、御社のリポジトリとツールに納品します。

自社専用のモデルをご検討中ですか。

タスク、お持ちのデータ、モデルを動かす場所をお知らせください。1営業日以内に、評価の計画、ハードウェアの見積もり、または候補者のプロフィールをお届けします。

hello@bigtree108.comにメールする対応の流れ