サービス関連情報
ローカル LLM への接続について
この記事では、お客様がローカルサーバ(オンプレミスサーバ)に構築した LLM に dejiren AI から接続する方法について説明します。
概要
dejiren AI からオンプレミスにあるサーバに、ブリッジサービスを介して接続します。
前提条件
- オンプレミスサーバに、ローカル LLM が構築されていて、動作していること。
(LM Studio や Ollama など) - オンプレミスサーバに、dejiren ブリッジがインストールされていて、dejiren AI と疎通が確立できていること。
（ブリッジサービスは有償オプションです。詳しくはこちらをご参照ください。）
必要な権限
- dejiren AI の VA 編集権限を付与されたアカウント
- ローカル LLM サーバの設定値が確認できること
注意事項
- サーバスペックにより、動作が鈍重になる場合があります。
特にグラフィックカードの性能により影響が大きい場合があります。 - 実行しているローカル LLM により、対応可能なこと、対応可能なデータ量、扱えるファイル種別が異なります。
接続設定方法
1. dejiren AI の VA 管理画面に、VA 編集権限を保有するロールに所属するユーザーアカウントでアクセスします。
https://www.dejiren.com/va
2. VA 管理画面上部のメニューから[接続設定]をクリックします。
3. 接続設定画面で、[新規作成]をクリックします。
4. [新しい接続設定をつくる] で、[OpenLLM] を選択して、[つぎへ] をクリックします。
5. 各項目を設定します。
| 設定項目 | 設定値 | 入力区分 |
|---|---|---|
| 接続名 | この接続設定を識別するための任意の名称を入力します。 | 必須 |
| ホスト | ローカル LLM がインストールされたサーバの実行環境で設定されている値を入力します。 LM Studio の例：http://127.0.0.1:1234/v1 | 必須 |
| モデル | ローカル LLM がインストールされたサーバの実行環境で動作しているローカル LLM のモデルを指定します。 | 必須 |
| システムプロンプト | この接続設定を使用するすべての VA で共通して指定する指示構文を入力します。 | 任意 |
| Chat Completions API を使用する | OpenAI Chat Completions APIを使用します。 チェックをつけないと、Completions APIを使用します。Completions APIを使用する場合はシステムプロンプト、会話の履歴を利用できません。 Chat Completions APIに対応していないモデルを使用する場合はOFFにしてください。 | 任意 |
| 会話を記憶する単位 | 会話を記憶する際に、選択した単位で実施します。 | 必須 |
| ブリッジ | ローカル LLM がインストールされたオンプレミスサーバにインストールされたdejiren ブリッジクライアントを指定します。 | 必須 |
▼LM Studio の場合の確認箇所
6. 画面右下の [作成する] をクリックします。
この接続設定を使用した VA を作成して、動作を確認してください。
#生成AI #GenerativeAI #GenAI
