Skip to content

Latest commit

 

History

History
293 lines (251 loc) · 45 KB

README_JA.md

File metadata and controls

293 lines (251 loc) · 45 KB

画像

Comfyui_llm_partyは、comfyuiという非常にシンプルなUIインターフェースを基に、LLMワークフロー構築のための完全なノードライブラリを開発することを目指しています。これにより、ユーザーは自身のLLMワークフローをより便利かつ迅速に構築でき、自身の画像ワークフローに接続することも容易になります。

効果の展示

EN.mp4

プロジェクト概要

ComfyUI LLM Partyは、最も基本的なLLMの多ツール呼び出しやキャラクター設定によって、専属のAIアシスタントを迅速に構築することから、業界に適用可能な単語ベクトルRAG、GraphRAGを用いた知識ベースのローカル管理までを行います。単一のエージェントパイプラインから、複雑なエージェント間の放射状および環状の相互作用モードの構築まで、個人ユーザーのためのSNSアプリ(QQ、Feishu、Discord)への接続から、ストリーミングメディアの作業者が必要とするワンストップLLM+TTS+ComfyUIワークフローまで、普通の学生が必要とする最初のLLMアプリケーションの簡単な導入から、研究者が一般的に使用するさまざまなパラメータ調整インターフェースやモデル適応に至るまで、これらすべての答えはComfyUI LLM Partyの中にあります。

クイックスタート

  1. もしあなたがcomfyuiを使用したことがなく、comfyuiでLLMパーティをインストールする際に依存関係の問題が発生した場合は、こちらをクリックして、LLMパーティを含むcomfyui windows ポータブルパッケージをダウンロードしてください。ご注意ください!このポータブルパッケージにはpartyと管理者の2つのプラグインのみが含まれており、windowsシステム専用となっています。(既にcomfyuiがインストールされている場合、LLM partyのインストール手順は省略できます。)
  2. 以下のワークフローをcomfyuiにドラッグし、comfyui-Managerを使用して不足しているノードをインストールします。
  1. APIを使用する場合、API LLMローダーノードにbase_url(リレーAPIでも可、末尾は/v1/であることを確認)とapi_keyを入力します。例:https://api.openai.com/v1/
  2. ollamaを使用する場合、API LLMローダーノードでis_ollamaオプションをオンにし、base_urlapi_keyを入力する必要はありません。
  3. ローカルモデルを使用する場合、ローカルモデルローダーノードにモデルパスを入力します。例:E:\model\Llama-3.2-1B-Instruct。また、ローカルモデルローダーノードにHuggingfaceのモデルrepo idを入力することもできます。例:lllyasviel/omost-llama-3-8b-4bits
  4. このプロジェクトは使用の敷居が高いため、クイックスタートを選択した場合でも、プロジェクトのホームページをじっくり読んでいただけると幸いです。

最新の更新

  1. ブラウザ使用に基づいて、新しいブラウザツールノードを開発しました。これにより、LLMがあなたが公開したブラウザタスクを自動的に実行できるようになります。
  2. ファイルの読み込み、フォルダーの読み込み、ウェブページの内容の読み込み、及び全ての語彙埋め込みに関連するノードがアップグレードされました。これにより、あなたのファイルの内容は常にファイル名と段落インデックスを含むことになります。フォルダーノードは、related_charactersを使用して、読み込むファイルをフィルタリングすることができます。
  3. 音声から文字へのローカルモデルツールが追加されました。理論的には、HF上のすべてのASRモデルがこのノードに互換性があります。例えば:openai/whisper-smallnyrahealth/CrisperWhisperなどです。
  4. fish audioのASRおよびTTSノードが追加されました。使用方法については、fish audioのAPIドキュメントを参照してください。
  5. aisuiteローダーノードが追加され、aisuiteが互換性を持つすべてのAPI、以下を含むことをサポートしています:["openai","anthropic","aws","azure","vertex","huggingface"]。例のワークフロー:start_with_aisuite
  6. 新しいカテゴリを追加しました。記憶ノードは、あなたのLLMの対話履歴を管理するために使用できます。記憶ノードは、現在、ローカルJSONファイル、Redis、およびSQLの3つのモードをサポートしており、対話履歴を管理します。LLMの対話履歴をLLMから分離することで、語彙埋め込みモデルを使用して対話履歴を圧縮して整理し、LLMのトークンとコンテキストウィンドウを節約することができます。サンプルワークフロー: 外部記憶
  7. ローカルファイル読み取りツールが追加されました。以前のcomfyui LLM mafiaにおけるローカルファイルコントロールツールと比較して、このツールはファイルまたは特定のフォルダー内のファイルツリーのみを読み取ることができるため、より安全です。
  8. chatgpt-on-wechatをフォークし、新しいリポジトリparty-on-wechatを作成しました。インストールと使用方法は元のプロジェクトと同じで、設定は必要なく、partyのFastAPIを起動するだけで済みます。デフォルトではwx_apiワークフローを呼び出し、画像出力をサポートしています。徐々に更新され、WeChat上のpartyのスムーズな使用が保証されます。
  9. 一貫性のあるIn-Context-LoRAプロンプトを生成するために、In-Context-LoRAマスクノードを追加しました。
  10. フロントエンドコンポーネントを追加しました。その機能は左から右に並んでいます:
  • あなたのAPIキーとBase URLをconfig.iniファイルに保存します。API LLMローダーノードでfix nodeを使用すると、自動的にconfig.iniファイルから変更後のAPIキーとBase URLを読み取ります。
  • FastAPIを起動し、これを使用してComfyUIワークフローを呼び出せます。これを直接実行すると、http://127.0.0.1:8817/v1/上のOpenAIインターフェースが得られます。ワークフローの開始と終了をワークフローの開始と終了に接続し、API形式でworkflow_apiフォルダに保存します。その後、OpenAIインターフェースを呼び出すことができる他のフロントエンドでmodel name=<ワークフローネーム(.json拡張子なし)>Base URL=http://127.0.0.1:8817/v1/と入力し、APIキーは何でもよいです。
  • Streamlitアプリケーションを起動します。ワークフローの保存プロセスは同じです。Streamlitアプリケーションの「設定」で保存したワークフローを選択し、「チャット」でワークフローエージェントと対話できます。
  • 「私たちについて」、このプロジェクトについて紹介します。
  1. 自動モデル名リストノードが削除され、config.iniファイルの設定からモデル名リストを自動取得する簡単なAPI LLMローダーノードに置き換えられました。モデルをロードするには、名前を選択するだけです。さらに、簡易LLMローダー、簡易LLM-GGUFローダー、簡易VLMローダー、簡易VLM-GGUFローダー、簡易LLM loraローダーノードが更新されました。これらはすべてpartyフォルダ内のmodelフォルダからモデルパスを自動的に読み取り、さまざまなローカルモデルのロードをより簡単にします。
  2. LLMは、SDやFLUXのように動的にloraをロードできるようになりました。複数のloraを連結して、同じLLMに複数のloraをロードすることができます。サンプルワークフロー:start_with_LLM_LORA
  3. searxngツールが追加され、Web全体の検索を集約できます。Perplexicaもこの集約検索ツールに依存しているため、パーティーでPerplexicaをセットアップできます。Dockerにsearxng/searxngのパブリックイメージをデプロイし、その後、コマンドdocker run -d -p 8080:8080 searxng/searxngを使用して起動し、http://localhost:8080を使用してアクセスします。URL http://localhost:8080をpartyのsearxngツールに入力することで、searxngをLLMのツールとして使用できます。
  4. 重大アップデート!!! これで、任意のComfyUIワークフローをLLMツールノードとしてカプセル化できます。LLMが複数のComfyUIワークフローを同時に制御できるようになります。タスクを完了させたいときに、プロンプトに基づいて適切なComfyUIワークフローを選択し、タスクを完了し、結果を返すことができます。例のワークフロー:comfyui_workflows_tool。具体的な手順は以下の通りです:
    • まず、ツールとしてカプセル化するワークフローのテキスト入力インターフェースを「ワークフロー開始」ノードの「user_prompt」出力に接続します。これは、LLMがツールを呼び出すときにプロンプトが渡される場所です。
    • テキストと画像を出力したい場所を「ワークフロー終了」ノードの対応する入力位置に接続します。
    • このワークフローをAPIとして保存します(設定で開発者モードを有効にする必要があります)。
    • このワークフローをプロジェクトのworkflow_apiフォルダーに保存します。
    • ComfyUIを再起動し、シンプルなLLMワークフローを作成します。例:start_with_LLM_api
    • このLLMノードに「ワークフローツール」ノードを追加し、LLMノードのツール入力に接続します。
    • 「ワークフローツール」ノードで、最初の入力ボックスに呼び出したいワークフローファイル名を書きます。例:draw.json。複数のワークフローファイル名を書くことができます。2番目の入力ボックスに各ワークフローの機能を書きます。これにより、LLMがこれらのワークフローの使い方を理解できます。
    • 実行して、LLMがカプセル化されたワークフローを呼び出し、結果を返すのを確認します。結果が画像の場合は、LLMノードの画像出力に「画像プレビュー」ノードを接続して生成された画像を表示します。注意!この方法は、8190ポートで新しいComfyUIを呼び出します。このポートを占有しないでください。WindowsおよびMacシステムでは新しいターミナルが開かれます。閉じないでください。Linuxシステムではscreenプロセスを使用してこれを実現します。使用しない場合は、このscreenプロセスを閉じてください。そうしないと、ポートが常に占有されます。

workflow_tool

使用説明

  1. ノードの使用説明については、以下を参照してください:ノードの使用方法

  2. プラグインに問題がある場合や他に疑問がある場合は、ぜひQQ群にご参加ください:931057213 |discord:discord.

  3. ワークフローのチュートリアルについては、ワークフローのチュートリアルをご参照ください。貢献してくださったHuangYuChuhに感謝いたします。

  4. 高度なワークフローのアカウント:openart

  5. さらに多くのワークフローはworkflowフォルダーをご覧ください。

動画チュートリアル

octocat octocat

モデルサポート

  1. 画像内のテキストと位置を認識するためのEasyOCRノードを追加しました。対応するマスクを生成し、LLMが表示するためのJSON文字列を返すことができます。標準版とプレミアム版が選択可能です!
  2. すべてのOpenAI形式のAPI呼び出しをサポートしています(oneapiを組み合わせることで、ほぼすべてのLLM APIを呼び出すことができ、中継APIもサポートしています)。base_urlの選択はconfig.ini.exampleを参考にしてください。現在、テスト済みのものは以下の通りです:
  • openai(すべてのOpenAIモデルに完全に対応しており、4oおよびo1シリーズを含みます!)
  • ollama(おすすめ!ローカルで呼び出す場合は、ollama方式を使用してローカルモデルをホストすることを強くお勧めします!)
  • Azure OpenAI
  • llama.cpp(おすすめ!ローカルgguf形式のモデルを使用したい場合は、llama.cppプロジェクトのAPIを使用してこのプロジェクトにアクセスできます!)
  • Grok
  • 通義千问/qwen
  • 智谱清言/glm
  • deepseek
  • kimi/moonshot
  • doubao
  • 讯飞星火/spark
  • Gemini(従来のGemini API LLM ローダーノードは新しいバージョンで廃止されましたので、LLM APIローダーノードをご利用ください。base_urlは以下を選択してください:https://generativelanguage.googleapis.com/v1beta/)
  1. aisuite互換のすべてのAPI呼び出しをサポート:
  1. トランスフォーマーライブラリのほとんどのローカルモデルと互換性があります(ローカルLLMモデルチェーンノードのモデルタイプは、LLM、VLM-GGUF、およびLLM-GGUFに変更され、LLMモデルの直接ロード、VLMモデルのロード、およびGGUF形式のLLMモデルのロードに対応します)。VLMまたはGGUF形式のLLMモデルでエラーが発生した場合は、llama-cpp-pythonから最新バージョンのllama-cpp-pythonをダウンロードしてください。現在テストされているモデルには次のものが含まれます:
  1. モデルのダウンロード:

ダウンロード

以下のいずれかの方法でインストールしてください。

方法1:

  1. comfyuiマネージャーcomfyui_LLM_partyを検索し、一回のクリックでインストールします。
  2. comfyuiを再起動します。

方法二:

  1. ComfyUIのルートフォルダー内のcustom_nodesサブフォルダーに移動します。
  2. このリポジトリをクローンします。git clone https://github.com/heshengtao/comfyui_LLM_party.git

方法三:

  1. 右上のCODEをクリックします。
  2. download zipをクリックします。
  3. ダウンロードした圧縮ファイルをComfyUIのルートフォルダー内のcustom_nodesサブフォルダーに解凍します。

環境デプロイ

  1. comfyui_LLM_partyのプロジェクトフォルダーに移動します。
  2. ターミナルでpip install -r requirements.txtを入力し、本プロジェクトに必要なサードパーティライブラリをcomfyuiの環境にデプロイします。comfyuiの環境でインストールしているかどうかに注意し、ターミナルのpipエラーにも留意してください。
  3. comfyuiランチャーを使用している場合は、ターミナルにランチャー設定のパス\python_embeded\python.exe -m pip install -r requirements.txtを入力してインストールを行ってください。python_embededフォルダーは通常ComfyUIフォルダーと同じ階層にあります。
  4. 環境設定に関する問題が発生した場合は、requirements_fixed.txt内の依存関係を使用することを検討してください。

設定

  • config.iniにおいて言語を設定できます。現在は中国語(zh_CN)と英語(en_US)の2種類があり、デフォルトはシステム言語です。
  • 以下のいずれかの方法でAPIKEYを設定できます。

方法一:

  1. comfyui_LLM_partyのプロジェクトフォルダ内のconfig.iniファイルを開きます。
  2. config.iniにあなたのopenai_api_keybase_urlを入力します。
  3. ollamaモデルを使用する場合は、base_urlhttp://127.0.0.1:11434/v1/を入力し、openai_api_keyollamaを、model_nameにはあなたのモデル名(例:llama3)を入力します。
  4. Google検索またはBing検索ツールを使用する場合は、config.iniにあなたのgoogle_api_keycse_idまたはbing_api_keyを入力します。
  5. 画像入力LLMを使用する場合は、画像ホスティングサービスのimgbbを推奨し、config.iniにあなたのimgbb_apiを入力します。
  6. 各モデルはconfig.iniファイル内で個別に設定でき、config.ini.exampleファイルを参考に記入できます。設定が完了したら、ノードにmodel_nameを入力するだけで済みます。

方法二:

  1. comfyuiインターフェースを開きます。
  2. 大規模言語モデル(LLM)ノードを新規作成し、ノード内に直接あなたのopenai_api_keybase_urlを入力します。
  3. ollamaモデルを使用する場合は、LLM_apiノードを使用し、ノードのbase_urlhttp://127.0.0.1:11434/v1/を入力し、api_keyollamaを、model_nameにはあなたのモデル名(例:llama3)を入力します。
  4. 画像入力LLMを使用する場合は、画像ホスティングサービスのimgbbを推奨し、ノードにあなたのimgbb_api_keyを入力します。

更新ログ

  1. comfyuiのインターフェースで右クリックし、右クリックメニューのllmを選択すると、本プロジェクトのノードを見つけることができます。ノードの使い方
  2. API接続またはローカル大モデル接続をサポートします。モジュール化されたツール呼び出し機能を実現しています。base_urlを入力する際は、/v1/で終わるURLを入力してください。ollamaを使用してモデルを管理し、base_urlにhttp://127.0.0.1:11434/v1/を入力し、api_keyにollamaを、model_nameにモデル名を入力してください。例: llama3。
  1. ローカル知識ベース接続をサポートし、RAGを実現しています。ワークフロー例:知識ベースRAG検索.json

  2. コードインタープリターを呼び出すことができます。

  3. インターネット検索が可能で、Google検索をサポートしています。ワークフロー例:映画検索ワークフロー

  4. comfyuiで条件文を実現でき、ユーザーからの質問を分類した後に特定の応答ができます。ワークフロー例:スマートカスタマーサービス

  5. 大モデルのループリンクをサポートし、2つの大モデルによる討論会を実現できます。ワークフロー例:電車のジレンマ討論会

  6. 任意の人格マスクを接続でき、プロンプトテンプレートをカスタマイズできます。

  7. 様々なツール呼び出しをサポートし、現在、天気確認、時間確認、知識ベース、コード実行、インターネット検索、単一のウェブページ検索などの機能を開発しています。

  8. LLMをツールノードとして使用することができます。ワークフロー例:LLM入れ子

  9. API+streamlitを使用して、自分のWebアプリケーションを迅速に開発することができます。

  10. 危険な万能インタープリターノードが新たに追加され、大モデルにあらゆることをさせることができます。

  11. 右クリックメニューの関数(function)サブディレクトリ内の表示テキスト(show_text)ノードをLLMノードの出力表示として使用することをお勧めします。

  12. GPT-4Oの視覚機能をサポートしました!サンプルワークフロー:GPT-4o

  13. 他のワークフローを呼び出すことができるワークフロートランスファーを追加しました!サンプルワークフロー:別のワークフローを呼び出す

  14. openaiインターフェースに類似したすべてのモデルに対応しました。例:通義千問/qwen、智谱清言/GLM、deepseek、kimi/moonshot。これらのモデルのbase_url、api_key、model_nameをLLMノードに入力して呼び出してください。

  15. LVMローダーを新たに追加し、ローカルでLVMモデルを呼び出すことができるようになりました。llava-llama-3-8b-v1_1-ggufモデルをサポートしており、他のLVMモデルもGGUF形式であれば理論上は動作するはずです。サンプルワークフローはこちら: start_with_LVM.json.

  16. fastapi.pyファイルを作成しました。このファイルを直接実行すれば、http://127.0.0.1:8817/v1/においてopenaiインターフェースを取得でき、GPTを呼び出すことができるアプリケーションがあなたのcomfyuiワークフローを呼び出すことが可能です!具体的な操作方法については、チュートリアルを作成してご紹介いたします~

  17. LLMローダーとLLMチェーンを分け、モデルの読み込みと設定を分離しました。これにより、異なるLLMノード間でモデルを共有できるようになりました!

  18. 現在、macOSおよびmpsデバイスをサポートしています!bigcat88の貢献に感謝いたします!

  19. ユーザーの選択に基づいて異なる結末に進むインタラクティブな小説ゲームを構築できるようになりました!サンプルワークフローの参考:インタラクティブ小説

  20. openaiのwhisperおよびtts機能に対応し、音声入力と出力を実現しました。サンプルワークフローの参考:音声入力+音声出力

  21. Omostに対応しました!!!ぜひomost-llama-3-8b-4bitsをダウンロードして、今すぐ体験してください!サンプルワークフローはこちら:start_with_OMOSTをご参照ください。

  22. 企業微信、钉钉、飛書にメッセージを送信するLLMツールと、呼び出し可能な外部関数を追加しました。

  23. テキストイテレータを新たに追加しました。これは、各回ごとに一部分の文字だけを出力し、改行記号とチャンクサイズに基づいてテキストを安全に分割します。テキストの途中で分割することはありません。chunk_overlapは、分割されたテキストの重複文字数を示します。これにより、超長テキストを一括入力でき、無心でクリックするか、comfyuiのループ実行を開始するだけで、自動的に完了します。is_locked属性を有効にすると、入力終了時にワークフローが自動的にロックされ、実行が続行されなくなります。サンプルワークフロー:テキストイテレータ入力をご覧ください。

  24. ローカルLLMローダーおよびローカルllavaローダーにmodel name属性を追加しました。空の場合は、ノード内の各種ローカルパスを使用してロードします。空でない場合は、config.iniに自分で記入したパスパラメータを使用してロードします。空でなく、config.iniに存在しない場合は、huggingfaceからダウンロードするか、huggingfaceのモデル保存ディレクトリからロードします。huggingfaceからダウンロードしたい場合は、例えばTHUDM/glm-4-9b-chatの形式でmodel name属性を記入してください。注意!この方法でロードされるモデルは、transformerライブラリに適合している必要があります。

  25. JSONファイル解析ノードとJSON値取得ノードを追加しました。これにより、ファイルまたはテキストから特定のキーの値を取得できるようになります。guobaloveの貢献に感謝します!

  26. ツール呼び出しのコードを改善しました。これにより、ツール呼び出し機能を持たないLLMでもis_tools_in_sys_prompt属性を有効にできるようになりました(ローカルLLMはデフォルトで有効にする必要がなく、自動的に適応します)。有効にすると、ツール情報がシステムプロンプトに追加され、LLMはツールを呼び出すことができるようになります。実現原理に関する論文:Achieving Tool Calling Functionality in LLMs Using Only Prompt Engineering Without Fine-Tuning

  27. カスタムツールのコードを保存するためのcustom_toolフォルダーを新設しました。custom_toolフォルダー内のコードを参考にして、カスタムツールのコードをcustom_toolフォルダーに配置することで、LLM内でカスタムツールを呼び出すことができます。

  28. 知識グラフツールを新たに追加し、LLMと知識グラフが完璧に相互作用できるようになりました。LLMはあなたの入力に基づいて知識グラフを修正でき、知識グラフ上で推論を行い、必要な答えを得ることができます。サンプルワークフローの参考:graphRAG_neo4j

  29. パーソナリティAI機能を追加し、0コードで自分の彼女AIまたは彼氏AIを開発できます。無限の対話、永続的な記憶、キャラクター設定の安定性があります。サンプルワークフローの参考:麦洛薇人格AI

  30. このLLMツール製造機を使用してLLMツールを自動生成できます。生成したツールコードをPythonファイルとして保存し、そのコードをcustom_toolフォルダーにコピーすることで、新しいノードを創造したことになります。サンプルワークフロー:LLM工具生成器

  31. duckduckgo検索をサポートしましたが、大きな制限があります。どうやら英語のキーワードしか入力できず、キーワードに複数の概念を含めることはできません。ただし、APIキーの制限がないという利点があります。

  32. 複数の知識ベースを分けて呼び出す機能をサポートし、プロンプト内でどの知識ベースの知識を使用して質問に回答するかを明確に示すことができます。サンプルワークフロー:多知识库分别调用

  33. LLMに追加のパラメータを入力することをサポートし、json outなどの高度なパラメータを含めることができます。サンプルワークフロー:LLM入力额外参数用json_out分离提示词

  34. Discordへのエージェント接続機能を新たに追加しました。(現在テスト中です)

  35. Feishuへのエージェント接続機能を新たに追加しました。特にguobaloveの貢献に感謝いたします!参考ワークフローは飛書ロボットです。

  36. 汎用API呼び出しノードと多数の補助ノードを新たに追加し、リクエストボディの構築とレスポンスからの情報取得を支援します。

  37. モデルをクリアするノードを新たに追加し、任意の位置でLLMをメモリからアンロードできます!

  38. chatTTSノードを追加しました。特にguobaloveの貢献に感謝いたします!model_pathパラメータは空にすることができます!HFモードでモデルをロードすることをお勧めします。モデルは自動的にHugging Faceからダウンロードされ、手動でのダウンロードは不要です。ローカルでロードする場合は、モデルのassetconfigフォルダーをルートディレクトリに置いてください。百度云地址、抽出コード:qyhu;customモードでロードする場合は、モデルのassetconfigフォルダーをmodel_path下に置いてください。

  39. 一連の変換ノードを更新しました:markdownからHTML、svgから画像、HTMLから画像、mermaidから画像、markdownからExcel。

  40. llama3.2 visionモデルに対応し、マルチターン対話、視覚機能をサポートします。モデルのアドレス:meta-llama/Llama-3.2-11B-Vision-Instruct。例のワークフロー:llama3.2_vision.

  41. GOT-OCR2を適用し、フォーマットされた出力結果をサポートし、位置ボックスと色を使用してテキストを精細に認識します。モデルのアドレス:GOT-OCR2。例のワークフローは、ウェブページのスクリーンショットをHTMLコードに変換し、その後ブラウザを開いてこのウェブページを表示します:img2web

  42. ローカルLLMローダーノードが大幅に調整され、モデルタイプを自分で選択する必要がなくなりました。llavaローダーノードとGGUFローダーノードが再追加されました。ローカルLLMモデルチェーンノードのモデルタイプは、LLM、VLM-GGUF、およびLLM-GGUFに変更され、LLMモデルの直接ロード、VLMモデルのロード、およびGGUF形式のLLMモデルのロードに対応します。VLMモデルとGGUF形式のLLMモデルが再びサポートされるようになりました。ローカルコールは、より多くのモデルと互換性を持つようになりました!例のワークフロー:LLM_local, llava, GGUF

  43. comfyui LLMパーティーで、chatgpt-o1シリーズモデルのストロベリーシステムが再現され、Llamaberryのプロンプトを参照しました。例のワークフロー:ストロベリーシステムとo1の比較

  44. 新しいGPT-sovitsノードが追加され、GPT-sovitsモデルを呼び出して、参照オーディオに基づいてテキストを音声に変換できるようになりました。また、微調整されたモデルのパスを入力することもできます(入力しない場合はベースモデルが推論に使用されます)任意の音声を取得できます。使用するには、GPT-sovitsプロジェクトと対応するベースモデルをローカルにダウンロードし、GPT-sovitsプロジェクトフォルダーでruntime\python.exe api_v2.pyを使用してAPIサービスを開始する必要があります。さらに、chatTTSノードはcomfyui LLM mafiaに移動されました。理由は、chatTTSには多くの依存関係があり、PyPiのライセンスはCC BY-NC 4.0であり、これは非商用ライセンスです。chatTTSのGitHubプロジェクトがAGPLライセンスの下にあるにもかかわらず、不要なトラブルを避けるためにchatTTSノードをcomfyui LLM mafiaに移動しました。皆さんの理解をお願いします!

  45. 最新のOpenAIモデル、o1シリーズをサポートしました!

  46. 指定したフォルダ内のファイルを制御できるローカルファイル制御ツールを追加しました。読み取り、書き込み、追加、削除、名前変更、移動、コピーなどが可能です。このノードの潜在的な危険性のため、comfyui LLM mafiaに含まれています。

  47. 新しいSQLツールにより、LLMがSQLデータベースをクエリできます。

  48. READMEの多言語バージョンを更新しました。READMEドキュメントを翻訳するためのワークフロー:translate_readme

  49. 4つのイテレーターノード(テキストイテレーター、画像イテレーター、表イテレーター、JSONイテレーター)が更新され、イテレーターのモードとして順次、ランダム、無限の3種類が追加されました。順次は順番に出力を行い、インデックスの上限を超えると自動的にプロセスを中止し、インデックス値を0にリセットします。ランダムはランダムなインデックスを選択して出力し、無限は無限に出力を繰り返します。

  50. Gemini APIローダーノードが新たに追加され、Gemini公式APIとの互換性が確保されました!国内ネットワーク環境でAPI地域制限の問題が発生した場合は、ノードをアメリカに切り替え、TUNモードを使用してください。Geminiはツール呼び出し時に、戻りパラメータに中文文字が含まれると、500のエラーコードが返されるため、特定のツールノードが使用できない場合があります。サンプルワークフロー:start_with_gemini

  51. lore bookノードが新たに追加され、LLMとの対話時に背景設定を挿入することができます。サンプルワークフロー:lorebook

  52. FLUXプロンプト生成器マスクノードが新たに追加され、ハースストーンカード、遊戯王カード、ポスター、漫画などのさまざまなスタイルのプロンプトを生成でき、FLUXモデルを直接出力できます。参考ワークフロー:FLUXプロンプト

次のステップ計画:

  1. さらなるモデル適応;
  2. さらなるエージェント構築方法;
  3. さらなる自動化機能;
  4. さらなるナレッジベース管理機能;
  5. さらなるツール、さらなるペルソナ。

免責事項:

本オープンソースプロジェクトおよびその内容(以下「プロジェクト」といいます)は、参考用に提供されるものであり、明示または暗示の保証を意味するものではありません。プロジェクトの貢献者は、プロジェクトの完全性、正確性、信頼性または適用性に対して一切の責任を負いません。プロジェクトの内容に依存する行為は、すべて自己の責任において行うものとします。いかなる場合においても、プロジェクトの貢献者は、プロジェクトの内容の使用に起因して生じた間接的、特別または付随的な損失または損害について、一切の責任を負いません。

特別な感謝

octocat octocat octocat octocat

参考文献

本プロジェクトのいくつかのノードは以下のプロジェクトを参考にしており、オープンソースコミュニティへの貢献に感謝します!

  1. pythongosssss/ComfyUI-Custom-Scripts
  2. lllyasviel/Omost

サポート:

コミュニティに参加

プラグインに問題がある場合や他の質問がある場合は、ぜひ私たちのコミュニティに参加してください。

  1. QQグループ:931057213
  1. WeChatグループ:Choo-Yong(小助手のWeChatを追加した後にグループに参加してください)

  2. discord:discordリンク

私たちをフォローする

  1. このプロジェクトの最新機能を継続的にフォローしたい方は、Bilibiliアカウントをフォローしてください:派对主持BB机
  2. OpenArtアカウントは、最も便利なパーティーのワークフローを継続的に更新しています:openart

寄付のサポート

私の仕事があなたに価値をもたらしたなら、ぜひ私にコーヒーをおごってください!あなたのサポートはプロジェクトに活力を与えるだけでなく、クリエイターの心を温めます。☕💖 一杯一杯が意義深いです!

スター履歴

Star History Chart