Skip to content

接入本地部署大模型相关问题 #21

@yusu1219

Description

@yusu1219
  1. 我希望能够使用该框架,接入本地部署的Qwen系列模型,首先是Anthropic框架转OpenAI,这边使用LiteLLM进行了转接,通信结果显示一切正常,CC-Cli也能正常输出一些内容,但是有些时候会停止在Thinking中,不会自主进行下一步,如图1-2所示,图3也能看出,模型并不会自主进行下一步,这是否与架构的转换有关?有没有什么办法可以解决?
  2. 使用过程中CC-Cli会经常出现文本串行、混乱的现象,如图3所示,请问是否有修复的方法?

图1:
Image
图2:
Image
图3:
Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions