MacBook M1部署了6B，运行起来后对话内容返回超级慢

[codelife40]

MacBook M1部署了6B，运行起来后对话内容返回超级慢。估计每次返回一个字或词就得有几十秒，是工程参数配置问题还是因为mac机器配置问题（32G内存，M1的芯片，机器性能还是挺不错的）

[ToviHe]

我是A100的显卡，推理也很慢

[sept31]

 是没用上 GPU 的原因吧， 我把模型加载的代码 改成了                 model = (
                LoaderClass.from_pretrained(
                    checkpoint,
                    config=self.model_config,
                    trust_remote_code=True).half().to('mps')  # 就是这个参数
            )   ，速度比较快，可以接受。 我是 M2 Pro, 32G 

[imClumsyPanda]

更新master分支的最新代码，改了框架，可以看一下更新后的readme，运行效率有明显提升