InternLM-7B开源对话大模型低资源推理
2023-07-11 23:29:30
来源：哔哩哔哩
(资料图片仅供参考)
notebook链接：
首先需要安装依赖：
接着加载8比特量化后的模型：
最后即可进行模型推理：
推荐阅读>
(资料图片仅供参考)
notebook链接：
首先需要安装依赖：
接着加载8比特量化后的模型：
最后即可进行模型推理：