本来一直用GPT-3.5润色论文的, 最近使用的镜像站被封了被迫转移到文心一言/Kimi, 进一步想要干脆在自己电脑上运行大模型, 使用本地的AI助手. 发现类似LM Studio的软件已经提供了很简单的图形化界面, 正好适合我这个小白.

系统配置: GPD Win Mini (AMD 7840U, 分配给核显8G内存作为显存), 通过USB4连接到显卡坞(AMD 7600M XT, 8G显存).

大模型的安装

运行下载下来的LM Studio安装文件后没有任何提示, 等到聊天页面出现的时候整个软件其实已经安装好了. Windows下默认的安装路径是C:\Users\用户名\AppData\Local\LM-Studio. LM Studio自带从huggingface下载模型的能力, 但是国内上不了huggingface. 因此需要将软件的默认下载地址换成国内的镜像hf-mirror:

在LM Studio的安装路径下查找index.js、llmworker.js、worker.js文件, 将其中的所有huggingface.co替换为hf-mirror.com即可. (注意有两个index.js需要替换)

随后进入LM Studio, 在底部选择Power User, 在左侧点击放大镜图标, 下载安装与自己显卡兼容的Runtime (核显用Vulkan, AMD独显用ROCm, Nvidia独显用CUDA), 然后根据自己的显存选择合适的模型下载即可. 模型下载比较慢, 连接经常会断掉, 不过好在支持断点续传, 多花些时间就能下载下来.

大模型的选择与使用

本地语言大模型使用场景思考:

---