LM Studio作为可视化本地大模型的引擎，是ollama的主要竞争对手。
很多朋友反映ollama对接了本地的openclaw后，在ollama对话很流畅，一到了龙虾里就不回复了，主要原因是龙虾里除了对话还要在上下文长度上消耗算力，也就是占用更多的显存，所以不是不回复，而是回复变得慢了，尤其是上下文长度设置的越长，回复的就越慢，而且ollama并不能可视化的看到计算的进程，自然是一种黑盒的感受，弄不清是回复太慢还是哪没配置对，据说LM Studio在大模型的效率方面要比ollama强，而且每次调用对话生成可以看到进度，所以体验上要好一点，今天我们就来讲下LM Studio的安装和对接配置。
1、LM Studio安装
官网访问：https://www.lm-studio.me/
下载安装包安装。
这个的访问速度还是不错的，大海就不分流下载了。
安装后设置里改中文界面
2、下载模型
LM Studio的可视化做的很好，功能全面，内置了Hugging Face搜索安装模型，非常方便，顺带还有一些推荐评分下载量啥的可以参考。
搜索完点下载就行
3、修改配置，开启模型服务
左侧的开发选项，可以开启服务端口，假如是模型和openclaw在同一个电脑，那本地就可以，假如是在两台电脑，比如一台真机一台虚拟机，那就需要开启外部访问（在网络中提供服务），端口默认1234，务必保证status：running状态。
配置右侧模型load处可以修改上下文长度，修改完别忘了点击下方重新加载
4、openclaw配置
运行命令：
openclaw onboard --install-daemon
设置模型为：custom provider
api链接为：模型所在机器ip:1234/v1（假如是虚拟机安装龙虾即为vmnet8的ip地址）
api本地可以随便输
Endpoint compatibility选择：OpenAI-compatible
model ID可以用浏览器访问http://192.168.160.1:1234/v1/models获取，ip还是api链接填过的ip
其余配置和ollama的方法一样，参见文章：https://www.dhzyw.com/archives/7891.html
在对话的时候，可以在LM Studio界面看到文字生成的进度，非常直观
最后贴一个简单的数学问题，测试大模型生成速度
假设你的抽屉里有 12 只红色袜子、8 只蓝色袜子和 6 只白色袜子。房间里一片漆黑，你看不见颜色。
请分步计算：你最少需要拿出多少只袜子，才能百分之百保证凑出一双“同色”的袜子？
如果要保证凑出“三只颜色相同”的袜子，逻辑又是怎样的？
请详细推导过程，并给出最终答案。
评论(0)