最近在Mac上玩LM Studio,发现20b的模型只要12G的内存可以跑。但是在我16G的MBA上跑不起来。看了一下发现原来是因为MacOS默认只给了11G的vram,所以Load失败。
研究了一下发现可以通过一行命令指定vram的大小。比如可以调整vram至14G,就可以装下这个20B的模型了。
这个命令就是:
sudo sysctl iogpu.wired_limit_mb=14336
上面这个命令是手动指定vram大小为14G。默认的话这个参数是0,系统会自动分配70%-80%的内存作为vram。你可以删除“=14336”并执行来看到当前的参数是多少。