DGX Spark,把 AI 超算塞到桌面上
NVIDIA DGX Spark 是一台很容易被标题党误解的机器:它不是给普通人买来跑聊天机器人的玩具,也不是缩小版数据中心训练集群。它真正卖的是 128GB 统一内存、Grace Blackwell、NVIDIA 软件栈和桌面形态。
NVIDIA DGX Spark 是一台很容易被标题党误解的机器:它不是给普通人买来跑聊天机器人的玩具,也不是缩小版数据中心训练集群。它真正卖的是 128GB 统一内存、Grace Blackwell、NVIDIA 软件栈和桌面形态。
在 Ubuntu 26.04 LTS + RTX 4060 Laptop GPU 的 WSL 环境里,不改系统目录,用 micromamba 准备 CUDA 12.4、GCC 13 和 cuBLAS,编译 llama.cpp CUDA 后端,并用 Qwen3 4B 做 CPU 与 CUDA 的速度对比。
在一台 RTX 4060 Laptop 8GB 显存、WSL 分配 32GB 内存的本地开发机上,实测 Qwen3 4B、Qwen3 8B、Gemma 4 E4B、Gemma 4 12B 的加载时间、生成速度、显存占用、多模态能力和使用取舍。
本地开源模型真正有价值的地方,不是跑分,而是能否进入每天都会发生的任务。本文把 Qwen3 4B、Qwen3 8B、Gemma 4 E4B、Gemma 4 12B 放进开发辅助、图像理解、写作整理三个工作流里,整理一套能长期演进的本地模型用法。
这是一篇持续更新的本地开源模型安装记录。从一台 64GB 内存、WSL 分配 32GB、RTX 4060 Laptop 8GB 显存的 Windows + Ubuntu 26.04 LTS 开发机出发,先判断 Ollama 应该跑在 Windows 还是 WSL,再比较 llama.cpp、LM Studio、vLLM 等方案,最后整理适合本机长期使用的模型清单。
关于gemma模型的一些简单介绍
按照官方文档,似乎需要通过docker运行gemma测试,但是实际上没有那么麻烦。
另有 7 篇未列入提纲的文章。