Showing Posts From
本地部署
-
BrodyGao - 2026/10/23
Blender MCP 完全上手:官方 Llama.cpp 与 OpenCode 两种接入方式
如果你正在测试 Blender MCP(Model Context Protocol),目前常见有两种使用方式:官方 Llama.cpp Web UI 方式 OpenCode 接入 MCP 方式两者本质上都是让大模型调用 Blender MCP Server,只是客户端不同。 这篇教程把官方 Wiki 的内容补全成可以照着敲的完整流程,再补上社区插件 mcp-for-blender 这条分支,以及官方 Add-on 的安装细节。 先看官方的架构长什么样——理解了这一层,后面的命令就都顺理成章了。一、先搞懂架构:官方 Blender MCP 是「两个组件」 Blender 官方 MCP Server 不是一个东西,而是两个独立组件:组件 位置 职责MCP Add-on 装在 Blender 里 在 Blender 进程内开一个 TCP socket 服务,接收并执行请求blender-mcp 独立 Python 进程 由 MCP 客户端启动,实现 MCP 协议,把请求转发给 Add-on官方仓库 README 里画的数据流非常清楚: MCP Client ⇐ MCP/stdio ⇒ blender-mcp ⇐ TCP socket ⇒ Blender Add-on这条链路解释了几件很关键的事:你必须同时装 Add-on 和 MCP Server,缺一不可。只装其中一个,客户端连上去会直接失败。 两者的通信端口是 9876(Add-on 侧监听,默认 localhost)。这个端口在官方 Add-on 和社区插件里是同一个默认值,所以两者不能同时跑。 MCP 客户端和 blender-mcp 之间才有「传输方式」的选择(stdio / Streamable HTTP),Add-on 和 blender-mcp 之间永远是本机 TCP socket。再补一个官方页面反复强调的前提:Blender does not have any built-in functionality for connecting to LLMs.Blender 自己不内置任何 LLM 连接能力。要接 AI,官方给出的清单是:Blender 5.1+、Add-on、兼容 MCP 的 LLM 客户端、MCP Server 本体——三样外部工具都要你自己装。二、方案一:官方 Llama.cpp 方式(纯本地,最快跑通) 适合人群: 想快速体验 MCP,希望纯本地运行,不依赖 VS Code 或 OpenCode。 1. 安装 Llama.cpp # Windows winget install llama.cpp# macOS / Linux brew install llama.cpp官方建议使用较新的版本(>= 8218)。Llama.cpp 是命令行工具,Windows 用 PowerShell,Mac/Linux 用系统自带终端。 2. 下载模型 官方测试过的模型:模型 GGUF 下载 特点Gemma 4 unsloth/gemma-4-26B-A4B-it-GGUF 26B 总参 / A4B 激活,MoE 架构Qwen 3.6 unsloth/Qwen3.6-35B-A3B-GGUF 35B 总参 / A3B 激活在 M3 MacBook 上官方实测过这两个具体量化版本:gemma-4-26B-A4B-it-MXFP4_MOE.gguf Qwen3.6-35B-A3B-Q5_K_M.gguf模型必须同时满足三个条件:支持 Tool Calling、支持 MCP、代码生成能力强。这一点很关键——Blender MCP 的工作方式就是「让模型写 Python 丢给 Blender 执行」,模型不会写代码或者不会调工具,整条链路就是空转的。 3. 安装官方 Add-on(这一步官方 Wiki 讲得最简,实际最有坑) 官方 Add-on 位于 Blender Lab,v1.0.3,最低要求 Blender 5.1.0。 方式 A:拖放安装(推荐) 把 .zip 直接拖进 Blender 窗口。官方特别提醒:需要拖两次。If you drag & drop into Blender you will need to do it twice. First to add the Blender Lab repository, secondly to install the add-on itself.第一次拖放是把 Blender Lab 扩展仓库(https://lab.blender.org/)加进 Blender 的仓库列表,第二次才是真正安装 MCP Add-on 本身。走仓库方式的好处是新版本发布时你能收到更新通知。 方式 B:从磁盘安装 下载 mcp-1.0.3.zip 后,在 Blender 的扩展管理界面用 Install from Disk。 装完别急着跑,有两件事必须做:在偏好设置里启用网络访问。Add-on 要开本地 TCP socket,如果系统级「Online Access」没开,Blender 会在偏好设置面板里报 Online access must be enabled in the system preferences,而且是静默失败——不报错你只会看到连不上。这个坑官方文档没写,但从 Add-on 源码里能确认。 确认端口和自动启动。在 Edit → Preferences → Add-ons → MCP 里能看到 Host / Port / Auto Start / Log 等选项。默认 localhost:9876,Auto Start 默认开启(延迟 1 秒启动,避免拖慢 Blender 启动),面板底部有 Start / Stop 按钮和运行状态指示灯。官方 Add-on 还支持后台模式,blender --background file.blend --command blender_mcp 可以在无界面下起服务(此时延迟响应不支持,命令必须同步完成)。 4. 下载 Blender MCP Server # Windows cd c:\ git clone https://projects.blender.org/lab/blender_mcp.git# macOS / Linux cd $HOME git clone https://projects.blender.org/lab/blender_mcp.git这会把 MCP Server 下载到 C:\blender_mcp 或 $HOME/blender_mcp。 5. 启动 Llama.cpp llama-server -m ./Qwen3.6-35B-A3B-Q5_K_M.gguf也支持 --hf-repo 和 --hf-file 让 llama 自己下载模型。 6. 启动 MCP Server(HTTP 传输) # Windows uv --directory C:\blender_mcp\mcp run blender-mcp --transport http --port 9191# macOS / Linux uv --directory $HOME/blender_mcp/mcp run blender-mcp --transport http --port 9191关于 uv:它是 Astral 的 Python 包管理器,uv --directory <路径> run <命令> 的意思是「切到这个目录,用这个目录里的项目环境执行命令」,避免你手动建 venv、装依赖。首次运行会自动解析 mcp/pyproject.toml 并装好依赖。 注意 9191 和 9876 的分工:9191 是 MCP Server 对外的 HTTP 端点(客户端连它),9876 是 MCP Server 回连 Blender Add-on 的端口(Add-on 监听它)。 7. 在 Web UI 里配置 MCP 打开 http://127.0.0.1:8080,你会看到 llama.cpp 的聊天界面。点击左下角 + → MCP Servers → Manage MCP Servers,然后:点 + Add New Server Server URL 填 http://127.0.0.1:9191/ 点 Add → Save settings保存后会看到 blender-mcp 出现在列表里,带 HTTP 徽章、Tools / Resources / Prompts 三个标签。之后在聊天框点 +,MCP Servers 一栏就能勾选 blender-mcp,直接开聊:Create a cube in Blender Generate a sci-fi scene in Blender模型会自动调用 blender-mcp 执行对应操作。 官方 MCP Server 提供的能力(源码里 mcp/blmcp/tools/ 下共 20 个工具模块)大致分四类:场景读取:get_blendfile_summary_datablocks、get_objects_summary、get_object_detail_summary、get_blendfile_summary_missing_files 执行代码:execute_blender_code 视觉反馈:get_screenshot_of_area_as_image、get_screenshot_of_window_as_image、render_thumbnail_to_path、render_viewport_to_path 界面导航:jump_to_tab_by_name、jump_to_view3d_object_by_name还有两个容易被忽略但很值钱的东西:内置文档检索——search_api_docs 和 search_manual_docs 能查 Blender Python API 参考和用户手册,模型写 bpy 代码时不用凭记忆瞎猜参数。 内置 prompt——连接时会下发一份初始指令,其中明确要求「先检查场景再动手,不要在未确认的情况下破坏性修改对象」,以及「优先用 bpy.ops 而不是裸 bpy.data」。官方还给了几个很能说明问题的示例提示词,比如: Analyze the scene and list the outliers: objects with highest polygon count but smaller size from the camera point of view.用官方 Classroom 演示文件跑,它能识别出 coat 1 约 37k 面数、alphabet 约 20k 面数,并告诉你 coat 1 的面数翻倍来自 Solidify 修改器。 再比如让它给 Geometry Nodes 生成文档: With the current open Blender file explain what the main geometry nodes setup is doing. Add inline documentation for it with frame elements.它会创建带颜色编码的文档帧和一份 Text 数据块:三、方案二:OpenCode 方式(stdio 传输,开发者日常) 适合人群: 已经在用 OpenCode,想统一管理多个 MCP Server。 这里要先纠正一个很常见但错误的配置格式。 网上(包括不少中文教程)会教你这样写: { "mcpServers": { "blender": { "command": "uv", "args": ["--directory", "/Users/yourname/blender_mcp/mcp", "run", "blender-mcp"] } } }这是 Claude Desktop / Cursor 那一类客户端的通用格式,不是 OpenCode 的。OpenCode 官方文档里的顶层键是 mcp,每个服务器要显式声明 type,command 是数组而不是 {command, args} 对象。 OpenCode 的配置文件位置:作用域 路径全局 ~/.config/opencode/opencode.json项目级 项目根目录的 opencode.json(可以安全提交到 Git)正确的配置 编辑 ~/.config/opencode/opencode.json: { "$schema": "https://opencode.ai/config.json", "mcp": { "blender": { "type": "local", "command": [ "uv", "--directory", "/Users/yourname/blender_mcp/mcp", "run", "blender-mcp" ], "enabled": true } } }Windows 只需改路径(注意 JSON 里反斜杠要转义): { "$schema": "https://opencode.ai/config.json", "mcp": { "blender": { "type": "local", "command": [ "uv", "--directory", "C:\\blender_mcp\\mcp", "run", "blender-mcp" ], "enabled": true } } }几个注意点:不要用 $HOME 这类环境变量占位。不少 MCP 客户端不支持变量展开,OpenCode 也建议直接写绝对路径(/Users/yourname/...)。 stdio 传输不需要 `--transport http --port 9191。客户端会自己拉起 blender-mcp 进程并通过标准输入输出通信,这是它和 llama.cpp 方案最大的区别。 想临时停掉某个 MCP,把 enabled 改成 false 就行,不用删配置。 多挂几个 MCP 时留意上下文消耗。OpenCode 官方文档明确提醒:MCP 工具会占用上下文,GitHub 这类工具多的服务器很容易撑爆 context limit。建议用 tools 段做按需开关:{ "tools": { "blender*": true, "some-heavy-server*": false } }启动 opencode进会话后直接:Create a cube in Blender Generate a sci-fi scene in Blender模型会自动调用 blender MCP Server。 验证配置是否生效: opencode mcp list四、方案三:社区插件 mcp-for-blender 适合人群:想要更完整的功能生态(资产库、AI 3D 生成、可视化校验),并且愿意用一个非官方实现。 项目地址:https://github.com/ahujasid/mcp-for-blender 先说清楚它的定位——README 开头就写着:Disclaimer: This is a third-party integration and not made by Blender.它是 MIT 许可的第三方集成,不是 Blender 官方项目。但它的功能完整度确实明显更高。 和官方方案的差异维度 官方 Blender MCP 社区 mcp-for-blender最低 Blender 5.1 3.0Blender 侧组件 官方 Add-on(扩展商店) 自带 Add-on(socket server)MCP Server 分发 从源码 clone + uv 跑 PyPI 包,uvx 一行拉起工具数量 20 个(偏场景读取 / 导航 / 渲染) 9 个(偏建模 / 资产 / 生成 / 视觉)资产库 无 Poly Haven、Sketchfab、Poly PizzaAI 3D 生成 无 Tripo、Hunyuan3D、Hyper3D Rodin、Meshy视觉反馈 截图 / 渲染 look 工具(多角度 / 线框 / X-ray / 动画条)内置文档 API 参考 + 用户手册 无安全模式 无 BLENDER_MCP_SAFE_MODE=1它最有意思的两个设计:look 工具——让 AI 能「看见」自己的作品。支持 viewport / camera / 多角度自动取景 / 动画条 / solid / material / rendered / wireframe / xray 视图,甚至能显示本地图片文件。这解决的是 AI Agent 的经典问题:光靠文本返回无法自检,能看才能改。 资产与生成一体化——search_assets / import_asset 直接把 Poly Haven 的 2400+ 个 CC0 资产拉进场景,generate_3d 一句话生成并导入 3D 模型。上图是社区插件在 Codex 里的实际效果:左边 Agent 对话,右边是实时挂载的 Blender 视口,AI 说「Created Wooden Pyramid」的同时模型已经出现在场景里了。 安装 前置条件:Blender 3.0+、Python 3.10+、uv。 uv 必须用官方安装器装,README 特意警告不要用 pip install uv——那样可能根本不会生成 uvx 命令,或者装到 MCP 客户端看不见的虚拟环境里: # macOS brew install uv# Linux curl -LsSf https://astral.sh/uv/install.sh | sh# Windows winget install --id=astral-sh.uv -e然后一条命令搞定: # macOS / Linux curl -LsSf https://www.mcp-for-blender.com/install.sh | sh# Windows PowerShell irm https://www.mcp-for-blender.com/install.ps1 | iex这个安装脚本会自动完成:装 uv(如果需要)→ 检测 MCP 客户端 → 配置你选中的客户端 → 安装并启用 Blender Add-on → 备份被修改的配置文件(.bak)。 它能自动识别的客户端包括:Claude Desktop、Claude Code、Codex、Cursor、VS Code、Devin Desktop / Windsurf、OpenCode、Antigravity。 不想跑脚本的话,等价的手动步骤是: # 检测客户端 + 写配置 + 装 Addon uvx mcp-for-blender setup# 只装 Blender Addon(复制成 blender_mcp.py 到 addons 目录) uvx mcp-for-blender install-addon# 查看本机检测到的 Addon 路径 uvx mcp-for-blender addon-paths⚠️ 包名变更提示:项目以前叫 blender-mcp,现在 PyPI 包名是 mcp-for-blender。旧命令 uvx blender-mcp 仍然能跑,不需要改已有配置,但新装建议用新名字。OpenCode 配置 社区插件 README 给的 OpenCode 配置就是正确的 mcp 键格式: { "$schema": "https://opencode.ai/config.json", "mcp": { "blender-mcp": { "type": "local", "command": ["uvx", "mcp-for-blender"], "enabled": true, "environment": { "BLENDER_HOST": "localhost", "BLENDER_PORT": "9876" } } } }装完记得:完全退出并重开 AI 客户端 → 打开 Blender(Add-on 会随 Blender 启动 socket server)→ 然后直接发建模请求。 在 Blender 界面里,按 N 打开 3D 视图侧边栏,能看到 MCP for Blender 面板,里面有 Start MCP Server 按钮和端口设置。 常用环境变量变量 默认值 作用BLENDER_HOST localhost Blender socket server 地址BLENDER_PORT 9876 Blender socket server 端口BLENDER_MCP_SAFE_MODE 关 设为 1 时执行前检查脚本DISABLE_TELEMETRY — 设为 true 关闭全部遥测要同时开两个 Blender 实例,就给第二个实例换一个端口(CLI 参数 --port 9877),并记得在对应实例的 Add-on 面板里改成同一个端口。五、三种方式横向对比项目 官方 Llama.cpp 官方 + OpenCode 社区 mcp-for-blender安装难度 简单 中等 中等(有脚本)UI Web 界面 Terminal TerminalMCP 配置方式 Web 里添加 JSON 配置 JSON 配置(或脚本自动写)多 MCP 管理 一般 强 强开发体验 普通 优秀 优秀Agent 能力 基础 更强 更强(含视觉自检 / 资产生成)模型自由度 完全本地 由 OpenCode 决定 由 OpenCode 决定适合人群 普通用户 开发者 要资产 / 要 AI 生成 3D 的用户推荐结论:只想验证 Blender MCP 是否可用 → 官方 Wiki 的 Llama.cpp Web UI 方案,部署最快,且模型完全跑在本地。 要长期用 MCP 工作流 → OpenCode + 官方 Blender MCP。可同时挂载多个 MCP、配置可版本管理、使用习惯和 Claude Code / Cline 接近,而且官方版本自带 API 文档检索,模型写 bpy 代码的准确率明显更高。 要更强的「AI 动手能力」 → 社区 mcp-for-blender,重点是 look 视觉反馈和资产 / 3D 生成生态。六、安全边界:必须认真看的一段 官方页面的警告原文:The MCP server will execute LLM generated code in Blender without any guards in place to protect your data from removal or being sent to a remote location. To keep your data safe it is recommended to use a virtual machine, or a system without access to sensitive information.翻译成人话:这套东西的本质是「让模型写的 Python 在你的 Blender 里跑」,没有任何沙箱。模型判错一次,就可能删掉你的场景、把数据发到别的地方。 具体风险点:任意代码执行。官方 execute_blender_code 和社区的同名工具都能跑任意 Python。 Socket 无认证无加密。社区插件 README 明确说:任何能访问到 9876 端口的人都能在你 Blender 里跑 Python。所以只监听 localhost,绝不要暴露到公网,远程连接走 SSH tunnel。 没有 undo 保护。社区插件的建议很实在:ALWAYS save your work before using it. 官方 add-on 还需要「网络访问」权限。为了开本地 socket,Blender 的 Online Access 必须打开——这本身也放宽了一点系统级限制。对应的防护手段:用虚拟机跑 Blender,或者至少别让这台机器碰敏感数据 社区插件开启 BLENDER_MCP_SAFE_MODE=1(会拦截读写真文件、运行外部程序、访问网络、装常驻代码) 手动保存 .blend 文件再开聊 只监听 localhost 官方 add-on 的偏好设置里打开 Log,能打印每次工具请求和响应状态,出了问题好回溯顺带一提,官方 add-on 里还带了个 weak_sandbox.py 模块,说明这层防护是被官方承认的长期方向,而不是我多虑。七、资源链接 官方Blender MCP 主页:https://www.blender.org/lab/mcp-server/ 官方仓库:https://projects.blender.org/lab/blender_mcp Llama.cpp 接入文档:https://projects.blender.org/lab/blender_mcp/wiki/Llama.cpp Setup 文档(stdio 客户端):https://projects.blender.org/lab/blender_mcp/wiki/Setup Releases(.mcpb Bundle / Add-on zip):https://projects.blender.org/lab/blender_mcp/releases Blender Lab 扩展仓库:https://lab.blender.org/社区mcp-for-blender:https://github.com/ahujasid/mcp-for-blender 项目官网:https://mcp-for-blender.com/ PyPI:https://pypi.org/project/mcp-for-blender/客户端Llama.cpp:https://github.com/ggml-org/llama.cpp OpenCode MCP 文档:https://opencode.ai/docs/mcp-servers/本文所有命令与配置均来自官方 Wiki、官方仓库源码与社区项目 README 实测核对。配图取自 Blender 官方页面与社区项目仓库,版权归原作者所有,仅作技术说明用途。
-
BrodyGao - 2026/08/05
不用花钱订阅AI绘画,我开始尝试本地部署文生图模型了|Flux 2.0 + Draw Things 体验
最近几年,AI 绘画的发展速度真的有点夸张。 从最开始需要复杂的提示词,到现在各种在线产品已经可以直接生成电影海报、产品图、插画,效果越来越接近专业设计师的工作流。 像 Midjourney、即梦、Higgsfield 这些在线产品,现在的体验已经非常成熟,打开网页输入一句话,很快就能得到高质量图片。 但是在体验这些工具的时候,我一直有一个想法: 如果未来 AI 创作成为一种基础能力,我们是不是应该拥有属于自己的本地 AI 工具? 所以最近开始尝试一些可以免费部署的小模型。 今天体验的是 Draw Things + Flux 2.0 模型。 Draw Things 是一个可以在本地运行 Stable Diffusion、Flux 等模型的 AI 绘图工具,支持 Mac、iPhone、iPad 等设备。 这次使用 Flux 2.0 生成了一组手绘插画风格图片。这次生成的成果 这是我用 Draw Things + Flux 2.0 生成的一张世界地标插画:整体效果让我有点惊喜。尤其是在这些细节上: ✅ 木刻版画那种不规则的线条感 ✅ 老式旅行海报的复古色彩 ✅ 手绘插画中的纸张纹理 ✅ 素描和版画结合的艺术效果 虽然和一些顶级在线模型相比,在理解复杂场景、人物细节方面还有差距,但是对于这种风格化创作,本地模型已经完全可以满足很多需求。Draw Things 是什么? Draw Things 是一款完全免费、开源的本地 AI 绘图应用,专门为 Apple 设备优化(Mac、iPhone、iPad)。它本质上是一个 Stable Diffusion / Flux 模型的 GUI 客户端。 核心特点特点 说明完全免费 无需订阅,无次数限制本地运行 所有计算都在你的设备上,数据不上传云端支持多种模型 Stable Diffusion 1.5/SDXL、Flux.1/2.0 等Apple Silicon 优化 针对 M1/M2/M3/M4 芯片做了深度优化跨设备同步 Mac、iPhone、iPad 可以共享模型和工作流Flux 2.0 是什么? Flux 是由 Black Forest Labs(前 Stability AI 核心团队)开发的下一代开源图像生成模型。Flux 2.0 [klein] 4B 是其精简版本——只有 40 亿参数,但在风格化创作、文本理解方面已经非常接近顶级闭源模型。💡 Draw Things 的中文界面非常友好,左侧可以选择模型(基本设置)、调节 LoRA、强度等参数,中间是画布,右侧是历史记录和工具。下面是我实际操作时的界面截图:可以看到我正在使用 FLUX.2 [klein] 4B (8-bit S) 模型生成一张乞力马扎罗山和维多利亚瀑布的复古旅行海报。完整的提示词分享 为了在 Draw Things 中重现这种风格,我构建了一个详细的提示词。这种风格结合了手绘素描、复古版画纹理和低饱和度的泥土配色。 提示词(Prompt) 你可以直接复制以下英文提示词到 Draw Things 的提示词输入框中:Hand-drawn illustration, vintage woodblock print texture, sketch-style art, printed on aged, textured cream-colored paper with visible fibers and grain. A world landmark collage panorama featuring, from left: a section of terracotta-colored Great Wall fortifications, the Colosseum in Rome, a white Mayan-style step pyramid, the Taj Mahal, and the Christ the Redeemer statue. The landmarks are arranged across rolling olive-green and brown hills, with stylized bushes and trees in the foreground. The sky is a large expanse of the textured paper with a few sketched, fluffy brown clouds. The color palette is muted and earthy: terracotta, olive green, muted gold, and off-white. All elements have irregular, dark brown ink lines with some stippling and cross-hatching textures. Small radiating light lines emanate from the tops of the Colosseum and the Taj Mahal. Nostalgic, educational, handcrafted travel poster aesthetic, intricate detail, high resolution, vector illustration style with organic textures.提示词详解 为了帮助你理解并根据需要进行微调,以下是提示词的详细解析:风格与纹理 (Style & Texture): Hand-drawn illustration, vintage woodblock print texture, sketch-style art(手绘插画,复古木刻版画纹理,素描风格艺术)。这是核心。 纸张背景 (Paper Background): printed on aged, textured cream-colored paper with visible fibers and grain(印在带有明显纤维和纹理的陈旧米色纸张上)。这决定了图像的基础质感。 主体内容 (Subject Matter): World landmark collage panorama featuring, from left: a section of terracotta-colored Great Wall fortifications, the Colosseum in Rome, a white Mayan-style step pyramid, the Taj Mahal, and the Christ the Redeemer statue.(世界地标建筑拼贴全景,从左起依次为:赤陶土色的长城城墙、罗马斗兽场、白色的玛雅式阶梯金字塔、泰姬陵和救世主基督像)。明确了具体元素和位置。 场景与构图 (Scene & Composition): Arranged across rolling olive-green and brown hills, with stylized bushes and trees in the foreground. The sky is a large expanse of the textured paper with a few sketched, fluffy brown clouds.(排列在连绵起伏的橄榄绿和棕色山丘上,前景有风格化的灌木和树木。天空是大片的纹理纸张,有几朵手绘的、蓬松的棕色云朵)。 颜色与线条 (Color & Line): Muted and earthy color palette (terracotta, olive green, muted gold, off-white). All elements have irregular, dark brown ink lines with some stippling and cross-hatching textures.(柔和的泥土色调调色板:赤陶土、橄榄绿、柔和金、米白。所有元素都有不规则的深棕色墨水线条,带有一些点画和交叉影线纹理)。强调了非纯黑线条和低饱和度色彩。 特殊细节 (Special Details): Small radiating light lines emanate from the tops of the Colosseum and the Taj Mahal.(斗兽场和泰姬陵顶部散发出小的放射状光线)。 氛围与质量 (Atmosphere & Quality): Nostalgic, educational, handcrafted travel poster aesthetic, intricate detail, high resolution, vector illustration style with organic textures.(怀旧、教育性、手工制作的旅游海报美学,复杂的细节,高分辨率,带有有机纹理的矢量插画风格)。负面提示词建议 为了确保风格纯正,建议在 Draw Things 的负面提示词中添加以下内容,以防止 AI 生成过于现代或逼真的效果:photorealistic, 3d render, clean lines, modern, digital art, bright colors, glossy texture, sharp edges, gradients, vector clean, photo, painting (照片级真实感,3D 渲染,干净线条,现代,数字艺术,亮色,光滑纹理,锐利边缘,渐变,矢量洁净,照片,绘画)进阶玩法:替换主题 如果你想用同样的风格生成其他主题,比如「中国地标插画」,只需要替换 Subject Matter 部分: A world landmark collage panorama featuring, from left: a section of the Forbidden City in Beijing, the Shanghai Oriental Pearl Tower, a traditional Chinese pagoda, the Potala Palace in Tibet, and the Terracotta Warriors. The color palette is muted and earthy: vermillion red, ink black, jade green, and rice paper white.其他部分(风格、纸张、线条)保持不变,就能得到一张风格一致的中国地标插画。为什么我开始关注本地 AI 创作? 更重要的一点: 它没有次数限制。 不用考虑每个月几十美元的订阅费用,也不用担心自己的创作数据上传到云端。 当然,本地部署也有明显缺点: 比如需要一定硬件配置,模型下载需要几十 GB 空间,生成速度也没有云端 GPU 那么快。 但是我觉得这可能是未来一个重要趋势: 云端 AI 负责极致效果,本地 AI 负责自由创造。 未来每个人可能都会拥有一个属于自己的 AI 工作站。 它了解你的审美、你的工作习惯、你的创作方向。 本地 vs 云端:创作工具的两种哲学维度 云端 AI(Midjourney / 即梦) 本地 AI(Draw Things)使用成本 每月 $10-$60 订阅 完全免费硬件要求 任何能上网的设备 需要较强的 GPU/统一内存生成速度 5-15 秒 30 秒-几分钟次数限制 有 无限制数据隐私 提示词和图片会上传 完全本地商用授权 取决于订阅档位 Flux 等开源模型可商用模型可定制 不可 可加载 LoRA、ControlNet 等后面还想尝试的方向 这次只是简单测试了一下 Flux 2.0 的插画能力,后面还会继续尝试:本地 AI 图片工作流:结合 ControlNet、IP-Adapter 实现更精准的控制 AI 视频生成:Wan 2.2、HunyuanVideo 等本地视频模型的部署 AI 声音克隆:用 Fish Speech / CosyVoice 搭建自己的语音工作站 AI Agent 自动化创作:让 AI 帮我们调度模型、批处理图片、自动发布AI 时代真正有价值的能力,可能不是会不会使用某一个工具,而是能不能搭建属于自己的 AI 生产系统。资源链接Draw Things 官网:https://drawthings.ai Draw Things GitHub:https://github.com/drawthingsai/drawthings Flux 模型(Black Forest Labs):https://blackforestlabs.ai Hugging Face 模型下载:https://huggingface.co/black-forest-labs推荐配置:Apple Silicon Mac(M1 Pro 或更高)、16GB+ 统一内存、50GB+ 可用存储。
-
BrodyGao - 2026/06/26
Ideogram 4 正式开源:不输 GPT-Image 与 Midjourney 的 9.3B 图像模型,支持本地部署!
开源图像生成的「GPT 时刻」 2026 年 6 月 3 日,AI 图像生成公司 Ideogram 悄悄做了一个大动作:将旗下旗舰模型 Ideogram 4 的权重全面开源。 这不是一次常规的社区炒作。这是当前开源图像生成领域实力最强的模型——在多个第三方评测中,它不仅是所有开源模型中的第一名,而且在实际盲测中仅次于闭源的 GPT Image 2,把 Flux、Stable Diffusion、Hunyuan 等当红开源模型远远甩在身后。 简而言之:你用本地 GPU 跑出来的图,质量已经和顶级闭源服务不相上下了。Ideogram 4 是什么 Ideogram 是一家由前 Google Brain 研究员创立的 AI 图像公司,此前以精准的文字渲染(Text-in-Image)能力在设计师群体中积累了口碑。Ideogram 4 是他们的 首个开放权重模型——从头训练的基础模型,而非任何现有模型的微调。 几个关键数字:指标 数值参数量 9.3B架构 流匹配 Diffusion Transformer(DiT)文本编码器 Qwen3-VL-8B-Instruct最大原生分辨率 2048 × 2048宽高比范围 最高 6:1量化版本 nf4(CUDA)、fp8(全平台)许可证 非商业许可(商业需联系授权)推理代码许可 Apache 2.0六大核心能力拆解 1. 原生 2K 分辨率生成 大多数开源图像模型(如 SDXL、Flux)原生只能生成 1024×1024,要上 2K 必须依赖超分辨率后处理。Ideogram 4 直接原生支持 256–2048 的任意分辨率(16 的倍数),宽高比最高支持 6:1。 这意味着从方形缩略图到超宽横幅,一套权重全搞定——噪声调度会根据分辨率自动调整。 2. JSON 结构化提示词 这是 Ideogram 4 最独特的创新。模型完全在结构化 JSON 标注上训练,你可以用 JSON 精确控制:调色板:通过 colour_palette 数组指定十六进制颜色,每张图最多 16 个颜色 边界框布局:通过 bbox 坐标(y_min, x_min, y_max, x_max)精确放置主体和文字 空间组合:通过 compositional_deconstruction 逐元素描述每个对象的位置、大小、外观这对于 UI 原型设计、海报排版、数据可视化等需要精确控制的场景,价值巨大——AI 生图从「抽卡」变成了「编程」。 不想手写 JSON?Ideogram 提供了 Magic Prompt API(免费),自动将自然语言提示词转换为结构化 JSON。 3. 最强文字渲染 AI 生图中的「文字」一直是老大难问题。Ideogram 4 在这方面做到了开源最强:在 X-Omni OCR 英文准确率评测中,取得 0.97 的高分 以 9.3B 参数,领先 Qwen-Image(20B)、FLUX.2 dev(32B)、HunyuanImage 3.0(80B MoE)等参数量大得多的模型 支持多行文字、Logo、标语、水印的高保真生成在 ContraLabs 由 10 位专业设计师进行的盲测中,Ideogram 4 的排版能力以 47.9% 的第一名胜率大幅领先 Nano Banana 2(30.0%)、FLUX.2 [max](15.5%)和 Grok Imagine 1.0(15.0%)。 4. 极致参数效率 9.3B 的参数,在如今动辄 30B、80B 的图像模型里不算大。但 Ideogram 4 的评测结果表明——架构设计比堆参数重要得多。它在文本渲染、布局控制等核心维度上超越了参数量数倍于它的对手。 5. 全面可控性 除了 JSON 提示词,Ideogram 4 还支持:色彩调色板条件控制:直接指定主色调 非对称分类器自由引导:条件分支和无条件分支可独立优化,分别控制提示词遵循度和图像质量 多采样预设:V4_QUALITY_48(最高质量 48 步)、V4_DEFAULT_20、V4_TURBO_126. 安全审核集成 内置 Hive 文本和视觉内容审核,支持在推理时自动过滤不安全内容。技术架构:为什么 DiT + VLM 是正确答案 Ideogram 4 的架构有三个值得关注的设计决策: 全单流 DiT 文本和图像 token 拼接为统一序列,通过同一个 34 层 Transformer 处理——没有独立的文本分支或图像分支。这意味着每一层都能进行跨模态交互,而非在某个融合层才「见面」。 视觉语言模型做文本编码器 大多数图像模型用 CLIP 或 T5 做文本编码器,Ideogram 4 用的是 Qwen3-VL-8B-Instruct——一个完整的视觉语言模型。 更关键的是,它不从最后一层取隐藏状态,而是从 13 个中间层分别提取并拼接。这给了 DiT 多尺度的语义特征:浅层提供表面级 token 信息,深层提供组合性理解。 流匹配范式 使用 Flow Matching 替代传统扩散过程,用 Euler 采样器在 logit-normal 噪声调度上积分。相比 DDPM/DDIM,训练效率更高,推理质量也更好。横向对比:Ideogram 4 到底有多强 Design Arena(设计竞技场) 在 Design Arena 整体排行榜中:开源模型第一,以显著优势领先第二名 仅落后于 GPT 和 Gemini 两个闭源模型 在开源模型中以「断崖式」领先ContraLabs 专业设计师盲测 10 位顶级设计师盲测排版能力,Ideogram 4 在两项核心指标上全部第一:模型 第一名胜率 实际可用性(/5)Ideogram 4 47.9% 3.55Gemini 3.1 Flash 30.0% 2.84FLUX.2 [max] 15.5% 2.49Grok Imagine 1.0 15.0% 2.61Ideogram 内部评测 由专业平面设计师盲测,Bradley-Terry 评分:总排名第二,仅次于 GPT Image 2 medium 开源模型排名第一开源基准测试基准 测试能力 Ideogram 4 表现7Bench 布局控制 显著优于所有闭源模型SpatialGenEval 空间推理 接近领先闭源模型X-Omni OCR 文字渲染 最佳开源模型(0.97)Prism 提示词对齐 接近领先闭源模型一句话总结 如果说之前的开源图像模型是在「追赶」,Ideogram 4 就是在「并跑」。尤其是在设计和排版场景下,它几乎追平了闭源最强模型。本地部署指南 硬件要求量化版本 所需显存 支持平台nf4 ~13GB(双 UNet + CLIP GGUF) 仅 CUDA(NVIDIA GPU)fp8 更高 全平台最低配置推荐:16GB 显存的 NVIDIA GPU(如 RTX 4080、RTX 5070)。 步骤一:获取模型权重 模型权重在 Hugging Face 上设有访问门控,需要两步:访问模型页面,点击 「Agree and access repository」 接受许可协议nf4 版本:ideogram-ai/ideogram-4-nf4 fp8 版本:ideogram-ai/ideogram-4-fp8创建 Hugging Face 访问令牌并登录:hf auth login # 或直接导出 export HF_TOKEN="hf_..."步骤二:安装推理代码 git clone https://github.com/ideogram-oss/ideogram4 cd ideogram4 pip install .步骤三:获取 Magic Prompt API Key(免费) Magic Prompt 自动将自然语言转换为 JSON 提示词,注册即用: https://developer.ideogram.ai/ export IDEOGRAM_API_KEY="your_key_here"步骤四:运行推理 python run_inference.py \ --prompt "a ginger cat wearing a tiny wizard hat reading a spellbook" \ --output out.png \ --quantization "nf4" \ --magic-prompt-key "$IDEOGRAM_API_KEY"最高质量模式(原生 2K): python run_inference.py \ --prompt "..." \ --output out.png \ --quantization "nf4" \ --height 2048 \ --width 2048 \ --sampler-preset V4_QUALITY_48ComfyUI 集成(社区方案) ComfyUI 已实现 Day 0 支持,需要升级到 v0.24.0+。 安装配置在 ComfyUI 模板库中,找到 「Ideogram v4(滑滑板图标)」的本地运行模板(注意:还有一个是调用在线 API 的,不要选错)模型下载地址:modelscope.cn/models/Comfy-Org/Ideogram-4社区踩坑经验 来自知乎用户的实际测试反馈:双 UNet 结构:正面条件和负面条件各需要一个 UNet,即使用 nf4 量化也要 ~11GB CLIP 编码器很大:Qwen3-VL-8B 又是一个 ~11GB,建议用 GGUF 量化版本(unsloth/Qwen3-VL-8B-Instruct-GGUF) CFG 参数注意:CFG Override 的 start_percent 应设为 0.7,K Sampler 用 euler 最省显存方案:两个 UNet 都用 nf4,CLIP 用 GGUF,峰值显存约 13GB+ bbox 坐标格式:注意是 [y_min, x_min, y_max, x_max],而非常见的 [x, y, w, h]16GB 显存用户的一个痛点是每次改提示词都要重新加载 CLIP,机械硬盘用户出 1M 图要一分钟以上。强烈建议上 SSD。JSON 提示词实战 不想手写 JSON?用大模型生成。以下是社区验证有效的提示词模板(将最后一句替换为你的需求): Please act as a scene composition assistant. Given my request for an image, you must output a single JSON document that describes the scene in a structured, render-ready form. Output JSON only — no prose, no markdown fences, no commentary.Your response MUST be a single valid JSON object matching exactly this shape:{ "high_level_description": "...", "style_description": { "aesthetics": "...", "lighting": "...", "photo": "...", "medium": "...", "color_palette": ["#XXXXXX", "#XXXXXX"] }, "compositional_deconstruction": { "background": "...", "elements": [ { "type": "obj", "bbox": [y_min, x_min, y_max, x_max], "desc": "...", "color_palette": ["#XXXXXX"] } ] } }Hard constraints: - bbox coordinates: [y_min, x_min, y_max, x_max] on a 1000×1000 canvas - All keys are required. Output valid JSON and nothing else.Now, generate the JSON based on my image request: [你的绘画需求]用 Gemini Flash 或 GPT-4o 来生成 JSON 提示词,效果最好。写在最后:开源图像模型的转折点 Ideogram 4 的开源有几个信号值得关注:开源不再等于「够用就行」。它在设计和排版场景下已经逼近甚至超越闭源最强模型,这对 Midjourney、DALL·E 构成真实压力。架构创新比参数量重要。9.3B 的模型在多个维度上碾压 30B、80B 的对手——单流 DiT + VLM 编码器 + JSON 结构化训练的组合拳,可能是下一代图像模型的标配。本地部署的体验门槛在降低。nf4 量化 + GGUF CLIP 编码器已经能在 16GB 消费级显卡上跑,虽然速度不如云端服务,但对于追求隐私和可控性的用户,这是一个真正的选择。「可编程生图」是新方向。JSON 提示词看似增加了使用门槛,但它将 AI 生图从「描述性」推向了「精确控制」,打开了 UI 原型、排版设计、数据可视化等严肃应用场景的大门。最后也说一句实话:如果你只是偶尔生成几张图玩,直接用 ideogram.ai 的在线服务就够了。但如果你需要精确控制、本地隐私、批量生成,或者你想在自己的产品中集成图像生成能力——Ideogram 4 可能是当下最好的开源选择。