最近开发者圈子里刷屏的一个项目，叫 video-use。把拍好的原始视频丢进一个文件夹，打开 Claude Code 跟它说一句"帮我把这个剪成成片"，过一会儿你就得到一个剪掉了口头语和冷场、调好了色、烧好了字幕的 mp4。
这个项目由知名智能体框架 browser-use 团队开源，采用 MIT 协议，截至 9 月下旬 Star 数已突破 2.5 万，本周长期霸榜 GitHub 热门列表。
很多人看到的第一反应是："AI 都进化到能看懂视频了？"
恰恰相反——这个项目最值得聊的技术点，是 AI 从头到尾没有"看"过一个画面。它是怎么做到的？为什么团队要这样设计？普通人和开发者用的时候要注意什么？今天一次拆清楚。
一、事件复盘
video-use 出自 browser-use 团队。这个团队此前因开源同名浏览器智能体框架而广为人知——让大模型通过结构化的页面信息驱动浏览器干活，而不是靠"看截图"点鼠标。video-use 沿用了同一套思路，只不过这次的对象从网页换成了视频。
它的使用方式大致是这样的：
- 把原始素材放进一个文件夹，在 Claude Code 里说一句"把这些剪成一条发布视频"；
- 智能体先盘点素材、提出剪辑方案（用哪几条素材、删什么、整体结构怎么排），等你确认后才会动手；
- 确认后自动执行：删除"嗯、啊"之类的填充词和镜头间的死时间、按预设调色、在剪切点做音频渐变、烧入字幕；
- 渲染完成后它会自查成片，检查剪辑点有没有画面跳变、字幕有没有被遮挡，发现问题就重渲染，最多重试三次。
除了基础剪辑，它还能通过 Manim、Remotion、PIL 等工具生成动画叠加层，并且用 project.md 文件记住上一次剪辑的进度和决策，方便跨会话继续干活。
项目发布后热度迅速攀升，从披露时的 2.2 万多 Star 涨到 9 月下旬的 2.5 万以上。核心功能覆盖了口播、访谈、教程类视频百分之八十的剪辑工时——去填充词、选条、加字幕，正是这类视频最耗时间的环节。
二、技术核心拆解
这个项目最聪明的地方，是拒绝让模型"看"视频。
视频是对大模型最不友好的数据格式。一秒钟的视频拆成帧就是二三十张图片，直接塞进模型上下文，费用会爆炸，而且模型看图判断"哪里该剪"也不准。video-use 的做法是把问题整个换掉：
- 转写替代观看。每段素材只调用一次语音转写服务（ElevenLabs Scribe），拿到的是逐词时间戳、说话人分离标记，以及笑声、掌声这类音频事件标注。
- 一整场素材压成一个文本包。全部转写结果打包后只有大约 12KB，大模型可以一次读完全文。模型面对的不再是几小时的画面，而是一份带精确时间坐标的"逐字剧本"。
- 文本才是主界面。模型在这份剧本上做推理：哪些是填充词、哪里是冷场、访谈结构怎么排。只有当某个剪辑点拿不准、需要"亲眼确认"时，它才会生成一张胶片条加波形的组合图，看一眼做兜底。
- 剪辑清单驱动渲染。模型的决策最终输出成一份剪辑决策清单（EDL），由 ffmpeg 这个老牌音视频命令行工具真正执行切割、拼接、调色、烧字幕。
工程细节上也能看出打磨痕迹：每个剪切点两侧做 30 毫秒的音频淡入淡出，避免拼接处出现"啪"的爆音；字幕默认按两词一组切分，这是短视频行业反复验证过的可读性惯例。有评论认为，这些细节说明写工具的人是真剪过视频的。
这套设计本质上是一条通用经验：让 AI 处理多媒体时，先把它降维成模型最擅长的文本，再让确定性的工具去动原始文件。模型负责判断，ffmpeg 负责执行，各干各擅长的。
三、常见技术误区
误区一：AI 剪视频，说明 AI 看懂了画面
这是最常见的误解。video-use 的 AI 全程没有逐帧观看视频，它"看"的是转写文本。它知道"第 3 分 12 秒到 3 分 15 秒有句废话"，是因为转写里那三个词带着时间戳，而不是因为它看见了说话人的表情。
这带来一个直接的边界：如果视频的关键信息在画面里而不在语音里——比如默剧、纯画面叙事的 Vlog、需要靠表情判断情绪的访谈——它就抓瞎了。工具官方场景也明确锁定在口播、访谈、教程、播客切片这类"以说话为主"的内容上。
误区二：开源免费，所以用起来零成本
代码是 MIT 协议，随便用、可自托管，这没错。但实际跑起来有两笔持续开销：一是语音转写要用 ElevenLabs 的 API Key，按用量计费，官方仓库并没有公布这部分的价格表；二是 Claude Code 这类智能体本身的调用费用。开源省下的是软件授权费，不是使用成本。拿它对标动辄每月几十美元的订阅制剪辑工具之前，先按自己的素材量估一下账。
误区三：把安装指令整段粘给智能体就万事大吉
这可能是最值得警惕的一条。这个项目的快速安装方式，是把一段英文指令粘贴给 Claude Code，让智能体自己去克隆仓库、装依赖、注册技能、向你要 API Key。方便是真方便，但这等于把你机器上有命令行权限的智能体，交给一段第三方文本来指挥。
在安全领域这叫提示注入风险的典型场景：你并不需要逐行审查每一行代码，但至少应该先读一遍仓库里的安装文档和技能说明，确认它要做什么，再放手让智能体执行。把"AI 帮我装"直接等同于"我可以不看了"，功能便利和安全边界就混为一谈了。
四、实操指引
如果你是个人创作者或开发者，想上手试试，按下面的路径走比较稳：
- 先判断自己是不是目标用户。你需要会用终端、装过 ffmpeg、有一个能跑的编程智能体（Claude Code、Codex 等）。如果你的全部剪辑经验是把视频拖进剪映时间线，这个工具的学习成本对你不划算。
- 环境准备：Python 3.11 以上版本、安装 ffmpeg、克隆仓库并把技能注册到智能体的技能目录、配置 ElevenLabs API Key（官方提供免费额度，可以先小规模试水）。
- 先拿不重要的素材试刀。第一次跑全流程，用不心疼的素材，观察它的剪辑方案、字幕样式、调色效果是否符合预期，再决定是否用于正式内容。
- 管好 API Key 和账单。给转写服务设置独立的用量上限，避免一次大批量转写把账单拉爆。
- 敏感素材要三思。语音上传到第三方云端转写，意味着音频离开了你的电脑。涉及公司内部会议、未发布产品、他人隐私的内容，先确认是否有授权、是否符合所在组织的数据合规要求，再决定是否上传。真要处理敏感素材，稳妥路径是先在本地完成脱敏或自行评估转写服务的合同条款。
- 素材先备份。这个工具还没有发布正式的版本号，属于快速迭代期项目。动原始素材之前，先复制一份，任何自动化流程都不应该直接在你的唯一副本上动刀。
一句话总结适用边界：口播、访谈、教程、播客切片，它可以当主力；调色级精修、复杂动效、多团队协作，专业软件仍然是更好的选择。
五、结尾
video-use 火起来，表面上是"AI 会剪视频了"，实际上演示了一种更值得记住的工程思路：不硬刚模型的能力边界，而是把不擅长的部分（看画面）整个绕过去，换成它擅长的（读文本、做规划），再让确定性工具执行。
对普通用户，记住三点就够：AI 剪的是字幕不是画面；开源不等于免费；让智能体替你执行任何第三方指令之前，先花十分钟读一遍它到底要干什么。
工具的形态会迭代，但这套"模型负责判断、工具负责执行、人类负责确认"的分工方式，大概率会是未来很长一段时间里 AI 干活的标配。
如果这篇文章帮你省了一次踩坑，欢迎转发给同样在折腾 AI 工具的朋友。