Seedance 2.0 完整操作手册:AI 视频创作进入人人都是导演时代

Seedance 2.0 完整操作手册:AI 视频创作进入人人都是导演时代

这两天,字节的AI视频模型Seedance 2.0 彻底出圈了

到处都是 Seedance 2.0 的生成AI作品

有人用它做出了电影级的追逐戏,有人用它复刻了广告大片的运镜,还有人拿它做古装穿越剧和各种武打动作片,画面精致到让人分不清是AI生成的还是真人拍的。

不夸张地说,Seedance 2.0 这波更新,直接把AI视频生成的门槛踩到了地板上。

为什么这么火?因为它解决了一个所有创作者都头疼的问题:以前AI视频只能"生成",现在终于能"控制"了。

用图片、视频、音频、文字自由组合,人人都能当导演

 

我们都知道,以前做 AI 视频,你只能打字描述想要什么画面,或者最多放一张图当起始帧。说实话,这种方式表达能力太有限了——你脑子里想的是电影级别的镜头感,打出来的却只是干巴巴的一段话。

现在不一样了。

它不再只是一个"文生视频"工具了,而是变成了一个真正能听懂你想法的多模态视频创作平台。你可以同时丢给它图片、视频、音频、文字,告诉它每个素材分别干嘛用,然后它帮你把这些东西揉在一起,生成一段完整的视频。

听起来有点抽象?没关系,下面我把所有功能和玩法拆开了讲。

先搞清楚:Seedance 2.0 到底能干嘛?

最核心的变化就一个词:多模态。

以前的视频生成工具,输入基本就两种:文字描述,或者一张首帧图。你想控制镜头怎么动、角色做什么表情、背景音乐什么节奏,基本只能靠提示词硬写,写得好不好全凭经验。

Seedance 2.0 直接把输入扩展到了四种模态:

图片:最多上传 9 张,可以指定角色长相、场景风格、服装细节、商品外观,甚至分镜脚本图都行。

视频:最多上传 3 个(总时长不超过 15 秒),可以让模型参考里面的运镜方式、动作节奏、转场特效,相当于给模型一个"样片"。

音频:支持 MP3 上传,最多 3 个(总时长不超过 15 秒),可以指定背景音乐、音效风格、甚至参考某个视频里的旁白音色。

文字:自然语言描述,写清楚你想要什么画面、什么动作、什么节奏就行。

这四种输入可以自由组合,混合上传的文件总上限是 12 个。生成的视频时长最长 15 秒,可以自由选择 4 到 15 秒,而且自带音效和配乐。

简单来说,你终于可以像一个真正的导演一样去"指挥"AI了:用图片定风格,用视频定动作,用音频定节奏,用文字定剧情。

核心参数一览

先看看 Seedance 2.0 能接受什么输入、能输出什么:

参数说明
图片输入最多 9 张
视频输入最多 3 个,总时长不超过 15 秒
音频输入支持 MP3,最多 3 个,总时长不超过 15 秒
文字输入自然语言描述(中英文都行)
生成时长4-15 秒,自由选择
声音输出自带音效和配乐
文件总上限所有素材加起来最多 12 个文件

小建议:素材不是越多越好。优先上传对画面或节奏影响最大的素材,合理分配数量。

 

怎么用?操作方式详解

第一步:选对入口

打开即梦,找到 Seedance 2.0,你会看到两个入口:

  • 首尾帧入口:只上传首帧图 + 文字描述时用这个
  • 全能参考入口:需要多模态组合(图片 + 视频 + 音频 + 文字)时用这个

怎么选?记住一个原则:素材只有一张图加文字,走首尾帧;素材超过一张图,或者有视频、音频参与,走全能参考。

大部分情况下选择全能参考即可,它支持各种参考输入,也就是最新的 seedance 2.0能发挥最大能力的方式。

 

第二步:上传你的素材

点击上传按钮,从本地选文件。图片、视频、音频都可以直接拖进去。上传成功后,所有素材会出现在输入框区域,鼠标悬停可以预览内容。

小建议:上传前想好哪些素材最关键。总共只能传 12 个文件,优先上传对画面风格和节奏影响最大的素材。

 

第三步:用"@"给每个素材分配任务(最关键)

这一步是 Seedance 2.0 最核心的操作,也是很多新手容易忽略的地方。

上传完素材后,你需要在提示词里通过 @素材名 来告诉模型,每个素材具体干什么用。模型不会自己猜,你不说清楚,它就可能乱用。

比如:

  • @图片1 作为首帧
  • @视频1 参考镜头语言
  • @音频1 用于配乐

怎么唤起@:

方法一:在输入框里直接打一个"@"字符,会自动弹出已上传素材的列表,点击你要引用的素材,它就落入输入框了。

 

方法二:点击输入框旁边参数工具栏的"@"按钮,同样会弹出素材列表。

 

@的正确写法示例:

指定首帧和参考:@图片1 作为首帧,参考 @视频1 的镜头语言,@音频1 用于配乐

指定角色形象:@图片1 的女生作为主角,@图片2 的男生作为配角

指定运镜参考:完全参考 @视频1 的所有运镜效果和转场

指定场景参考:左边场景参考 @图片3,右边场景参考 @图片4

指定动作参考:@图片1 的人物参考 @视频1 中的舞蹈动作

指定音色参考:旁白的音色参考 @视频1

踩坑提醒:素材多的时候,一定反复检查每个@引用有没有对上号。把图片当成视频引用,或者把角色A的图标成角色B,模型生成出来就会很混乱。

鼠标放在你@的素材上,悬停可以预览素材,避免插入错误

 

第四步:写好你的提示词

@分配完任务后,剩下的就是用自然语言描述你想要的画面和动作。

写提示词的四个技巧:

 

技巧一:按时间线分段写。 如果视频里有多个画面或剧情转折,建议按秒数分段描述。

比如:

0-3秒画面:男主手里举起一个篮球,抬头望向镜头,说"我只是想喝杯酒,该不会要穿越了吧……" 

4-8秒画面:镜头突然剧烈晃动,场景切换成古宅的雨夜,一个穿着古装的女主冷冽地望向镜头方向。 

9-13秒画面:镜头切到一个穿着明代服饰的人物……

这样写模型能更准确地把握每段画面的节奏和内容。

技巧二:明确说"参考"还是"编辑"。 这两个概念不一样。"参考 @视频1 的运镜"意思是借鉴它的镜头运动方式来生成新内容;"将 @视频1 中的女生换成戏曲花旦"意思是在原视频基础上做修改。写清楚,模型才能正确响应。

技巧三:镜头语言写具体。 不用怕写多,模型现在的理解能力很强。推、拉、摇、移、跟拍、环绕、俯拍、仰拍、一镜到底、希区柯克变焦、鱼眼镜头……这些专业术语它都认识。不懂术语也没关系,用大白话描述也行,比如"镜头从背后慢慢转到正面"。

技巧四:连续动作加过渡描述。 如果你想让角色做一系列连贯动作,记得写上过渡关系,比如"角色从跳跃直接过渡到翻滚,保持动作连贯流畅",避免画面出现不自然的跳切。

第五步:选择生成时长,点击生成

在 4 到 15 秒之间选一个你需要的时长。

 

注意:如果你是在做视频延长(比如把一段已有视频往后接 5 秒),那这里选的时长是"新增部分"的时长,不是总时长。想延长 5 秒就选 5 秒。

然后点生成,等结果就好。不满意可以多生成几次,AI本身有随机性,同样的输入每次结果都会有差异,挑最满意的那条。

写在最后

Seedance 2.0 刷屏不是没有道理的。它不只是画质变好了、动作更流畅了,更关键的是它改变了AI视频创作的交互方式。

通过多模态输入和@引用机制,创作者第一次能够精准地告诉AI"我要什么",而不是写完提示词然后听天由命。

当然它还在持续进化中,有些极端复杂的场景可能还不够完美。但从目前的能力来看,它已经是一个真正能用在实际创作中的生产力工具了。

建议大家先收藏这篇指南,然后打开即梦动手试试。看别人的作品刷屏不过瘾,自己上手才是真的爽!

立即体验 Seedance 2.0 !

以上基于 Seedance 2.0 官方使用手册整理

Read more

【机器人】复现 StreamVLN 具身导航 | 流式VLN | 连续导航

【机器人】复现 StreamVLN 具身导航 | 流式VLN | 连续导航

StreamVLN 通过在线、多轮对话的方式,输入连续视频,输出动作序列。 通过结合语言指令、视觉观测和空间位姿信息,驱动模型生成导航动作(前进、左转、右转、停止)。 论文地址:StreamVLN: Streaming Vision-and-Language Navigation via SlowFast Context Modeling 代码地址:https://github.com/OpenRobotLab/StreamVLN 本文分享StreamVLN 复现和模型推理的过程~ 下面是示例效果: 1、创建Conda环境 首先创建一个Conda环境,名字为streamvln,python版本为3.9; 然后进入streamvln环境,执行下面命令: conda create -n streamvln python=3.9 conda activate streamvln 2、 安装habitat仿真环境

论文阅读 PromptIR: Prompting for All-in-One Blind Image Restoration

论文阅读 PromptIR: Prompting for All-in-One Blind Image Restoration

作者:Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang 机构:Mohamed bin Zayed University of AI, Linköping University 来源期刊:NeurIPS 发表时间:2023年   一、研究动机         1.研究目标         构建一个“All-in-One”盲图像复原网络,用单一模型、单次训练、无需先验地处理多种退化(去噪、去雨、去雾),并在各任务上均达到 SOTA 性能。         2.过去方法         任务专用网络:DnCNN、MPRNet、Restormer

Telegram搜索机器人推荐——查找海量资源,提升信息检索效率

大家好,本文首发于 ZEEKLOG 博客,主要面向需要在 Telegram 中高效检索资源的同学。我结合自己的实测体验,总结了几款实用的搜索机器人与完整操作流程,帮助大家解决“怎么快速找到频道、群组、文件”的痛点。如果你也在为信息筛选耗时头疼,建议耐心读完并亲手试试,收获会很大。觉得有帮助别忘了给个点赞、收藏和关注支持一下 🙂 📚 本文目录 * 使用准备 * 什么是Telegram搜索机器人? * Telegram搜索机器人的核心功能 * 推荐的Telegram搜索机器人 * 如何使用Telegram搜索机器人? * Telegram搜索机器人的应用场景 * 总结 在信息爆炸的时代,如何高效获取自己想要的资源?Telegram搜索机器人为你带来全新解决方案,无需翻找频道、群组,只需输入关键词,即可一键查找海量内容。无论是影视剧、电子书、图片还是优质群组,Telegram搜索机器人都能帮你轻松找到。推荐搜索机器人:@soso、@smss、@jisou 使用准备 1. 能访问外网,不会魔法的同学请参考:这里 2. 安装 Telegram

怒怼行业乱象:数据大模型+低代码,别再用“伪智能”收割技术人!

今天不想唱赞歌,只想扒一扒数据大模型和低代码这两个赛道融合背后的真相。当下打开ZEEKLOG、掘金,全是“AI+低代码,开发效率提升10倍”“不懂代码也能搭系统,程序员要被取代”的鼓吹,甚至有厂商直言“未来3年,80%的业务系统将通过这套组合落地”。但真相是:90%的所谓“融合方案”都是噱头,80%的企业落地后陷入技术债泥潭,70%的技术人被营销话术误导,白白浪费时间精力。 一、先破局:别被概念绑架,搞懂两者融合的技术本质        聊融合之前,先澄清两个被厂商刻意模糊的核心概念,避免被带偏——很多技术新人,甚至一些资深开发者,都对“数据大模型+低代码”存在致命误解,要么觉得它是“花里胡哨的玩具”,要么觉得它是“能替代一切的黑科技”,其实都不对。 1.1 数据大模型:不是“万能大脑”,只是“高效工具”