初识Coze(扣子)工作流,ai视频自动化制作

初识Coze(扣子)工作流,ai视频自动化制作

Coze 工作流是字节跳动 Coze 平台的可视化、低代码 AI 流程编排工具,核心是用拖拽节点的方式,把大模型、插件、代码、判断逻辑等能力串成完整任务链,快速做复杂 AI 应用Coze Plus。

一,基础准备:注册并登录扣子官网

进入扣子编程

点击资源库然后创建工作流

二,主要操作:

我们使用工作流的主要流程是,开始节点->功能节点->调用ai大模型->辅助功能节点->结束节点

这里需要注意任何的工作流都需要有开始节点和结束节点,之后你所配置的工作流可以当作本地的插件部署到你的智能体当中

三,案例解析,这里主要使用ai视频制作这个工作流来解读

例如上图当中的ai视频制作

主要分为两大步:图片以及素材生成;自动化剪辑制作

1),素材生成
1. 启动与输入
  • 节点:开始
  • 操作:接收初始输入 lishirenwu(任务名称 / 主题),作为整个流程的起始数据源。

2. 生成故事剧本
  • 节点:1. 根据名字做剧本
  • 输入:来自「开始」节点的 input
  • 操作:调用大模型(豆包・1.5・Pro・32k),基于输入主题生成完整故事剧本,输出:
    • title:剧本标题
    • content:剧本正文内容

3. 拆分画面描述
  • 节点:2. 根据剧本做每个经历的画面描述
  • 输入:上一步生成的剧本 input(包含 titlecontent
  • 操作:调用大模型(豆包・1.5・Pro・32k),将剧本拆分为逐镜头 / 场景的画面描述,输出 output(结构化画面描述列表)。

4. 生成画面底图(主流程)
  • 节点:3. 批处理:根据画面画面做图
  • 输入:上一步的画面描述 input
  • 操作:对每个画面描述批量执行图像生成:
    1. 调用文生图模型生成对应画面的基础图像
    2. 输出 output(包含图像数据与状态信息)

5. 生成视频运镜脚本
  • 并行分支 A:4. 批处理:做运镜 + 即梦 / 豆包 / 海螺做视频所需运镜
    • 输入:来自「画面描述」的 promptcontent
    • 操作
      1. 先由大模型生成每个画面对应的运镜脚本(如推镜、拉镜、转场等)
      2. 输出可直接用于视频生成工具(即梦 / 豆包 / 海螺)的运镜指令 output
    • 作用:为后续视频合成提供镜头运动逻辑

6. 图像生成与容错处理
  • 并行分支 B:批处理体(图像生成与重试)
    1. 图像生成
      • 输入:画面描述 input
      • 调用文生图模型(Seedream 4.0)生成图像,输出 data(图像数据)和 msg(状态信息)
    2. 结果判断
      • 选择器:判断图像生成结果 data 是否为空(Empty
      • 如果为空:进入「修改提示词」节点
        • 输入:失败的 input
        • 调用大模型优化 / 重写画面提示词,输出新的 output
        • 进入「重新做图」节点,再次调用 Seedream 4.0 生成图像
      • 如果不为空:直接进入「变量聚合」节点

7. 数据聚合与输出
  • 节点:变量聚合
  • 输入
    • 来自「图像生成 / 重新做图」的 image(最终图像数据)和 data
    • 来自「运镜脚本」的 data(运镜指令)
  • 操作:将图像资源、运镜指令、剧本信息等聚合为结构化数据集 Group1,作为最终输出,可用于后续视频合成工具。
2),自动化剪辑
1. 时间线预处理
  • 节点:6. 做时间线
  • 输入input(原始剧本 / 画面数据)
  • 操作:调用大模型(豆包・1.5・Pro・32k),生成视频总时长 totalDuration 和分段时间轴 segments,为后续素材对齐提供时间基准。

2. 素材信息结构化处理
  • 节点:video_infos: 视频素材
    • 输入:timelines(时间轴)、video_urls(视频链接)、heightwidth
    • 输出:结构化视频素材信息 infos
  • 节点:caption_infos: 标题 /caption_infos: 字幕
    • 输入:seats(文本内容)、timelines(时间轴)、font_size
    • 输出:结构化标题 / 字幕信息 infos
  • 节点:str_to_list: 笑声 mp3 / 五百年 mp3
    • 输入:obj(音频字符串)
    • 输出:列表化音频路径 infos
  • 节点:audio_timelines: 笑声时间线
    • 输入:links(音频链接)、timelines(时间轴)
    • 输出:带时间戳的笑声音频时间轴 infos
  • 节点:audio_infos: 合成发声 / 合成五百年
    • 输入:mp3_urls(音频链接)、timelines(时间轴)、audio_effect(音频效果)
    • 输出:结构化合成音频信息 infos

3. 视频草稿创建
  • 节点:create_draft
  • 输入heightrt_user_idwidth
  • 操作:创建一个空白视频草稿,输出 draft_url(草稿链接)和 rt_user_id

4. 素材添加到草稿
  • 节点:add_videos
    • 输入:draft_urlvideo_infos(视频素材)、alpha
    • 操作:将所有视频素材按时间轴插入草稿,输出更新后的 draft_urlsegment_idstrack_id
  • 节点:add_captions / add_captions_1
    • 输入:captions(字幕 / 标题)、draft_urlalignment
    • 操作:分别添加标题和字幕到对应时间片段,输出 segment_idssegment_infos
  • 节点:add_audios / add_audios_1
    • 输入:audio_infos(合成音频 / 笑声 / 背景音乐)、draft_url
    • 操作:将多轨道音频(人声、音效、BGM)插入草稿,输出 audio_ids、更新后的 draft_urltrack_id

5. 草稿保存与结束
  • 节点:save_draft
    • 输入:draft_urlrt_user_id
    • 操作:保存最终合成好的视频草稿,输出 draft_urlmessage(状态信息)
  • 节点:结束
    • 操作:流程终止,返回变量 output(草稿链接与状态)

四,注意事项


使用coze搭建或者测试工作流都会消耗token,coze平台登陆注册会赠送一些,如有更多的要求可以升级进阶版

Could not load content