WebRTC一对一通话实战讲解

优质文章学习记录

— 3 min read

       WebRTC是一门实时通信技术，可以实现P2P或者中继模式进行建立连接，其中P2P的连接方式需要经过信令服务器交换SDP，在没有信令服务器的情况下P2P是建立不了连接的，而中继（relay）模式则是以TURN服务器进行中继转发音视频流数据。

        为什么要使用P2P呢？

        主要原因是因为P2P具有低延迟节省服务器带宽，但此时NAT以及防火墙问题却是P2P建立连接的主要障碍，此时Nginx服务器可以作为HTTP服务器进行反向代理颁发证书进行HTTP协议加密，来建立安全稳定的连接。

       到了这里还有个非常重要的概念需要理清楚就是websocket、HTTP、STUN、TURN、ICE、SDP（offer、answer）、candidate、ICE、P2P打洞连接、relay中继转发、信令服务器、http反向代理以及nginx这些名词在webrtc一对一通话中的实际作用与功能还有生命周期。其中最容易混淆的就是Nginx、HTTP与websocket的联系，Nginx做HTTP反向代理将信令转请求转给信令服务器，而信令服务器（Node）提供HTTP接口和websocket服务，在客户端场景中，利用HTTP协议进入房间和退出房间，而利用websocket进行发送接收SDP和candidate等实时信令。

       具体实现方式就是可以根据以下图片的中的步骤一一实现建立连接，当然要建立webrtc连接需要双方通过信令进行SDP协商（包括发送offer和answer），在webrtc进行一对一通话中SDP协商期间客户端通过发送信令，服务端进行客户端实时信令接收进行回调调用函数进行信令转发继续SDP协商，在SDP协商之后交换candidate进行打洞建立P2P连接，最重要的一点就是服务端还兼顾房间管理服务，使用RoomMap这个类进行房间管理。

 

 

        在WebRTC一对一通话中第一步就是要通过websocket进行建立连接，服务端采用npm中的Node进行搭建服务器，而客户端则需要通过服务器地址和端口进行与服务端建立连接。建立连接之后仅仅能够有一对一聊天的功能，如果想要传输音视频数据就得看第二步。

       第二步想要传输音视频数据流就得进行建立P2P连接或者通过TURN服务器进行中继转发，其中STUN的作用是为了P2P模式提供可用的公网地址，而TURN中继服务器不依赖STUN的公网地址在P2P连接中ICE打洞失败TURN中继服务器会为客户端分配一个中继地址，这个中继地址是公网可访问的，当然在建立P2P连接中要先进行peerconnection的创建，之后进行SDP协商，之后进行交换candidate进行ICE打洞连接，如果ICE打洞失败那么ICE将进行切换中继模式进行连接。

Read more

蓝耘智算 + 通义万相 2.1：为 AIGC 装上 “智能翅膀”，翱翔创作新天空

蓝耘智算 + 通义万相 2.1：为 AIGC 装上 “智能翅膀”，翱翔创作新天空

1. 引言：AIGC 的崛起与挑战 在过去几年中，人工智能生成内容（AIGC）技术突飞猛进。AIGC 涉及了文本生成、图像创作、音乐创作、视频制作等多个领域，并逐渐渗透到日常生活的方方面面。传统的内容创作方式已经被许多人类创作者所推崇，但随着时间的推移，人工智能的出现使得创作的边界变得更加模糊。 然而，尽管人工智能技术取得了巨大进展，如何高效地将 AI 模型与计算平台结合，以便为 AIGC 提供更加高效、智能的支持，仍然是一个关键问题。蓝耘智算与通义万相 2.1 的结合为解决这一问题提供了新的方向。这种创新的技术融合使得 AIGC 可以不仅仅依赖于数据处理的能力，还可以实现智能化的生成和创作，推动内容创作的未来。 2. 蓝耘智算：为 AIGC 提供智能支持 2.1 蓝耘智算简介 蓝耘智算是一种综合性计算平台，专注于为大规模人工智能应用提供优化计算资源。在过去几年中，蓝耘智算不断发展壮大，已成为许多行业中的顶尖计算平台之一，广泛应用于机器学习、
解锁AIGC新时代：通义万相2.1与蓝耘智算平台的完美结合引领AI内容生成革命

解锁AIGC新时代：通义万相2.1与蓝耘智算平台的完美结合引领AI内容生成革命

前言 通义万相2.1作为一个开源的视频生成AI模型，在发布当天便荣登了VBench排行榜的榜首，超越了Sora和Runway等业内巨头，展现出惊人的潜力。模型不仅能够生成1080P分辨率的视频，而且没有时长限制，能够模拟自然动作，甚至还可以还原物理规律，这在AIGC领域中简直堪称革命性突破。通过蓝耘智算平台，我们能够轻松部署这个模型，创建属于自己的AI视频生成工具。今天，我将为大家深入探讨通义万相2.1的强大功能，并分享如何利用蓝耘智算平台快速入门。 蓝耘智算平台 1. 平台概述 蓝耘智算平台是一个为高性能计算需求设计的云计算平台，提供强大的计算能力与灵活服务。平台基于领先的基础设施和大规模GPU算力，采用现代化的Kubernetes架构，专为大规模GPU加速工作负载而设计，满足用户多样化的需求。 2. 核心优势 * 硬件层： 蓝耘智算平台支持多型号GPU，包括NVIDIA A100、V100、H100等高性能显卡，能够通过高速网络实现多机多卡并行计算，突破单机算力瓶颈。 * 软件层： 集成Kubernetes与Docker技术，便于任务迁移与隔离；支持PyTo
智能体来了—初级工作流：数据与接口基础（AI Agent / 低代码必修课）

智能体来了—初级工作流：数据与接口基础（AI Agent / 低代码必修课）

在 AI Agent 和低代码开发盛行的今天，很多同学会画流程图，但一到具体配置参数、处理 API 返回数据时就频频报错。 其实，工作流的本质只有一句话： 数据在不同节点之间的流转与变形。 如果不理解基础的数据类型和接口规范，你的工作流就像堵塞的水管，要么跑不通，要么跑得很慢。 今天，我们通过一张思维导图，系统性地补齐这块短板，帮你真正理解工作流的“底层逻辑”。 一、工作流基础：认识你的“积木” 工作流是由一个个**节点（Node）**串联而成的。在开始搭建之前，我们需要先搞清楚： 自己手里到底有哪些“积木”可以用。 1.1 核心节点类型 在大多数 AI / 低代码平台中，节点可以概括为以下五大类： * 正常节点 执行单一任务，例如发送 HTTP 请求、调用模型、处理数据。 * 传入 / 传出节点
论文笔记DiT：Scalable Diffusion Models with Transformers（含transformer的可扩展扩散模型 ）

论文笔记DiT：Scalable Diffusion Models with Transformers（含transformer的可扩展扩散模型 ）

Abstract：     论文的核心思想非常直接：用一个标准的 Transformer 架构替换掉扩散模型中常用的 U-Net 主干网络，并证明这种新架构（称为 DiT, Diffusion Transformer）具有出色的可扩展性（Scalability）。 Background & Motivation：     在论文发表前，Transformer 已经在自然语言处理（BERT, GPT）和计算机视觉（ViT）等领域取得了巨大成功，成为了一种“统一”的架构。然而，在图像生成领域，特别是扩散模型中，大家仍然普遍使用 U-Net。U-Net 因其多尺度特征融合和卷积的局部归纳偏置而被广泛采用。     在深度学习中，一个好的架构应该具备良好的“可扩展性”——即投入更多的计算资源（更大的模型、更多的数据），性能应该会持续稳定地提升。ViT 已经证明了 Transformer 在视觉识别任务上具有这种特性。作者们希望验证 DiT 是否也具备这种优良特性，为未来的生成模型发展指明一条清晰的路径。