您的位置 : 首页 > 太少网 > > 大白话聊透人工智能

大白话聊透人工智能SoraOpenAI的视频魔法到底是什么

2024年2月OpenAI扔出了一颗科技炸弹——Sora。

这个名字源于日语里的寓意着无限的创造可能。

刚发布时48个演示视频刷爆全网:东京雨后的街头列车驶过水雾在玻璃上凝结又滑落;加州淘金热时期的矿工弯腰筛金沙尘随着动作簌簌落下;甚至还有中国龙年的舞龙场景龙身翻飞时鳞片反光都清晰可见。

不少人看完直呼分不清是实拍还是AI这个能把文字变成逼真视频的工具到底藏着什么门道?今天就用最通俗的话把Sora的来龙去脉、本事弱点和未来影响讲明白。

一、Sora到底是个啥?先搞懂基本盘 本质:不是视频生成器世界模拟器 很多人把Sora简单理解成能做视频的AI但OpenAI对它的定位更高级——世界模拟器。

意思是它不只是拼凑画面而是通过学习海量数据摸清了现实世界的运行逻辑能像搭积木一样重建一个虚拟但可信的世界。

打个比方普通的AI视频工具像照猫画虎的画手给它看100张猫跑的图它能画出第101张但不知道猫的四条腿怎么协调发力;而Sora像个懂动物解剖和物理规律的动画师它知道猫跑时重心会前移爪子落地有先后顺序甚至跑过草地会带动草叶晃动。

这种对世界的理解正是它和其他工具的核心区别。

出身:站在巨人肩膀上的新技术 Sora不是凭空冒出来的它的家族基因很强。

它的技术基础来自OpenAI之前的两大王牌:一是文生图模型DALL·E 3继承了其细腻的画质和精准理解文字的能力;二是GPT系列的Transformer架构这让它能处理超长的视频序列不会像以前的模型那样记不住前两秒的内容。

如果把AI生成内容比作造车DALL·E 3相当于造出了优质的(高清图像)GPT的架构相当于搭建了(处理长序列的能力)Sora则是把这些整合起来造出了能长途行驶的视频汽车。

核心能力:不止是文生视频这么简单 Sora的本事可不止把文字变成视频它更像一个全能的视频创作助手核心能力能分成四类: 1. 基础操作:文字变视频 这是它最出圈的能力。

只要你把想法写成文字比如24岁女生在咖啡馆窗边眨眼的极端特写阳光透过玻璃在脸上形成光斑它就能生成一段60秒的高清视频细节甚至能看清睫毛颤动的弧度。

而且它能搞定复杂场景比如五只穿着雨衣的小狗在泥潭里追球背景有冒热气的面包店多个角色、动作和环境细节都能兼顾。

2. 进阶玩法:静态图活过来 如果你有一张照片比如老照片里的祖父母站在老房子前Sora能让照片动起来:祖父抬手整理衣领祖母拂了拂衣角远处的树叶还会随风摆动。

这个功能对动画制作、老照片修复来说简直是。

3. 视频编辑:补帧、扩展、拼接全搞定 拍视频时少了几秒镜头?Sora能自动填充缺失的部分还能把短视频拉长。

更厉害的是无缝拼接——比如把雪山滑雪的视频和海边冲浪的视频连起来它能生成一段从雪山滑下后瞬间切换到海浪中的过渡画面毫无违和感。

4. 专业技能:多机位+3D一致 普通AI视频只能固定一个角度Sora却能生成多机位视频就像拍电影时同时用了全景、特写、侧拍等多个镜头。

而且它懂3D空间逻辑比如拍一个行走的人镜头绕着他旋转时人的前后左右都能自然衔接不会出现身体突然变形的bug。

二、技术原理:不用懂公式看明白这两个比喻就行 提到Sora的技术很多人会被扩散模型Transformer架构这些词吓退。

其实不用懂复杂公式通过两个生活比喻就能搞清楚核心逻辑。

比喻一:墨汁可逆——扩散模型的工作原理 Sora本质是个扩散模型这个技术的核心可以用墨汁扩散又还原来理解。

清华朱军团队就用这个例子解释过:把一滴墨汁滴进清水里墨汁会慢慢扩散最后整杯水变成均匀的淡黑色这是扩散过程;而Sora做的是反过来的事——从一杯黑色噪声水开始通过不断去除杂质慢慢还原出墨汁最初聚集的样子只不过这里的变成了视频画面。

具体到生成视频过程是这样的: 1. 一开始Sora输出的是完全随机的雪花屏就像墨汁完全扩散的状态; 2. 它根据你给的文字提示开始一点点噪声——先模糊地勾勒出场景轮廓比如有山、有水、有人; 3. 经过几十上百次调整逐渐添加细节:山的纹理、水的波纹、人的表情直到生成清晰的视频。

这种方式的好处是生成的画面更自然不会有拼接感而且能保证60秒的长视频从头到尾连贯一致。

本小章还未完请点击下一页继续阅读后面精彩内容!。

本文地址大白话聊透人工智能SoraOpenAI的视频魔法到底是什么来源 http://www.gxzglxs.com