类似于GPT3里程(cheng)碑(bei)意义的Sora，再度引发市场对巨(ju)大潜力领域的展望。
Sora何许人(ren)也？
2024年2月16日，OpenAI推出一款展示效果惊艳，创立了视觉模型里程(cheng)碑(bei)文生视频模型Sora。
Sora根据文字生成视频资料来源：Sora官网
视频生成一直是AI领域的重(zhong)要(yao)方向，先(xian)前(qian)的许多工作研究了视频数据的生成建模方向，包括循(xun)环网络、生成对抗网络、自回归transformer和扩散模型。这些工作通常(chang)关注一小类视觉数据、较短的视频或固定大小的视频。
与(yu)之不同(tong)的是，OpenAI的Sora是视觉数据的通用模型，通过一次为(wei)模型提供多帧的预测，解决了一个具有挑战性的问题，即确(que)保(bao)主题即使暂时离(li)开视野也保(bao)持不变。具体而言，就是涌现对真实物(wu)理的理解力。
OpenAI发现，视频模型在经过大规模训练(lian)后，会表现出许多有趣(qu)的新能力。这些能力使Sora能够模拟物(wu)理世界中的人(ren)、动物(wu)和环境的某些方面。这些特性的出现没有任何明确(que)的三维、物(wu)体等归纳偏差，纯粹是规模现象。Sora可以生成动态摄像机运动的视频，随着摄像机的移动和旋转，人(ren)物(wu)和场景元素在三维空间中的移动是一致的，而视频生成系统面临的一个重(zhong)大挑战正是在对长(chang)视频进行采样时保(bao)持时间一致性。
虽然Sora并不总是能有效地模拟短距离(li)和长(chang)距离(li)的依(yi)赖关系，但它在很多时候仍(reng)然能做到这一点。例如，即使人(ren)、动物(wu)和物(wu)体被遮(zhe)挡或离(li)开画面，Sora模型也能保(bao)持它们的存在。同(tong)样，它还能在单个样本中生成同(tong)一角色的多个镜头(tou)，并在整个视频中保(bao)持其外观。这些功能表明，视频模型的持续扩展是开发物(wu)理和数字世界以及其中的物(wu)体、动物(wu)和人(ren)的高能力模拟器(qi)的一条可能的道路。
资料来源：Sora官网
同(tong)时，Sora可以生成不同(tong)时长(chang)、长(chang)宽比和分(fen)辨率(lu)的视频和图像，而且最多可以输出长(chang)达一分(fen)钟的高清视频。
由于处理生成视频内容需要(yao)消耗大量算力资源，加上内容既要(yao)时间上连贯，又要(yao)符合物(wu)理世界规律(lu)，才能保(bao)证生成的视频逼(bi)真，而开发能够理解复杂(za)叙(xu)述(shu)结构和逻辑关系的文生视频模型是非常(chang)困难的，时间越长(chang)，维持这种(zhong)连贯性和逻辑性就会越难，这就导(dao)致过去(qu)一年主流AI生成视频模型所(suo)生成的视频长(chang)度最长(chang)也仅十(shi)余秒。
Sora标志了扩散+语(yu)言大模型融合路线的成功，未(wei)来具有很大的迭代潜力，类似于GPT3的里程(cheng)碑(bei)意义。
Sora对应的国内行业机遇在哪里？
Sora模型的推出显示了大模型的巨(ju)大潜力，也对算力的需求和性能提出了更高的要(yao)求，半(ban)导(dao)体行业又迎来了新一轮的增长(chang)曲线。
大模型驱动下，全球算力规模保(bao)持高速稳定增长(chang)。复杂(za)的模型和大规模的训练(lian)需要(yao)大规模的高算力支持，这不仅需要(yao)消耗大量计算资源，而且对算力的速度、精度、性能也提出更高要(yao)求。在以人(ren)工智能、万物(wu)互(hu)联(lian)为(wei)特征的智能数字经济时代背景下，全球数据总量和算力规模继续呈现高速增长(chang)态势。
根据《中国算力发展指数白皮书》，2022年全球计算设备算力总规模达到906EFlops，增速达到47%，其中基础算力规模（FP32）为(wei)440EFlops，智能算力规模（换算为(wei)FP32）为(wei)451EFlops，超算算力规模（换算为(wei)FP32）为(wei)16EFlops。
2022年我国算力总规模达到302EFlops，全球占比约(yue)为(wei)33%，连续两(liang)年增速超过50%，高于全球增速。基础算力规模为(wei)120EFlops，增速26%，在我国算力占比为(wei)40%；智能算力规模达到178.5EFlops，增速72%，占比达59%，成为(wei)算力快速增长(chang)的驱动力。
数据来源：中国信息通信研究院，IDC，Gartner
根据DiT模型创立者谢赛宁博士粗略测算，Sora模型的参数规模大约(yue)为(wei)30亿。根据对可训练(lian)数据量的研究成果，海外大型视频网站每分(fen)钟大约(yue)上传(chuan)500小时视频内容。由此我们测算训练(lian)Sora模型需要(yao)约(yue)7.09万张(zhang)H100一个月的训练(lian)量。在推理侧，根据相关研究测算生成一张(zhang)图的算力消耗约(yue)为(wei)256个词的消耗。由此推算生成一个1分(fen)钟时长(chang)短视频的算力消耗约(yue)是生成一次文字对话的千倍以上。中短期(qi)算力将持续处于短缺不能充分(fen)满足推理侧需求。
GPT-4、Dall·E2、Gen2、Sora，主流模型多模态加速演进资料来源：OpenAI官网，Runway官网
根据目前(qian)AI新智界、澎湃新闻等数据，专业机构假设SORA应用的Transformer架构与(yu)ChatGPTTransformer架构相同(tong)，且参数量相同(tong)，同(tong)时假设数据数据精度为(wei)FP16，训练(lian)10天，则需要(yao)应为(wei)英伟达H100卡(ka)数为(wei)59500张(zhang)，即Sora架构的训练(lian)与(yu)传(chuan)统大语(yu)言模型(LLM)Transformer架构的训练(lian)算力需求存在近百(bai)倍差距。
相关企业有哪些？
首先(xian)，算力需求增长(chang)是确(que)定性最强的方向，浪潮信息、中科曙光(guang)、神州数码、紫光(guang)股份、首都在线等企业都参与(yu)其中；同(tong)时，算力紧缺大背景下，配套光(guang)网络持续升级的需求极强，带动产业链围绕尖端算力芯片持续迭代升级，北美光(guang)模块核心供应商的中际旭创、新易盛，及其上游核心供应商天孚通信都有望受益。
而在交(jiao)换机领域，GPU服务器(qi)按照GPU芯片之前(qian)的互(hu)联(lian)方式中的常(chang)规服务器(qi)PCIE机型，受限于PCIE的带宽上限，卡(ka)与(yu)卡(ka)双向互(hu)联(lian)带宽低，不满足大模型训练(lian)需求，因此只能通过Nvlink机型，即GPU卡(ka)之间通过NVLINK链路互(hu)联(lian)，相比PCIE带宽更高，更适合于大模型训练(lian)场景，使得交(jiao)换机国产替代龙头(tou)紫光(guang)股份、锐捷网络，交(jiao)换机芯片龙头(tou)盛科通信、ICT巨(ju)头(tou)中兴通讯(xun)都有需求增量。
此外，构建算力第二极的华为(wei)海思昇(sheng)腾AI芯片，其整个产业链具备较高的关注价值。
昇(sheng)腾AI芯片的计算核心主要(yao)由AICore构成：AICore采用了达芬(fen)奇(qi)架构，它包括了三种(zhong)基础计算资源，矩阵计算单元、向量计算单元和标量计算单元。这三种(zhong)计算单元分(fen)别(bie)对应了张(zhang)量、向量和标量三种(zhong)常(chang)见的计算模式，在实际的计算过程(cheng)中各(ge)司其职，形成了三条独立的执行流水线，在系统软(ruan)件的统一调度下互(hu)相配合达到优化的计算效率(lu)，AICore中的矩阵计算单元目前(qian)可以支持INT8、INT4和FP16的计算；向量计算单元目前(qian)可以支持FP16和FP32的计算。专业人(ren)士认为(wei)本质(zhi)上讲昇(sheng)腾芯片属于专为(wei)AI而生的特定域架构芯片，根据和各(ge)AI训练(lian)卡(ka)参数规格一览可知，国产算力华为(wei)已(yi)具备性价比。
当前(qian)，华为(wei)昇(sheng)腾计算平台CANN已(yi)经实现从0至1突破。2018年9月，CANN1.0华为(wei)昇(sheng)腾AI使能平台诞生，2020年8月，CANN3.0版本发布，作为(wei)专门面向AI场景的异构计算架构，搭起(qi)了上层深度学习框架和底层AI硬件平台的桥梁，目前(qian)华为(wei)CANN计算平台已(yi)经到了7.0版本，其生态加速繁荣(rong)。
华为(wei)CANN昇(sheng)腾AI计算平台 资料来源：昇(sheng)腾官网
整个产业链背后，服务器(qi)相关的有高新发展、神州数码、拓维信息、中国长(chang)城等企业；电源相关的是泰嘉(jia)股份；算力一体机相关的有开普云、云从科技、科大讯(xun)飞、安恒信息、新致软(ruan)件等；鸿蒙相关的有九联(lian)科技、润和软(ruan)件、软(ruan)通动力、中软(ruan)国际等。