字节跳动近日推出了其全新多模态大语言模型 vidi2，这是一个专为视频理解设计、拥有120亿参数的ai模型。该模型具备处理长达数小时原始视频内容的能力，能够解析其中的情节发展，并根据简单的文本提示自动生成完整的tiktok短视频或电影片段，被认为可能对传统视频编辑行业带来深远影响。
Vidi2的核心突破在于其强大的视频理解能力。新版本引入了精细的时空定位（STG）功能，可同时识别视频中特定事件发生的时间点以及对应物体的空间位置。通过输入一段文字查询，模型不仅能精准定位相关时间段，还能在画面中标注出目标对象的边界框。
关键技术亮点包括：
- 时空定位能力：模型输出“管道”形式的结果——即以每秒为单位的时间索引与边界框组合，实现对人物或物体的连续追踪，例如在复杂场景中锁定某一个人并全程跟踪。
- 架构升级：Vidi2采用Gemma-3作为主干网络，并结合重新设计的自适应标记压缩技术，在保证长视频处理效率的同时，有效保留关键视觉细节。
在权威评测基准 VUE-TR-V2（用于开放式时间检索）上，Vidi2取得了总体IoU 48.75的优异成绩，尤其在超过一小时的超长视频任务中，性能领先主流商业模型达17.5个百分点。在VUE-STG定位任务中，模型同样表现突出，vIoU达到32.57，tIoU高达53.19，均位居当前最优水平。
基于Vidi2，字节跳动已开发出一系列自动化视频编辑工具，涵盖高光片段提取、故事感知型剪辑、内容驱动的重构图生成以及多视角智能切换等功能，且这些操作均可在普通消费级设备上流畅运行。
- TikTok集成应用：相关技术已落地于TikTok的Smart Split功能，支持自动分割长视频、智能重构画面构图、生成字幕，并将原始素材转化为符合平台调性的短视频内容。
-
AI Outline 工具：用户只需输入简短提示或选择热门话题，系统即可自动生成
结构化视频方案，包括标题、开场白和分镜大纲。
结构化视频方案，包括标题、开场白和分镜大纲。目前，Vidi2仍处于研究阶段，官方透露即将发布公开Demo版本。
源码地址：点击下载
# tr
# 转化为
# 等功能
# 长达
# 点击下载
# 均可
# 并将
# 这是一个
# 能在
# 只需
# 自动生成
# 自动化
# 重构
# vue
# 事件
# 对象
# 架构
# 视频编辑
# 压缩技术
# 字节跳动
# 短视频
# ai
# 工具
# tiktok
# 字节
相关文章：
国家大数据中心和国家平台智能中台上线
Meta 收购 Manus，华人创业者的探索和阶段胜利
游戏加点与战斗策略终极优化指南
痛感依旧！《逃离塔科夫》主机版将和PC版一样难
双奖加冕！海信洗衣机蝉联2025国际CMF设计大奖，美学与科技双突破
谷歌年度回顾：2025 年实现突破的 8 大研究领域
内存成本飙升！华硕自1月5日起调涨价格：联想戴尔等大厂早已行动
命运多舛 消息称 iPhone Air 2或仍有望在2026年亮相
《羊蹄山之魂》女主角笃雕像即将开售 很还原
从“筑基”到“破界”：三届联想天禧AI生态大会，拼出了个人AI普惠的宏大版图
没有新内容！ 舅舅党称《天国：拯救》升级版将于2026年2月发布
前生软资深制作人：3A大作同质化 独立游戏最重要！
OPPO Find X9s曝光：6.3英寸小直屏+2亿像素主摄
星际战甲新手开局完全指南：从零开始的星际之旅
熙艾尔马埃尔战斗技能全解析 高效游戏角色通关秘诀
Arch Linux 官网再度被 DDoS 攻击，目前仅支持 IPv6 访问
阶跃星辰开源 Step-DeepResearch，经济高效的端到端深度研究模型
马斯克疯狂鼓吹：投资者涌进人形机器人赛道，创业者警告技术成熟度被高估
内存短缺成本飙升：日本PC厂商开始涨价转移压力
30岁以下亿万富豪创新高！3个月诞生11位年轻创业家 多靠AI白手起家
诚哥打赢复活赛了！《日在校园 复刻版》开启预购＆联动新剧情
任天堂公布e商店2025年度游戏销量排行 马车登顶
三星电机获全球科技巨头相机订单 供应数量正协商
中国第一、全球第四！长鑫科技终于要上市了：TOP5客户首次披露
腾讯混元开源 HY-Motion1.0，10 亿参数文生 3D 动作大模型
OPPO Find X9 Ultra爆料：双2亿+唯一10倍光变，2026影像机皇提前锁定？
行业最强Turbo档续航！一加Turbo 6/6V全系搭载9000mAh电池
罗永浩创业公司细红线发布 AI 讲书产品“且听”
“AI 教父” 辛顿预测未来就业市场将受影响
2亿像素极致影像首选天玑！四款人气天玑影像旗舰汇总
消息称三星正研发"阔折叠"手机，4:3比例对标苹果iPhone Fold
弗尔夫人日月印记流：无限轰炸核心技巧
惊见联发科蔡力行兼职炸薯条？麦当劳进驻联发科技新竹总部
真我10001mAh大电池新机曝光 命名或为“真我Power”
HONOR Power2 实机照片流出！配 10K 超大电池；外观神似 iPhone 17 Pro Max、主要功能全面曝光
海尔智家APP升级瞄准智能家居第一入口
曝多款中端新机明年1月发布 REDMI或首发天玑8500
上交所发布商业火箭科创板上市新规，发射载荷入轨成核心门槛
《|美女|，游泳健身了解一下！》即将上线Steam——在「蔚蓝」，你不是顾客，是家人
腾讯 AI Lab 副主任离职
AMD春雨计划走进北京大学、北京交通大学 以全栈式AI解决方案赋能AI学习与创新
星辰宝石升级攻略战力飙升的核心秘诀
品质铸就信赖！小熊电器获评“2025中国制造·消费者信赖品牌”
中端显卡也无法避免：又一起RX 9070 XT 16针接口烧熔！
三位幻战女神操作详解：节奏切换与战术搭配
小岛秀夫：希望能开创全新游戏类型，仍想尝试打造西部或太空题材作品
纽约学校手机禁令暴露问题：部分高中生不会看指针钟表
新年新机首选啥？AMD高端锐龙游戏本推荐
四款小米手机开启相机动态水印内测 有没有你的爱机？
小李爆发秒杀流 VS 西门群攻控场派：你的核心输出抉择
相关栏目：
【
广告资讯37196 】
【
广告推广143353 】
【
广告优化89630 】