安博体育综合app投注：

  IT之家 5 月 13 日音讯，科技媒体 marktechpost 今日（5 月 13 日）发布博文，报导称苹果公司联合复旦大学，推出 StreamBridge 端侧视频大言语模型（Video-LLMs）结构，助力 AI 了解直播流视频。

  传统视频大言语模型拿手处理静态视频，但无法习惯机器人技能和无人驾驶等需求实时感知的场景，在这些场景下，要求模型能快速了解直播视频流内容，并做出反响。

  现有的模型面对两大难题：一是多轮实时了解，即在处理最新视频片段时需保存前史视觉和对话上下文；二是自动呼应，要求模型像人类相同自动监控视频流，并在无清晰指令的情况下及时输出反应。

  为处理以上问题，苹果公司与复旦大学的研讨者开发了 StreamBridge 结构。该结构经过内存缓冲区和次序衰减紧缩战略，支撑长上下文交互。

  该结构还引入了一个轻量化的独立激活模型，无缝集成现有视频大言语模型，完成自动呼应功用。研讨团队还推出了 Stream-IT 数据集，包括约 60 万个样本，交融了视频与文本序列，支撑多样化的指令格局，旨在提高流式视频了解能力。

  Oryx-1.5 也取得了明显前进，而 LLaVA-OV 功能略有下降。Stream-IT 数据集的微调逐渐提高了一切模型的体现，证明了 StreamBridge 在流式视频了解范畴的强壮潜力。