美国德州农工大学的OmniPredict系统预测行人行为提升自动驾驶安全
美国德州农工大学工程学院与韩国科学技术研究院的研究团队近日共同展示了一款名为OmniPredict的人工智能系统，这...
美国德州农工大学工程学院与韩国科学技术研究院的研究团队近日共同展示了一款名为 OmniPredict 的人工智能系统，这标志着自动驾驶汽车在提升安全性方面迈出了重要一步。
该系统首次采用多模态大语言模型技术，借力于高级聊天机器人及图像识别系统背后的同类模型，实现对行人行为的预测。不同于生成文本或描述图像的传统任务，OmniPredict 将视觉信息与上下文环境相结合，实时推断行人接下来的可能行动。
初步测试结果令人瞩目：即便未经专门训练，该系统的预测准确度也已表现优异。
“城市环境充满变数，行人的行为也常常难以预料，”项目首席研究员、自动驾驶车辆与传感系统中心主任斯里坎特·萨里帕利博士指出，“我们的新模型让我们窥见一个未来——机器不仅能‘看见’眼前发生的事，更能预判人类接下来可能做什么。”
全新的“街道智能”
在提升自动驾驶汽车安全性的竞赛中，OmniPredict 引入了一层新的“街道智能”，更贴近人类的直觉判断。
它不再仅仅对行人当前动作做出反应，而是主动预测其后续行为。这一转变有望重新规划城市交通体系，改善自动驾驶车辆在拥挤街道中的通行逻辑。
“它为更安全的自动驾驶运营、更少与行人相关的事故，以及从被动应对到主动预防风险的模式转变铺平了道路。”萨里帕利博士补充道。
人们的心理感受也可能随之改变。
试想，当你站在人行横道前，无须与司机进行眼神交流，却能确信一辆人工智能车辆正在追踪你的位置，并推算你接下来的行动。
“这将减少紧张的对峙，降低险肇事故的发生，街道通行也会更顺畅。因为车辆不仅理解运动，更重要的是解读意图。”萨里帕利解释道。
超越斑马线：复杂环境中的人类行为解读
OmniPredict 的影响远不止于繁忙的街道、混乱的交叉路口或拥挤的人行横道。
“我们正在开启一系列激动人心的应用可能，”萨里帕利表示，“例如，一台能检测、识别并预测具有威胁信号人员后续行为的机器，将具有重要价值。”
更广泛地说，一个能解读姿势变化、犹豫姿态、身体语言或压力迹象的 AI 系统，可能成为军事与应急救援领域的改变者。
“它可以帮助标记并提前预警风险迹象，甚至提供额外的态势感知能力。”萨里帕利指出。
在这类场景中，这一新方法可帮助人员快速理解复杂环境，做出更迅速、更明智的决策。
“我们在这个项目中的目标不是取代人类，而是让人与更智能的伙伴协同工作。”萨里帕利强调。
测试验证
传统自动驾驶系统依赖基于海量数据集和图像训练的计算机视觉模型，虽功能强大，却在条件变化时显得适应不足。
“天气变化、行人意外行为、罕见事件以及城市街头的混乱因素，都可能影响当前最先进的视觉系统。”萨里帕利说。
OmniPredict 则采用了不同的路径。
OmniPredict 系统概述：该系统由 GPT-4o 驱动，融合场景图像、局部特写、边界框与车辆速度等信息，综合分析行人接下来可能的行为。通过处理这些丰富的输入，模型将行为归类为四个关键类别——横穿马路、遮挡状态、动作趋势与视线方向，从而做出更智能、更安全的预测。
由此诞生的 AI 不仅能“看到”场景，更能理解场景，预测其中各元素将如何运动，并实时调整判断。
团队在两个权威行人行为基准数据集 JAAD 与 WiDEVIEW 上对 OmniPredict 进行了测试，未作任何领域特定训练。相关研究成果发表于《Computers and Electrical Engineering》期刊，数据显示 OmniPredict 准确率达到 67%，较当前最优模型提升约 10%。
即使加入如部分遮挡的行人、面向车辆的行人等复杂上下文信息，其性能也未出现下降。
此外，该系统响应速度更快，在不同道路环境中泛化能力更强，决策稳健性也更优——这些都为未来实际部署带来了积极信号。
“OmniPredict 的表现令人振奋，其灵活性预示着它在更广泛实际场景中的应用潜力。”萨里帕利总结道。
走向自主预判的未来
尽管仍处于研究阶段，尚未集成至可上路系统中，OmniPredict 指向了一个未来：自动驾驶车辆将逐渐减少对纯视觉学习的依赖，转而融入行为推理能力。
通过将推理与感知相结合，该系统实现了一种新型的共享智能——世界不仅变得更加自动化，也更具有直觉交互的可能。
萨里帕利表示：“OmniPredict 不仅能预测行为，更能理解行为背后的原因，并能判断行为可能发生的时机。”
如果 AI 驱动的汽车能预判我们的下一步，那么前方的道路，必将变得更加智慧。
该系统首次采用多模态大语言模型技术，借力于高级聊天机器人及图像识别系统背后的同类模型，实现对行人行为的预测。不同于生成文本或描述图像的传统任务，OmniPredict 将视觉信息与上下文环境相结合，实时推断行人接下来的可能行动。
初步测试结果令人瞩目：即便未经专门训练，该系统的预测准确度也已表现优异。
“城市环境充满变数，行人的行为也常常难以预料，”项目首席研究员、自动驾驶车辆与传感系统中心主任斯里坎特·萨里帕利博士指出，“我们的新模型让我们窥见一个未来——机器不仅能‘看见’眼前发生的事，更能预判人类接下来可能做什么。”
全新的“街道智能”
在提升自动驾驶汽车安全性的竞赛中，OmniPredict 引入了一层新的“街道智能”，更贴近人类的直觉判断。
它不再仅仅对行人当前动作做出反应，而是主动预测其后续行为。这一转变有望重新规划城市交通体系，改善自动驾驶车辆在拥挤街道中的通行逻辑。
“它为更安全的自动驾驶运营、更少与行人相关的事故，以及从被动应对到主动预防风险的模式转变铺平了道路。”萨里帕利博士补充道。
人们的心理感受也可能随之改变。
试想，当你站在人行横道前，无须与司机进行眼神交流，却能确信一辆人工智能车辆正在追踪你的位置，并推算你接下来的行动。
“这将减少紧张的对峙，降低险肇事故的发生，街道通行也会更顺畅。因为车辆不仅理解运动，更重要的是解读意图。”萨里帕利解释道。
超越斑马线：复杂环境中的人类行为解读
OmniPredict 的影响远不止于繁忙的街道、混乱的交叉路口或拥挤的人行横道。
“我们正在开启一系列激动人心的应用可能，”萨里帕利表示，“例如，一台能检测、识别并预测具有威胁信号人员后续行为的机器，将具有重要价值。”
更广泛地说，一个能解读姿势变化、犹豫姿态、身体语言或压力迹象的 AI 系统，可能成为军事与应急救援领域的改变者。
“它可以帮助标记并提前预警风险迹象，甚至提供额外的态势感知能力。”萨里帕利指出。
在这类场景中，这一新方法可帮助人员快速理解复杂环境，做出更迅速、更明智的决策。
“我们在这个项目中的目标不是取代人类，而是让人与更智能的伙伴协同工作。”萨里帕利强调。
测试验证
传统自动驾驶系统依赖基于海量数据集和图像训练的计算机视觉模型，虽功能强大，却在条件变化时显得适应不足。
“天气变化、行人意外行为、罕见事件以及城市街头的混乱因素，都可能影响当前最先进的视觉系统。”萨里帕利说。
OmniPredict 则采用了不同的路径。
OmniPredict 系统概述：该系统由 GPT-4o 驱动，融合场景图像、局部特写、边界框与车辆速度等信息，综合分析行人接下来可能的行为。通过处理这些丰富的输入，模型将行为归类为四个关键类别——横穿马路、遮挡状态、动作趋势与视线方向，从而做出更智能、更安全的预测。
由此诞生的 AI 不仅能“看到”场景，更能理解场景，预测其中各元素将如何运动，并实时调整判断。
团队在两个权威行人行为基准数据集 JAAD 与 WiDEVIEW 上对 OmniPredict 进行了测试，未作任何领域特定训练。相关研究成果发表于《Computers and Electrical Engineering》期刊，数据显示 OmniPredict 准确率达到 67%，较当前最优模型提升约 10%。
即使加入如部分遮挡的行人、面向车辆的行人等复杂上下文信息，其性能也未出现下降。
此外，该系统响应速度更快，在不同道路环境中泛化能力更强，决策稳健性也更优——这些都为未来实际部署带来了积极信号。
“OmniPredict 的表现令人振奋，其灵活性预示着它在更广泛实际场景中的应用潜力。”萨里帕利总结道。
走向自主预判的未来
尽管仍处于研究阶段，尚未集成至可上路系统中，OmniPredict 指向了一个未来：自动驾驶车辆将逐渐减少对纯视觉学习的依赖，转而融入行为推理能力。
通过将推理与感知相结合，该系统实现了一种新型的共享智能——世界不仅变得更加自动化，也更具有直觉交互的可能。
萨里帕利表示：“OmniPredict 不仅能预测行为，更能理解行为背后的原因，并能判断行为可能发生的时机。”
如果 AI 驱动的汽车能预判我们的下一步，那么前方的道路，必将变得更加智慧。
德州农工大学-相关新闻
相关学校
