超越GPT-4V,苹果Ferret-UI引领智能新纪元!

伯利兹云电脑,上海服务器_

【ITBEAR科技资讯】4月11日消息,苹果公司于4月8日发布了一款名为Ferret-UI的新型多模态大语言模型,该模型能够有效理解和与屏幕信息进行交互,并在所有基本UI任务上超越了GPT-4V。这一技术的发布,让人们对未来智能交互的期待愈发高涨。

超越GPT-4V,苹果Ferret-UI引领智能新纪元!

据ITBEAR科技资讯了解,Ferret-UI被设计为一种专为理解移动UI屏幕量身定制的MLLM,它具备指向、定位和推理等多重能力。该技术通过灵活的输入格式和基础任务,能够在移动用户界面屏幕上执行各类引用任务。Ferret-UI的一个显著特点是“任何分辨率”技术,这项技术通过放大细节来解决UI屏幕中小型对象的识别问题,进而提升模型对UI元素的理解精度。

超越GPT-4V,苹果Ferret-UI引领智能新纪元!

网友对此技术表示出极大的热情,纷纷称赞其“泰裤辣”。尽管苹果的泰坦项目曾遭遇挫折,但Ferret-UI的发布无疑为苹果在AI领域注入了新的活力。人们期待,如果这项技术能够应用于Siri,那么未来的智能助手将会变得更为聪明和便捷。

此外,研究人员为了增强模型的推理能力,特别编译了用于高级任务的数据集,包括详细描述、感知/交互对话和功能推理。在基础任务性能的比较上,Ferret-UI展现了对UI屏幕的出色理解能力以及执行开放式指令的能力。

随着技术的不断进步,掌握应用程序屏幕并使AI像人类一样进行交互,苹果未来或将改变MLLM的游戏规则,为我们带来更加智能和便捷的生活体验。

© 版权声明

相关文章