随着人工智能技术的不断进步,用户界面(UI)的理解成为了创建直观且有用的AI应用程序的关键挑战。最近,苹果公司的研究人员在一篇新论文中介绍了UI-JEPA,这是一种旨在实现轻量级设备端UI理解的架构,它不仅保持了高性能,还显著降低了UI理解的计算要求。

UI理解的挑战在于需要处理跨模式特征,包括图像和自然语言,以捕捉UI序列中的时间关系。尽管多模态大型语言模型(MLLM)如Anthropic Claude3.5Sonnet和OpenAI GPT-4Turbo在个性化规划方面取得了进展,但这些模型需要大量的计算资源、巨大的模型大小,并会带来高延迟,不适合需要低延迟和增强隐私的轻量级设备解决方案。

UI-JEPA 架构 图片来源:arXiv

UI-JEPA的灵感来源于Meta AI首席科学家Yann LeCun于2022年推出的联合嵌入预测架构(JEPA),这是一种自监督学习方法。JEPA通过预测图像或视频中被遮盖的区域来学习语义表示,显著降低了问题的维度,使较小的模型能够学习丰富的表示。

UI-JEPA架构由视频转换器编码器和仅解码器语言模型两个主要组件组成。视频转换器编码器是一种基于JEPA的模型,可将UI交互的视频处理为抽象的特征表示。LM采用视频嵌入并生成用户意图的文本描述。研究人员使用了Microsoft Phi-3,这是一款轻量级的LM,具有大约30亿个参数,非常适合在设备上进行实验和部署。

UI-JEPA 的 IIT 和 IIW 数据集示例 图片来源:arXiv

为了进一步推进UI理解的研究,研究人员引入了两个新的多模态数据集和基准:“野外意图”(IIW)和“驯服意图”(IIT)。IIW可捕获具有模糊用户意图的开放式UI操作序列,而IIT专注于意图更明确的常见任务。

在新基准上评估UI-JEPA的性能显示,它在少样本设置中的表现优于其他视频编码器模型,并实现了与更大的封闭模型相当的性能。研究人员发现,使用光学字符识别(OCR)合并从UI中提取的文本可进一步增强UI-JEPA的性能。

UI-JEPA模型的潜在用途包括为AI代理创建自动反馈循环,使它们能够在没有人工干预的情况下从交互中不断学习,以及将UI-JEPA集成到旨在跟踪不同应用程序和模式中用户意图的代理框架中。

苹果公司的UI-JEPA模型似乎非常适合Apple Intelligence,这是一套轻量级的生成式AI工具,旨在让Apple设备更智能、更高效。鉴于苹果对隐私的关注,UI-JEPA模型的低成本和额外效率可以使其AI助手比其他依赖云模型的助手更具优势。