MMSearch是一个用于评估大型多模态模型（LMMs）作为AI搜索引擎能力的基准测试。包括一个MMSearch-Engine框架和MMSearch测试集，后者包含300个问题，涵盖14个子领域。MMSearch-Engine框架通过问题重构、网页排序和答案总结三个阶段增强LMMs的搜索能力。测试集分为新闻和知识两大类别，确保测试内容与LMMs的训练数据不重叠，提供公平的评估。实验表明，GPT-4o模型在MMSearch基准测试中表现优异，超越商业产品Perplexity Pro。研究发现，增加测试时的计算量比增大模型规模更有效。
MMSearch的主要功能多模态搜索能力评估：MMSearch旨在评估大型多模态模型（LMMs）在处理包含图像和文本的复杂查询时的搜索能力。问题重构：将用户的原始查询转换为适合搜索引擎处理的格式。网页排序：从搜索引擎获取的结果中选择最相关的网页。答案总结：从选定的网页内容中提取并总结答案。MMSearch的技术原理MMSearch-Engine框架：问题重构（Requery）：基于LMMs理解用户查询的意图，并转化为搜索引擎能理解的格式。如果查询包含图像，还会用Google Lens等工具识别图像中的关键信息。网页排序（Rerank）：用LMMs对搜索引擎返回的结果进行重新排序，确定哪些网页最有可能包含正确答案。答案总结（Summarization）：从选定的网页中提取相关信息，并总结成答案。数据集设计：MMSearch包含300个手动收集的查询实例，涵盖新闻和知识两大领域，确保与LMMs的训练数据不重叠。评估策略：通过端到端任务和单独的任务（问题重构、网页排序、答案总结）评估LMMs的性能。MMSearch的项目地址项目官网：mmsearch.github.ioGitHub仓库：https://github.com/CaraJ7/MMSearchHuggingFace模型库：https://huggingface.co/datasets/CaraJ/MMSearcharXiv技术论文：https://arxiv.org/pdf/2409.12959MMSearch的应用场景学术研究：研究人员用MMSearch评估和比较不同大型多模态模型在处理包含图像和文本的复杂查询时的性能。搜索引擎优化：搜索引擎开发者用MMSearch的框架和评估方法改进搜索引擎的算法，更好地理解和回应用户的多模态查询。智能助手：在开发智能助手或聊天机器人时，MMSearch提升助手对用户输入的图像和文本信息的理解和回应能力。内容推荐系统：内容推荐平台用MMSearch的技术原理更准确地分析用户查询意图，从而提供更相关的推荐内容。教育和培训：教育工具集成MMSearch的评估方法设计课程和训练材料，帮助学生更好地理解多模态信息检索的概念。 
