多模态

POINTS 1.5

POINTS 1.5 是腾讯微信开发的多模态大模型,基于LLaVA架构设计,包含视觉编码器、投影器和大型语言模型。它在复杂场景OCR、推理、关键信息提取、数学问题解析及图片翻译等方面表现突出,适用于票据识别、自动客服、新闻摘要、学术论文处理、旅游翻译和在线教育等多个领域。该模型通过高效的数据处理和特征融合技术,实现了跨模态任务的精准处理与高效输出。

Paper2Poster

Paper2Poster是由加拿大滑铁卢大学、新加坡国立大学等机构推出的学术框架,基于多模态自动化技术从科学论文生成海报。它通过Parser、Planner和Painter–Commenter系统实现内容压缩、布局优化和视觉质量提升,支持将长篇论文转化为结构化视觉海报。Paper2Poster引入PaperQuiz评估方法,确保海报有效传达核心内容,提高生成效率,适用于学术会议、报告、科研展示及教

Transfusion

Transfusion是由Meta公司开发的多模态AI模型,能够同时生成文本和图像,并支持图像编辑功能。该模型通过结合语言模型的下一个token预测和扩散模型,在单一变换器架构上处理混合模态数据。Transfusion在预训练阶段利用了大量的文本和图像数据,表现出强大的扩展性和优异的性能。其主要功能包括多模态生成、混合模态序列训练、高效的注意力机制、模态特定编码、图像压缩、高质量图像生成、文本生成

CustomVideoX

CustomVideoX是一种基于视频扩散变换器的个性化视频生成框架,能够根据参考图像和文本描述生成高质量视频。其核心技术包括3D参考注意力机制、时间感知注意力偏差(TAB)和实体区域感知增强(ERAE),有效提升视频的时间连贯性和语义一致性。支持多种应用场景,如艺术设计、广告营销、影视制作等,具备高效、精准和可扩展的特点。

万兴天幕大模型

万兴天幕大模型是万兴科技AILab的创新成果,展现了其在多媒体领域的深厚技术积累和前瞻性布局。通过自研技术和多年行业经验,天幕大模型为全球创作者提供了一个强大的工具,以实现...

MMSearch

MMSearch 是一款用于评估大型多模态模型(LMMs)搜索能力的基准测试工具,包含 MMSearch-Engine 框架和 MMSearch 测试集。其核心功能包括问题重构、网页排序和答案总结,通过多模态搜索能力评估提升 LMMs 的性能。实验结果显示 GPT-4o 在该测试中表现优异,且增加计算量比扩大模型规模更具优势。

Image to Music

Image to Music 是一款基于AI的图像转音乐工具,通过分析图像的颜色、形状和纹理等元素,生成多种风格的音乐。用户可直接上传图片并选择模型,快速获得钢琴、吉他、管弦乐等音乐作品。无需注册,无使用限制,适用于音乐创作、广告营销、教育及个性化礼物制作等多种场景,为艺术创作提供新思路。

Gen

Gen-3 Alpha是一款由Runway公司研发的AI视频生成模型,能够生成长达10秒的高清视频片段,支持文本到视频、图像到视频的转换,并具备精细的时间控制及多种高级控制模式。其特点在于生成逼真的人物角色、复杂的动作和表情,提供运动画笔、高级相机控制和导演模式等高级控制工具,确保内容的安全性和合规性。

AI Now

AI Now是一款由联想推出的个人AI助手,内置Meta Llama 3等本地大型语言模型,支持自然语言交互、内容生成、设备管理和跨设备数据传输等功能。它注重数据安全与隐私保护,通过本地加密和个人知识库实现全面的数据控制。AI Now适用于个人助理、教育辅导、办公自动化、内容创作以及客户服务等多种应用场景,旨在提高用户的工作效率和生活质量。

GO

GO-1是智元机器人推出的首个通用具身基座模型,采用ViLLA架构,结合多模态大模型与混合专家系统,具备场景感知、动作理解和精细执行能力。支持小样本快速泛化、跨本体部署与持续进化,广泛应用于零售、制造、家庭及科研等领域,推动具身智能技术发展。