AnimeGamer

AnimeGamer简介

AnimeGamer是由腾讯PCG与香港城市大学联合开发的动漫生活模拟系统，基于多模态大语言模型（MLLM）构建。该系统允许玩家通过自然语言指令，以动漫角色的身份沉浸式体验动态游戏世界。例如，玩家可以扮演《悬崖上的金鱼姬》中的宗介，与其他角色进行互动。系统能够生成具有上下文一致性的动态动画视频，并实时更新角色状态，如体力、社交值和娱乐值等。相较于传统方法，AnimeGamer在角色一致性、语义连贯性和动作控制方面表现突出，为用户带来更真实的沉浸式体验。

AnimeGamer核心功能

• 角色扮演与互动：玩家可扮演各类动漫角色，与不同作品中的角色进行互动，增强沉浸感。
• 动态动画生成：根据玩家输入指令，实时生成高质量的动态动画视频，确保内容连贯且富有表现力。
• 角色状态管理：根据角色行为动态调整其体力、社交和娱乐值，提升游戏真实度。
• 多轮对话交互：支持自然语言的多轮交流，模型基于上下文生成连贯的游戏状态。
• 自定义内容：用户可自由选择角色和场景，创造个性化的游戏体验。

AnimeGamer技术架构

• 多模态大语言模型：采用多模态大语言模型处理文本与视觉信息，实现跨模态理解与生成。
• 动作感知多模态表示：将动画分解为视觉参考、动作描述和强度三部分，整合为统一的多模态表示。
• 视频扩散模型：使用如CogVideoX等模型作为解码器，生成高质量动态视频，提升动画自然度。
• 上下文一致性机制：通过历史数据预测后续状态，确保动画和剧情的连贯性。
• 角色状态预测：基于MLLM预测角色状态变化，增强互动性和真实性。

AnimeGamer资源链接

• 项目官网：https://howe125.github.io/AnimeGamer.github.io/
• GitHub仓库：https://github.com/TencentARC/AnimeGamer
• HuggingFace模型库：https://huggingface.co/TencentARC/AnimeGamer
• arXiv论文：https://arxiv.org/pdf/2504.01014

AnimeGamer应用场景

• 个性化娱乐：用户可根据喜好定制角色和情节，获得专属故事体验。
• 创意辅助：为创作者提供新剧情灵感和角色互动设计。
• 教育应用：可用于语言学习和逻辑思维训练。
• 社交互动：支持多人协作创作和分享游戏内容。
• 游戏开发：帮助开发者快速生成游戏素材，提升开发效率。