AI项目与工具

VoxInstruct

VoxInstruct是清华大学开源的语音合成技术,能够根据人类语言指令生成高质量的语音。该系统采用统一的多语言编解码器语言建模框架,将传统的文本到语音任务扩展到了更广泛的人类指令到语音任务。VoxInstruct通过引入语音语义标记和多种无分类器指导策略,提升了语音合成的自然度和表现力。它支持多语言和跨语言合成,适用于智能语音助手、有声读物、教育培训等多个领域。

Glarity

Glarity是一款基于ChatGPT技术构建的浏览器扩展工具,主要功能包括为YouTube视频和网页内容生成自动摘要、多语言翻译、电子邮件写作辅助及AI问答等。它支持多种平台,如YouTube、Google、Twitter等,旨在帮助用户高效获取信息、突破语言限制并提升阅读效率。无论是语言学习、学术研究还是跨文化交流,Glarity都提供了便捷的解决方案。

Playmate

Playmate是由广州趣丸科技开发的人脸动画生成框架,基于3D隐式空间引导扩散模型和双阶段训练框架,能够根据音频和指令精准控制人物表情和头部姿态,生成高质量动态肖像视频。其支持情感控制、姿态控制和独立控制,可生成多种风格的动态肖像,适用于影视制作、游戏开发、虚拟现实、互动媒体及教育等多个领域。

Trae国内版

Trae国内版是字节跳动推出的AI IDE,支持代码生成、补全、优化及自然语言指令生成。其核心功能包括Builder模式、智能体协作、多模型切换及上下文理解,提升开发效率。界面简洁易用,适配中文环境,适合从初学者到专业开发者使用。

ParGo

ParGo是一种由字节与中山大学联合开发的多模态大语言模型连接器,通过结合局部与全局token,提升视觉与语言模态的对齐效果。其核心模块PGP和CPP分别提取图像的局部和全局信息,增强细节感知能力。在多个基准测试中表现优异,尤其在文字识别和图像描述任务中优势明显。采用自监督学习策略,提高模型泛化能力,适用于视觉问答、图像字幕生成、跨模态检索等多种场景。

VisoMaster

VisoMaster 是一款基于 AI 的面部编辑与换脸工具,支持图片、视频及直播场景,能生成自然逼真的换脸效果。采用 GPU 加速与自定义模型功能,适用于影视、广告、视频创作等领域。核心技术包括深度学习与 GANs,实现高精度面部特征提取与图像合成,支持实时预览与参数调整,提升用户体验与效率。

TransPixar

TransPixar是由多所高校及研究机构联合开发的开源文本到视频生成工具,基于扩散变换器(DiT)架构,支持生成包含透明度信息的RGBA视频。该技术通过alpha通道生成、LoRA微调和注意力机制优化,实现高质量、多样化的视频内容生成。适用于影视特效、广告制作、教育演示及虚拟现实等多个领域,为视觉内容创作提供高效解决方案。

START

START是由阿里巴巴集团与中科大联合研发的工具增强型推理模型,通过集成外部工具(如Python代码执行器)提升大型语言模型的推理能力。其核心在于“Hint-infer”和“Hint-RFT”技术,结合长链推理与工具调用,显著提高复杂数学、科学问题及编程任务的准确性和效率。该模型具备自我调试、多策略探索和自学习能力,适用于科研、教育、编程等多个领域,是首个开源的长链推理与工具集成模型。

Edicho

Edicho 是一种基于扩散模型的图像编辑工具,能够在多图像间实现一致性编辑,无需额外训练。其核心技术包括 Corr-Attention 注意力模块和 Corr-CFG 去噪策略,通过显式图像对应关系提升编辑质量与一致性。适用于图像修复、风格转换、内容创作、医学影像增强等场景,具备良好的兼容性与扩展性。

PhotoMaker

PhotoMaker V2是腾讯推出的一款AI图像生成框架,能够快速生成逼真的人物照片。它在角色的一致性和可控性上取得了显著进步,用户可以通过文本指令进行精准控制。该工具利用深度学习技术和生成对抗网络(GANs),能够将文本描述转化为图像,并通过集成脚本增强生成过程的个性化和可控性。PhotoMaker V2广泛应用于游戏开发、电影制作、广告、社交媒体、艺术创作和教育等领域。