AI项目与工具

Arctic

Arctic是一款由云计算公司Snowflake的AI研究团队开发的高效且开源的企业级大型语言模型,拥有480亿参数。该模型采用混合专家模型(MoE)架构,结合了密集变换器(Dense Transformer)和128个专家的特点。Arctic在成本效益、训练效率和推理效率方面具有显著优势,特别适用于企业任务,例如SQL生成、编程和指令遵循。模型基于Apache 2.0许可发布,用户可以自由使用和

Phi

Phi-3是由微软研究院开发的一系列小型语言模型,包括phi-3-mini、phi-3-small和phi-3-medium三个版本。这些模型通过优化的数据集和算法,在保持较小参数规模的同时,展现出与大型模型相当的语言理解和推理能力。phi-3-mini模型仅有3.8亿参数,但在多项基准测试中表现优异,甚至能在智能手机上运行。Phi-3系列模型的研发体现了在数据工程和模型优化领域的最新进展,为未来

Parler

Parler-TTS是一款由Hugging Face开发的开源文本到语音(TTS)模型,能够模仿特定说话者的风格,生成高质量、自然的语音。该模型采用轻量级设计,包括文本编码器、解码器和音频编解码器,通过整合文本描述和嵌入层,优化了语音生成过程。Parler-TTS的所有资源公开,促进了高质量、可控TTS模型的发展。此外,用户还可以根据需要对模型进行自定义训练和微调。

CodeGemma

CodeGemma是由Google开发的大型语言模型系列,专注于代码生成和理解。它包含三种不同规模的模型:2B预训练模型、7B预训练模型和7B指令微调模型。CodeGemma支持多种编程语言,能够提供代码补全、生成和自然语言理解等功能。经过大量英语编程和数学数据的训练,CodeGemma具备高准确性,能够在多种编程语言中表现出色,并能集成到各种开发环境中,提高开发效率。

DesignEdit

DesignEdit是一个由微软亚洲研究院和北京大学的研究人员共同开发的AI图像编辑框架。它采用了多层潜在分解和融合技术,能够实现对象移除、移动、调整大小、翻转、相机平移和缩放等复杂图像编辑任务。DesignEdit还支持跨图像元素的组合,特别适用于设计图像和海报的编辑。通过关键掩码自注意力机制和伪影抑制方案,DesignEdit能够在不破坏图像整体连贯性的情况下,实现高精度的空间感知图像编辑。

DreaMoving

DreaMoving是一个基于扩散模型的人类视频生成框架,由阿里巴巴集团研究团队开发。该框架通过视频控制网络(Video ControlNet)和内容引导器(Content Guider)实现对人物动作和外观的精确控制,允许用户通过文本或图像提示生成个性化视频内容。其主要功能包括定制化视频生成、高度可控性、身份保持、多样化的输入方式以及易于使用的架构设计。DreaMoving广泛应用于影视制作、游

SWE

SWE-agent是普林斯顿大学NLP研究团队开发的开源AI工具,旨在帮助程序员和软件工程师解决GitHub存储库中的问题。它通过智能体-计算机接口(ACI)与代码库交互,实现代码浏览、编辑、测试及执行等功能。SWE-agent在SWE-bench测试集上的表现与Devin相近,平均93秒解决问题。其功能包括拉取请求问题解决、代码编辑与修复、自动语法检查、文件查看、全目录字符串搜索、命令与反馈处理

Voice Engine

Voice Engine是由OpenAI开发的AI语音合成和声音克隆技术。该技术能够通过15秒的音频样本和文本输入生成自然语音。它已在OpenAI的文本到语音API和ChatGPT的语音功能中应用。Voice Engine广泛应用于教育、翻译、远程服务提供、支持言语残障者以及帮助恢复患者声音等方面。为了确保技术安全,OpenAI实施了严格的使用政策和安全措施。

Jamba

Jamba是由AI21 Labs开发的基于Mamba架构的生产级别大语言模型,结合了结构化状态空间模型(SSM)和传统Transformer架构,具备高吞吐量和低内存占用的特点。Jamba拥有256K的上下文窗口,适用于处理长文本序列,并且以开放权重的形式发布,遵循Apache 2.0开源许可。该模型主要用于研究领域,未来将推出更安全的版本。

Champ

Champ是由阿里巴巴、复旦大学和南京大学的研究人员共同开发的一款基于3D的AI工具,能够将人物图片转换为高质量的视频动画。Champ通过结合3D参数化模型和潜在扩散模型,精准捕捉和再现人体的3D形态和动态,保证动画的连贯性和视觉逼真度。此外,Champ还支持跨身份动画生成,并能与文本生成图像模型结合,使用户可以根据文本描述生成特定的角色外观和动作。