推理

T2V

T2V-Turbo 是一种高效的文本到视频生成模型,能够快速生成高质量视频,同时确保文本与视频的高度一致性。它通过一致性蒸馏技术和混合奖励机制优化生成过程,适用于电影制作、新闻报道、教育及营销等多个领域,支持从创意草图到成品视频的全流程加速。

欧派算力云

欧派算力云是一家提供AI算力服务的平台,主要功能包括大模型API接口、GPU容器实例和Serverless服务。其核心技术涵盖分布式算力网络与自研推理加速引擎,显著提升模型推理性能并降低成本。平台支持多模态模型调用,适用于AI推理、训练、云渲染及元宇宙等场景,提供灵活计费与自动化管理功能,助力企业高效部署AI应用。

Mooncake

Mooncake是一个以KVCache为中心的分布式大模型推理架构,由Kimi联合清华大学等机构开源。它通过分离预填充和解码阶段,有效利用GPU集群的其他资源,显著提升推理吞吐量,降低算力消耗,同时保持低延迟。Mooncake支持长上下文处理、负载均衡及过载管理,适用于多种应用场景,包括自然语言处理、语音识别、搜索引擎优化等,推动大模型技术的高效应用。

Awesome Chinese LLM

整理了开源的中文大语言模型(LLM),主要关注规模较小、可私有化部署且训练成本较低的模型,目前已收录了100多个相关资源。

Insight

Insight-V是一款由南洋理工大学、腾讯和清华大学联合研发的多模态大型语言模型,专为提升长链视觉推理能力而设计。该模型通过多智能体系统将任务分解为推理与总结两步,并采用两阶段训练流程优化性能。其渐进式数据生成和多粒度评估方法进一步提升了模型的推理精度,在多个视觉推理基准测试中表现出色。

LayerSkip

LayerSkip 是一种针对大型语言模型推理优化的技术,通过层 dropout 和早期退出损失机制,实现从早期层的精准退出,降低计算成本并提高解码效率。该方法结合自我推测解码技术,支持模型在早期层生成预测并通过后续层验证修正,广泛适用于文档摘要、编程任务、语义解析等自然语言处理任务,同时确保高精度与低延迟。

ReasonIR

ReasonIR-8B 是由 Meta AI 开发的推理密集型检索模型,基于 LLaMA3.1-8B 训练,采用双编码器架构,提升复杂查询处理能力。结合合成数据生成工具,增强模型在长上下文和抽象问题中的表现。在多个基准测试中表现优异,适用于问答系统、教育、企业知识管理和科研等领域。

POINTS 1.5

POINTS 1.5 是腾讯微信开发的多模态大模型,基于LLaVA架构设计,包含视觉编码器、投影器和大型语言模型。它在复杂场景OCR、推理、关键信息提取、数学问题解析及图片翻译等方面表现突出,适用于票据识别、自动客服、新闻摘要、学术论文处理、旅游翻译和在线教育等多个领域。该模型通过高效的数据处理和特征融合技术,实现了跨模态任务的精准处理与高效输出。

书生InternThinker

书生InternThinker是一款由上海人工智能实验室开发的强推理模型,具备生成高智力密度数据及元动作思考的能力。它擅长处理数学、编程、逻辑推理等复杂任务,通过长思维能力和自我反思机制提升性能。模型采用通专融合技术和大规模沙盒环境反馈,实现复杂任务的高效解决,适用于教育、编程、科研、客服及法律等多个领域。

fal

Fal 是一款面向开发者的 AI 工具平台,专注于音频、视频和图像生成与处理。它具备高性能推理引擎、跨平台支持、自然语言处理功能及实时交互式应用支持。通过灵活的按需付费模式,Fal 可广泛应用于创意设计、广告营销、游戏开发、教育培训和电子商务等领域。