量化
Ministral 3B/8B
Ministral 3B 和 8B 是由 Mistral AI 开发的两款轻量级 AI 模型，专为设备端和边缘计算设计。它们具备强大的知识处理能力和高效的上下文管理能力，支持长达 128k 的上下文长度，并通过独特的交错滑动窗口注意力机制提升了推理速度。这些模型适用于设备端翻译、本地数据分析、智能助手及自主机器人等领域，同时支持无损量化和私有部署。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。
TradingAgents
TradingAgents是由加州大学洛杉矶分校与麻省理工学院联合开发的多代理LLM金融交易框架，整合多种专业角色的AI代理，通过辩论与对话进行交易决策。该系统支持多类型市场数据分析，具备风险控制、动态调整与高可解释性，适用于量化交易、资产管理、个人投资等多个场景，显著提升交易效率与透明度。
PaliGemma 2
PaliGemma 2是一款由Google DeepMind研发的视觉语言模型（VLM），结合了SigLIP-So400m视觉编码器与Gemma 2语言模型，支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现，在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务，包括图像字幕生成、视觉推理等，并支持量化和CPU推理以提高计算效率。
