阿里云百炼上线-Turbo模型:支撑100万超长上下文

时间: 2024-12-16 19:44:30 |   作者: 艺术纸系列

产品介绍

      阿里云百炼宣告,最新的Qwen2.5-Turbo模型已在渠道上线,即日起全用户可在阿里云百炼调用Qwen2.5-Turbo API,百万tokens仅需0.3元,一起还免费为用户赠送1000万tokens额度。

      该模型支撑100万超长上下文,相当于100万个英文单词或150万个汉字,并且在多个长文本评测会集的功能体现逾越GPT-4。

      据介绍,Qwen2.5-Turbo可应用于长篇小说深化了解、库房等级代码帮手、多篇论文阅览等场景,可一次性处理10本长篇小说,150小时的演讲稿,3万行代码。

      不仅是长文本,在MMU、LiveBench等短文本基准上Qwen2.5-Turbo的体现也很优异,在大部分使命上的体现明显逾越之前上下文长度为1M tokens的开源模型。

      在推理速度方面,团队使用稀少注意力机制将注意力部分的核算量紧缩了约12.5倍,将处理1M tokens上下文时的首字回来时刻从4.9分钟降低到68秒,速度大幅度的提高了4.3倍。

      不过通义千问团队也表明,长文本使命处理仍然存在许多应战,未来将进一步探究长序列人类偏好对齐,优化推理功率以削减运算时刻,并持续研制更大、更强的长文本模型。