当前位置: 您当前的位置 : 科技金融网  ->  产业  -> 正文

360联合北大震撼发布!5%参数量逼近Deepseek-R1满血性能

2025年02月25日 16:23:00 来源:科技金融时报 作者:蔡福

       2月24日,由360与北京大学联合研发的中等量级推理模型Tiny-R1-32B-Preview正式亮相,仅以5%参数,逼近Deepseek-R1-671B的性能。

  核心突破:小模型,大能量

  数学领域:以78.1分(AIME 2024评测)逼近原版R1模型(79.8分),远超Deepseek-R1-Distill-Llama-70B(70.0分);综合性能:在编程(LiveCodeBench 61.6分)、科学(GPQA-Diamond 65.0分)领域全面领先最佳开源70B模型Deepseek-R1-Distill-Llama-70B;效率跃迁:仅需5%参数量,性能达原版R1的95%以上,推理成本大幅降低。

  技术革新:领域专精+模型融合

  研究团队使用“分治-融合”策略:基于DeepSeek-R1生成海量领域数据,分别训练数学、编程、科学三大垂直模型; 通过Arcee团队Mergekit工具智能融合,突破单一模型性能上限,实现多任务均衡优化。

  开源承诺:推动技术普惠

  模型仓库:https://huggingface.co/qihoo360/TinyR1-32B-Preview

  即将公开完整技术报告、训练代码及部分数据集;

  践行开源精神,助力AI社区共筑高效推理新生态。

  

       研发团队表示:Tiny-R1-32B-Preview是蒸馏技术的里程碑,未来将持续探索更轻量、更强大的通用模型,推动AI技术普惠化进程。”

  360团队: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Sai-er Hu, Xiangzheng Zhang

  北大团队: Yuhan Wu, Zihan Jiang, Wenrui Liu, Junting Zhou, Bin Cui, Tong Yang   

通讯员 蔡福

[编辑: 王姝]
(本文来源:科技金融时报)
  • 科技金融时报
举报电话:0571-87089618 | 地址:杭州市文一路115号 | 法律顾问:北京京师(杭州)律师事务所陈佳律师
互联网新闻信息服务许可证 33120240003 | 浙ICP备2024107310号 | 浙公网安备33010602013724
Copyright © 2014 kjjrw.com.cn. All rights reserved.