2025-04-12 13:05:56 | 来源: 智享导航
5月6日报道丨日前,国内人工智能大模型研究公司百川智能发布公众号文章称,国内最权威的大模型评测机构 SuperCLUE 发布了《中文大模型基准测评 2024 年度 4 月报告》,报告选取国内外具有代表性的 32 个大模型 4 月份的版本,通过**度综合性测评,对国内外大模型发展现状进行观察与思考。

报告显示,百川智能的 Baichuan 3 在国内大模型中排名第一,智谱 GLM-4、通义千问 2.1、文心一言 4.0、月之暗面(Kimi)等大模型位列其后。从全球范围来看,国外同行的 GPT-4、Claude3 得分更胜一筹。

测试结果显示,Baichuan3 的文科、理科能力均衡。在知识百科能力上 Baichuan 3 以 82 分的成绩超越了 GPT-4 Turbo,在所有 32 个参与评测的国内外大模型中排名第一。而在代表了大模型智力的“逻辑推理”能力上以 68.60 的成绩超越 Claude 3-Opus,也力压一众国内大模型拔得头筹。此外,在计算、代码、工具使用能力上 Baichuan 3 表现同样不俗,均排名国内前三。

SuperCLUE 是国内通用大模型综合性测评基准,其前身是第三方中文语言理解测评基准 CLUE(The Chinese Language Understanding Evaluation)。据介绍,SuperCLUE 本次测评由十大基础任务组成,包括逻辑推理、代码、语言理解、长文本、角色扮演等,题目为多轮开放式简答题。评测集共 2194 题。
不同于传统测评通过选择题形式的测评,SuperCLUE 纳入了开放主观问题的测评。通过**度多视角多层次的评测体系以及对话的形式,模拟大模型应用场景,真实有效的考察模型生成能力。同时,SuperCLUE 通过构建多轮对话场景,更深层次考察大模型在真实多轮对话场景的应用效果,对大模型的上下文、记忆、对话能力全方位评测。
热门榜单
360AI搜索
常用AIsharegpt
常用AIGPTs:GPT Builder创建器
常用AIHi Echo — 网易有道
常用AI美图Moki
常用AIPicTech AI
常用AIPhotosonic
常用AIDreamUp
常用AIScribble Diffusion
常用AI热门资讯
讯飞星火大模型V3.5春季上新,长文本长图长语音,生产力实测:你的超级知识助手来了!
12-26有哪些好用的AI工具_AI工具测评使用_
12-31荣耀CEO赵明:荣耀领先三年,很高兴看到苹果追随我们的AI手机发展路线
02-24马斯克突然发布新版Grok-2大模型,牺牲特斯拉资源叫板OpenAI,一手实测来了
12-25夸克AI搜索_夸克最新动态_夸克官方网站
12-26SD3超详细使用教程+效果测评丨附热门模型下载地址
12-26快手AI文生视频大模型【可灵】首发实测:这可能将成为真正意义的第一款「中国版Sora」
12-26体验完腾讯的AI助理应用「腾讯元宝」,完整的公众号内容生态将是它的最强杀手锏
12-26Stable Diffusion 3最新模型测评丨SD3模型ComfyUI流程简单搭建
12-26商汤科技发布「日日新大模型」5.0:直接对标GPT-4 Turbo,全能分析轻松掌握周冠宇F1赛事数据
12-26