《麻省理工科技評(píng)論》中國(guó)從研發(fā)和商業(yè)化能力、外界態(tài)度以及發(fā)展趨勢(shì)等維度全方位檢測(cè)大模型的能力,力圖評(píng)出“最聰明”的國(guó)產(chǎn)大模型。選取了“訊飛星火”、“百度文心一言”、“商湯商量”、“阿里通義千問(wèn)”作為中文大模型平臺(tái)的代表,展開(kāi)系統(tǒng)、科學(xué)的評(píng)測(cè)。
本次評(píng)測(cè)使用的測(cè)試集包含600道題目,覆蓋了語(yǔ)言專(zhuān)項(xiàng)、數(shù)學(xué)專(zhuān)項(xiàng)、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識(shí)、安全性共 8 個(gè)一級(jí)大類(lèi),126 個(gè)二級(jí)分類(lèi),290 個(gè)三級(jí)標(biāo)簽,并針對(duì)問(wèn)題的豐富性和多樣性做了優(yōu)化。
在題目類(lèi)型上,為了兼顧定量、定性的評(píng)價(jià)與測(cè)試,設(shè)置了“單選”、“多選”、“填空”、“簡(jiǎn)答”4個(gè)題型,分別有 145 道、138 道、136 道和 181 道。大模型評(píng)測(cè)體系使用盲評(píng)方式,客觀評(píng)估國(guó)產(chǎn)大模型的聰明程度。
作為“最聰明”的大模型的基礎(chǔ)能力,語(yǔ)言專(zhuān)項(xiàng)評(píng)測(cè)包含對(duì)話理解、多語(yǔ)種、諷刺、古詩(shī)詞理解、文本生成、要點(diǎn)總結(jié)、情感分析、語(yǔ)義判斷等 61 個(gè)二級(jí)分類(lèi),題型則以簡(jiǎn)答為主。結(jié)果顯示,訊飛星火 85.73%的得分率排名第一,明顯高于平均值。

000402631+ Z00402631
KEN5-FN/47409-/v01.03
Siemens 6FC3985-7AH
KEN5/46678-/v03.24
KWD5/46763-/v03.20
Siemens 570.474.9002.01 E: E/6FX1147-4BB00
9301A-SIZG-PHJ-GZ-G
KEN5/46678-
KW8/46754-/v03.10
T2-10AI-0-Bare
QLN65/0012 A3-102726.9oz-33/LE4-115
Siemens 1FT6044-4AF71-3EB0
KEN5-S10/47804-
6FC4401-0TA01-Z
KWD5/46763-
6FL3001-4AB12
KEN5-ON/47426-
KW8/46754-
KW8/46754-
700-600-CAN12
R911173398
Siemens 6MA3110-0FB07
KW8/46754-
OPTItec Co
ntrol Technology/Teco 32 10/12ft
FC/486DX / I - T /2722085/
Bosch Sm 10/20-C 054883-207
Bosch Socket Co
ntact 1928492555
6ES5242-1AA11
18341-A51116021
M 6DS1703-8RR
R151033554 48317.004 L = 540 mm
063991-102401
A20B-0007-0070 / 06B
462007.9410.00
0.652.960-46.2
LID 311C/315C P10 G10 245 059 17
0103-221-1-00
B1200 - C960 L7151
-102
5-VMK 32 NC
MEM500.100A
pH-Meter pH 161 T
AMT VGA OPTO 16 i - 16 o
AMT VGA OPTO 16i-16o
RMA12.1-32-DC024-050
M 6DS1607-8AB
CPJ-DR
免責(zé)聲明:AMIKON我們銷(xiāo)售新產(chǎn)品和停產(chǎn)產(chǎn)品,特有渠道購(gòu)買(mǎi)此類(lèi)特色產(chǎn)品。阿米控不是本網(wǎng)站特色產(chǎn)品的授權(quán)分銷(xiāo)商、經(jīng)銷(xiāo)商或代表。本網(wǎng)站上使用的所有產(chǎn)品名稱(chēng)/產(chǎn)品圖片、商標(biāo)、品牌和徽標(biāo)均為其各自所有者的財(cái)產(chǎn)。帶有這些名稱(chēng),圖片、商標(biāo)、品牌和徽標(biāo)的產(chǎn)品描述、描寫(xiě)或銷(xiāo)售僅用于識(shí)別目的,并不表示與任何權(quán)利人有任何關(guān)聯(lián)或授權(quán)。