Shisa AI ​发布​全​新​基准​测试​「CO​SPA」

9月​4日​（星期五），​以​阿里​巴巴​大语言模型​ Qwen 为​核心，​汇聚生​成式​ A​I ​最​新​技术​与​实际​应用​案例​的​ Q​wenMeetupTokyo ​举行。

活动​当天，​Shisa.AI ​联合​创始人​之一​沈佳登​台​分享​了​ S​hisa.AI ​目前​在​ Speech Recognit​ion​（语​音识别）​领域​的​工作，​以及​新​开发​的​ Cost Of Solving ​Programming ​Assignments​（COSPA）​基准​测试。

COSPA 旨​在​让​“解决​编程​任务​所​需​的​成本”​变得​可​衡量。​目前​已经​有​许多​排行榜​可以​展示​哪些​模型​能够​取得​更​高​的​分数，​但​这些​排行榜​并​没有​告诉​我们：​达到​这样​的​成绩​究竟​需要​花费​多​少​成本。​因此，​Shisa.AI ​开发​了​一​个​同时​评估​这​一​成本​的​基准​测试。

COSPA ​使用​了​ 300 多​个​真实​世界​的​ A​genti​c Tasks​（智​能​体​任务），​完成​全部​评测​至少​需要​一​天​的​实际​运行​时间。​通过​这​一​基准​测试，​现在​不仅​可以​比较​哪​个​模型​更​聪明、​性​能​更​强，​还​可以​进一步​比较​达到​这​一​性​能​水平究竟​需要​投入​多​少​成本​和​计算​资源。

欢迎​前往​COSPA GitHub 仓库​了解​详情​并​尝试​使用。