Skip navigation

国际开放基准测试委员会(国际测试委员会)

 

BenchCouncil的使命

国际开放基准测试委员会(BenchCouncil,国际测试委员会)是一个非营利性的基准测试组织,旨在促进多学科基准测试研究和实践,促进产业界和学术界之间的合作与互动。


What's New:

2019-04-09 18:10 新华网报道: 2019年世界智能计算机大会将于6月在深圳举办

2019-04-10 11:27:00 央广网报道: 2019年世界智能计算机大会6月深圳召开

更多新闻...


BenchCouncil当前和计划的活动包括:

  • 建立并维护可定量评测分析的系统和算法的基准测试程序细则。

  • 评估、引导、发布开源基准测试程序实现。

  • 发布基准测试领域的相关新闻简讯、学术论文。

  • 组织会议、论坛、技术峰会等会议来促进产业界和学术界在基准测试领域的合作。

  • 组织基于发布的基准测试程序的相关竞赛。

BenchCouncil定期刊印期刊: BenchCouncil Transaction on Benchmarking, measuring, and Optimizing (in short, TBench).

BenchCouncil组织BenchCouncil主会 (Bench)BenchCouncil世界智能计算机大会。


BenchCouncil宗旨

开放、透明、平衡

开放: 任何人都可以提交基准测试程序以供评估,并参与基准测试程序细则的制定和实现。

透明: 所有的成果进展都会以学术论文的方式在TBench上发表。相关人员的贡献都会被记录,且公开查看。

平衡: 每一个基准测试工作小组都由相关领域的产业界和学术界研究人员组成。


BenchCouncil流程

每个基准测试程序的发布流程主要包括以下六个步骤:基准测试提议,工作组的形成,发布基准测试规范,基准规范的开源实现,竞赛以及性能排名榜。



  • 基准测试提议:BenchCouncil鼓励任何公司、研究所、组织、个人提交相关基准测试提议。一旦基准测试提议被接受,该提议作者将受邀参加BenchCouncil主会或相关论坛进行报告,并最终形成学术论文在TBench期刊上发表。同样,不同的工作组都可以提交不同领域相关的基准测试程序。

  • 形成工作组:对于每一个领域的基准测试程序,一个该领域的工作小组会被建立。BenchCouncil将指定两位工作小组组长,分别来自工业界和学术界。工作小组有义务寻找资金资助相关基准测试集的研究和实现。通常,一系列工作小组的讨论交流会在BenchCouncil主会、论坛和技术峰会上进行。

  • 发布基准测试规范:BenchCouncil鼓励定期在TBench上发布基准测试规范。相关评论、回复和讨论也将在TBench上发表。

  • 基准规范的开源实现:BenchCouncil鼓励任何个人和组织对相关基准测试规范的贡献。鼓励开源实现的的实践报告在TBench上发表。

  • 竞赛:BenchCouncil将定期组织基于发布的基准测试程序的相关竞赛。

  • 性能排名:性能排名数据将会在TBench和BenchCouncil官网上定期更新发布。