大赛概况


BenchCouncil 组织的大赛采取循环赛的方式。赛题从Benchmark测试集AIBench (Technical Report, Bench18)中选择。2019大赛使用欣秀作为竞赛交流工具,讨论组链接为:https://app.ic3i.com/org/benchcouncil/en/.
在每年竞赛组织报名截止(8月1日)之前,公司和研究机构可以加入组织赛道,组织方需支付一定的费用。
在每年竞赛选手报名截止(9月18日)日前,竞赛选手可以自由加入竞赛。
每年 10月1日 10月7日 截止提交竞赛结果并发布当年的结果排名。Bench 19组委会向获奖候选人发送Bench 19参会邀请函。 所有竞赛选手在竞赛结束后要求向BenchCouncil维护的代码共享系统BenchHub提交源代码。系统可以在BenchCouncil新技术实验床上运行。
所有竞赛选手都可以向BenchCouncil旗舰会议Bench提交论文。
最终获奖团队必须向Bench提交论文,并在会议现场做报告。

2019年10月1日 2019年10月7日:竞赛结果提交截止
2019年10月15日:提交论文初稿
https://easychair.org/conferences/?conf=competition2019
2019年11月10日: 提交最终论文。
竞赛成绩(完全由截止时间前提交的性能数据决定)占70%,专家评选成绩占30%。论文中的数据可以优化,但需要申明截止时间前的性能数据。特等奖从每个赛道的第一名中选择(根据截止时间前提交的性能数据决定)。


2019年BenchCouncil 国际人工智能系统大赛


“2019年BenchCouncil国际人工智能系统大赛”在BenchCouncil新技术实验床上举办,19年赛程包括寒武纪、X86和RISC-V等芯片上的系统竞赛以及云天励飞算法竞赛,将凝聚全世界的智慧,为自主可控的智能计算生态添砖加瓦。特等奖为10万元人民币。

2019大赛的详细信息请参考竞赛手册,同时可访问BenchCouncil讨论组获取最新竞赛动态或者提出疑问,我们将会第一时间回答。注:BenchCouncil讨论组可使用欣秀账号登录,无账号可使用手机号或者邮箱注册。
BenchCouncil讨论组(中文):https://app.ic3i.com/org/benchcouncil/cn/
BenchCouncil讨论组(英文):https://app.ic3i.com/org/benchcouncil/en/
竞赛中文手册:http://www.benchcouncil.org/competition/handbook-cn.pdf
竞赛英文手册:http://www.benchcouncil.org/competition/handbook-en.pdf

竞赛规则


1、每人只能参加一支队伍
2、每一个参赛队伍人数为1-3人,可选择1名指导老师,获奖队伍必须有一人参加 Bench19会议,发表相关论文并且参会做报告(可以由指导老师代讲
3、每一个参赛队伍每天限制提交3次


竞赛交流


定期会组织专家团队在各个高校和科研机构进行宣讲。交流和问答采用欣秀科教交流工具。


竞赛奖金


特等奖一个10万
一等奖奖金3万 每个赛道1个
二等奖奖金2万 每个赛道2个
三等奖奖金1万 每个赛道3个

赛道组织者征集


由BenchCouncil 提供赛题 (AIBench)、竞赛平台(新技术实验床)和宣传平台(欣秀科教交流工具)。组织方提供的数据集也可以成为AIBench或者BigDataBench的一部分。组织方可以提供加速器等设备。组织方提供的设备可以通过捐献的方式成为实验床的标准配置。


获奖队伍信息


于佳耕,中国科学院软件研究所智能软件中心高级工程师。于2012年获得中科院研究生院博士学位。主要从事的研究方向为智能系统软件、操作系统、云计算等。
邰阳,中国科学院软件研究所智能软件中心工程师。于2017年获得法国南巴黎电信学院计算机科学与技术专业硕士学位。主要从事基于容器技术的 智能服务器操作系统和RISCV智能芯片的推理优化适配等研究工作。
苗玉霞,中国科学院软件研究所智能软件中心工程师。于2017年在燕山大学系信息科学与工程学院获得硕士学位。研究方向包括机器学习,图像处理(分类、检测和识别)。
团队贡献: RVTensor通过使用Freedom开源SDK,实现了针对SERVE.r板卡的交叉编译功能,高效率编译和部署;通过编写针对神经网络的基础数据结构、算子等模块, 实现了运行第三方依赖最小化,可执行文件仅193KB,执行速度达到预期;通过实现对H5模型的解析和网络执行模块,推理准确率与keras一致。

孔阳阳:中国科学院信息工程研究所信息安全国家重点实验室研究实习员。获中国科学院大学计算机技术专业工程硕士学位。 主要研究方向包括计算机体系结构和人工智能。联系邮箱:kongyangyang@iie.ac.cn。
团队贡献:探索在RISC-V平台上实现深度学习推理的方法,并评估在多个系统上运行深度学习推理应用的性能。

冯晓兵中国科学院计算技术研究所研究员
李广力中国科学院计算技术研究所博士生
王雪莹中国科学院计算技术研究所博士生
马秀吉林大学博士生,中国科学院计算技术研究所客座学生
团队贡献:通过对寒武纪芯片特性的分析,我们提出了一种融合优化方法,并设计了高效的优化推理引擎,最终实现了7.44倍的加速比。

江梓涵是中国科学院大学的计算机体系结构方向的在读博士生,他的研究兴趣包括AI基准评测、性能分析和分布式深度学习。
李坚松是中国科学院大学的计算机体系结构方向的在读博士生。他的yanj9ng兴趣包括计算机编译技术、运行时系统、编程语言等。
团队贡献:在寒武纪MLU100平台上,量化分析了常用的AI推理优化技术对性能和准确率的影响,并且在保证准确率的情况下实现了CIFAR10的毫米级推理。

王一帆,中科院计算所博士研究生,研究方向包括计算机系统结构,边缘计算,系统性能建模和评估。
曾琛,中科院计算所博士研究生,研究方向包括分布式计算和区块链。
李春典,中科院计算所博士研究生,研究方向包括分布式存储,云计算和微处理体系结构。
团队贡献:我们使用离线模型,多线程编程以及I/O数据格式优化的方式挖掘寒武纪加速器MLU100在实际使用中端到端预测的性能极限, 在不改变网络模型的条件下,实现了ResNet-50处理CIFAR-10数据集15054 FPS的性能。

姚萍,1996年于清华大学获自动化专业工学学士学位,2003年于中科院电子学研究所获通信与信息系统 专业工学博士学位。现任中科院计算所副研究员,研究方向为数字信号与图像处理,遥感数据处理与应用。
贺鹏,中国科学院计算技术研究所研究生,从事数字图像处理方面的研究。
陈戈,中国科学院计算技术研究所研究生,从事数字图像处理方面的研究。
邓开,中国科学院计算技术研究所研究生,从事数字图像处理方面的研究。
团队贡献:将分类模型移植到寒武纪平台上,设计多项实验研究不同模型并行度和数据并行度及线程数对推理速度的影响。

李超,上海交通大学计算机科学与工程系特别研究员,团队指导老师。研究方向计算机体系结构,主要关注高性能可扩展的计算机系统。
邓伟信,上海交通大学计算机科学与工程系本科生,研究方向主要包括高性能计算、并行算法优化等。
王鹏宇,上海交通大学计算机系博士生,研究方向主要包括图计算、异构计算等。
王靖,上海交通大学计算机系博士生,研究方向主要包括图计算,可重构计算等。
团队贡献:针对推荐系统中广泛使用的ALSWR矩阵分解算法,他们在x86平台上根据硬件与算法特点进行了探索优化, 在并行计算、数据结构、以及系统架构层面提出了对应的技术解决办法。

郝天舒于2015年在南开大学取得学士学位,现在是中科院计算技术研究所的计算机软件与理论在读博士生。她的研究兴趣包括大数据,边缘计算,基准评测与性能分析。
郑梓坪于2016年在卡耐基梅隆大学取得硕士学位,现在是谷歌的一名软件工程师。他的研究兴趣在于机器学习和无人驾驶。
团队贡献:他们针对ALS-WR算法在海光x86机器上提出了一种粒度自适应调优的方法。

陈茂森硕士毕业于中科院计算所,研究方向为推荐系统和NLP, 现于360信息流产品部任高级算法工程师,负责NLP和召回相关工作。
陈倩云目前就读于乔治亚理工学院,研究兴趣为异构计算、高性能计算及优化
陈暾硕士毕业于湖南师范大学,目前在中科院计算所计算机体系结构国家重点实验室攻读博士,研究方向为高性能计算、异质计算、核并行以及FFT库优化。

梁毅2006年获中国科学院计算技术研究所博士学位。现任北京工业大学副教授。她的研究方向包括大数据、计算机体系结构和云计算。
曾绍康2018年获得中国北京工业大学计算机科学与技术学士学位,目前正在攻读计算机科学与技术硕士学位。他的研究方向包括大数据、计算机体系结构和云计算。
梁岩德 2018年获得中国山东科技大学计算机科学与技术学士学位,目前正在攻读计算机科学与技术硕士学位。他的研究方向包括大数据、计算机体系结构和云计算。
陈楷中2019年获得中国北京工业大学计算机科学与技术学士学位,目前正在攻读计算机科学与技术硕士学位。他的研究方向包括大数据、计算机体系结构和云计算。
团队贡献:基于Hadoop的并行ALS协同过滤算法优化
在Hadoop框架下,针对ALS协同过滤算法提出集成优化解决方案。该方案通过基于数据记录规模的评分数据重划分、 线程级map任务并行化以及JVM堆内存优化配置,在保持算法精度的前提下,可将Hadoop ALS并行算法的计算时间最大下降98.95%。

熊兴旺,中国科学院计算技术研究所在读硕士生,本科毕业于长沙理工大学。研究方向是分布式机器学习和基准测试。
温旭,中国科学院计算技术研究所在读硕士生,本科毕业于中国科学院大学。研究方向是分布式机器学习和基准测试。
黄成 本科毕业于中国科学院大学,目前在中国科学院计算技术研究所攻读硕士学位,研究方向是大数据和计算机系统。
团队贡献:传统2D 人脸识别对外界环境的变化敏感、而3D人脸数据又相对稀少。针对这一问题,我们通过跨模态的迁移学习,在3D人脸测试数据集上达到了94.64% 的准确度。


龚彤艳于2016年在兰州理工大学获得学士学位。现在,她是一名贵州财经大学和中科院计算所的联合培养硕士生。她的研究兴趣聚焦于并行处理和分布式计算。
牛慧倩于2018年在南开大学计算机学院取得硕士学位,现在是京东的一名数据挖掘软件工程师。她的研究兴趣包括图像处理,大数据和机器学习。
团队贡献:他们将ResNet模型应用于RGB-D图像识别中,根据数据集特点进行分析和性能调优。

孙赫明来自中国江西,现为俄亥俄州立大学的大三学生
熊熙来自中国北京,现为俄亥俄州立大学的大三学生
团队贡献:该队伍使用基于ResNet-18的修改模型解决3D人脸识别问题,并在验证集上达到了86%的实验精度。

Free HTML5 Bootstrap Template

赛道一:基于RISC-V平台的国际人工智能系统大赛

RISC-V是一个基于精简指令集(RISC)原则的开源指令集架构,作为近年来开源芯片技术的突出代表,RISC-V开放指令集体系结构已受到国内外各领域的广泛关注。本赛题将在RISC-V平台上实现并优化基于卷积神经网络的图片分类任务。

RISC-V模拟器docker镜像(用于编程和调试): https://hub.docker.com/r/crva/riscv-qemu

数据:
CIFAR-10数据集由60000张32*32彩色图片组成,它们分别属于10个类别,每个类别有6000张。其中,训练集图片有50000张,测试集图片10000张。数据集为二进制格式,其每个样本的格式为:
<1 x label><3072 x pixel>
Label是一个0-9之间的整数,表明样本的类别,后面的3072字节分别为RGB三通道的像素值,以行优先的顺序存储。如最开始的64字节是Red通道的前两行。神经网络程序给定3072个字节输入,预测其label值作为输出。 数据集下载地址: https://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz
ResNet-20模型下载地址 (模型精确度84.03%):
http://www.benchcouncil.org/competition/cifar_resnet.zip

更多信息-比赛方式

创建队伍

Free HTML5 Bootstrap Template

赛道二:基于寒武纪芯片的国际人工智能系统大赛

寒武纪是全球智能芯片领域的先行者,在2016年推出的“寒武纪 1A”处理器是世界首款终端人工智能专用处理器,已应用于数千万智能手机中。本赛题将在寒武纪平台上实现并优化基于卷积神经网络的图片分类任务。

数据:
CIFAR-10数据集由60000张32*32彩色图片组成,它们分别属于10个类别,每个类别有6000张。其中,训练集图片有50000张,测试集图片10000张。数据集为二进制格式,其每个样本的格式为:
<1 x label><3072 x pixel>
Label是一个0-9之间的整数,表明样本的类别,后面的3072字节分别为RGB三通道的像素值,以行优先的顺序存储。如最开始的64字节是Red通道的前两行。神经网络程序给定3072个字节输入,预测其label值作为输出。 数据集下载地址:http://125.39.136.212:8484/Cambricon/cifar10_test.tar (图片数据)
https://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz (二进制数据)
ResNet-50模型下载地址 (模型精确度84.39%):
http://125.39.136.212:8484/Cambricon/model.tar

更多信息-比赛方式

创建队伍

Free HTML5 Bootstrap Template

赛道三:基于X86平台的国际人工智能系统大赛

背景:
本赛题将在X86平台上实现并优化基于矩阵分解的协同过滤任务。

数据:
movielens数据集包含多个用户对多部电影的评级数据,也包括电影元数据信息和用户属性信息。本赛题只 涉及到其中的评分数据,总共280,000个用户对58,000部电影27,000,000 条评分。评分数据(ratings.csv)数据格式如下:
userId, movieId, rating, timestamp
userId: 用户的id
movieId: 电影的id
rating: 用户评分
timestamp: 时间戳
数据集下载地址:https://grouplens.org/datasets/movielens/

更多信息-比赛方式

创建队伍



Free HTML5 Bootstrap Template

赛道四:3D人脸识别算法竞赛

深圳云天励飞技术有限公司是中国第一家兼具人工智能(AI)算法、AI 芯片和 大数据平台等 AI 关键技术平台的独角兽企业。
当前人脸识别技术在2d RGB图像上取得了辉煌的成就,但是在3D人脸识别领域,还需要更进一步提高人脸识别技术的可靠性和稳定性。尤其是在一些金融等领域,对于人脸识别技术要求更高,人脸识别的可靠性和稳定性变得尤为重要。本赛道关注3D人脸识别的新型算法。

数据:训练数据下载地址:http://125.39.136.212:8484/3dvggface2_1.tar.gz
测试集包含253个人脸ID,77715个sample,每个sample包含一张rgb图像和深度图像,位宽都为8。这些数据将都用于验证模型。

更多信息-比赛方式

创建队伍