大数据基准测试仪 BigDataBench 以大数据的测量、分析、优化为理论基础，实现 对于硬件系统、软件系统和业务系统的定量评测。为大数据系统的设计、选型、验收、 扩容、优化提供全生命周期的测试服务。BigDataBench 负载涵盖搜索引擎、电子商 务和社交网络等互联网服务类型，多媒体处理等大数据负载。负载包含 20 多种，且 提供主流大数据系统实现。数据集提供六种真实数据集，覆盖多种数据来源（文本、 表、图、图像）和多种数据类型（结构化、非结构化、半结构化）。同时提供基于真 实数据生成的数据生成工具，能够在多种数据源之任意缩放所生成的数据集，并保持 重要的种子数据特征。

用途

1、通用大数据软件系统的设计和选型
2、通用大数据硬件系统的设计和选型
3、特定领域大数据系统和硬件设计和选型
4、指导大数据算法和系统的优化
5、大数据算法与系统的科研
6、大数据评测服务与排名

优势

BigDataBench 是国际学术界和工业界最广泛使用的大数据测试工具，和 Oracle 在 TPC 组 织 牵 头 下 制 定 的 BigBench 相 比，BigDataBench 无 论 在 应 用 种 类、 数 据 集 种 类、 数 据 类 型、 数 据 生 成 方 面 都 优 于 BigBench。BigDataBench 在 Accenture, BROADCOM, SAMSUMG, Huawei, IBM 等企业中广泛应用。工信部 在 BigDataBench 上基础建立了国内首个大数据系统的评测体系，共完成 236 次 测试成为了我国大数据产业发展的风向标；IBM 研究院使用 BigDataBench 作为 Power8 处理器的调优评估工具；** 电力科学院基于 BigDataBench 定制电力大数 据评测系统。

BenchCouncil 人工智能基准测试仪：AIBench 提供一套可定制和扩展的人工智能基 准测试框架，采用层次化和模块化的设计，支持定制领域及定制负载的扩展。根据不 同的评测需求，该框架支持构建便于细粒度分析和代码优化的人工智能算子级微测试 基准，以及便于复杂组件性能和质量评价（如 AI 模型准确度）的任务组件级测试基准。 AIBench 覆盖典型的 AI 处理任务，提供图像 / 语音 / 音视频处理等人工智能处理模 式和类型。

用途

1、通用 AI 软、硬件系统的设计、选型
2、AI 加速器的设计、选型
3、指导 AI 系统的优化
4、AI 算法与系统的科研研究
5、AI 训练的评测服务与排名
6、AI 推理的评测服务与排名

优势

人工智能测试基准测试仪 AIBench 和 MLPerf( 谷歌、斯坦福和哈佛主导 ) 并列，是 国际上广泛接受的两个互补的人工智能评测体系。AI 测试基准标准 AIBench 在国内 外同行中广泛应用。前 Bloomberg 唯一的一个 AI 记者（现 OpenAI Strategy and Communications Director ）在专题评论中将 AIBench 和谷歌主导的 MLPerf 标 准之争上升到中美科技竞争的高度 (https://jack-clark.net/2020/05/11/import-ai197-facebook-trains-cyberpunk-ai-chinese-companies-unite-behind-aibenchevaluation-system-how-cloudflare-uses-ai/ )。

ScenarioSimulator 是基于场景的仿真、测试和验证工具平台，支持大规模复杂场景快速构建和模拟；可以提供工业互联网、军事、医疗等不同领域下的测试验证系统，以及未来应用领域和新兴技术的测试和验证。其特点如下：

1、适应复杂应用场景和未来应用场景的快速模拟和仿真，支持场景的核心抽象，能降低真实应用的复杂性 2-3 个数量级；
2、支持领域定制的场景扩展，结合用户需求定制化场景服务；
3、提供工业互联网、医疗等领域的核心场景模拟和评测；
4、提供云端、边缘端、设备端协同交互的复杂应用场景模拟，如自动驾驶、智能家居等；
5、一键式部署安装，省去不同框架和系统的熟悉成本，提供安装模版进行一键自动安装；
6、支持多用户多任务并发模拟，支持真实用户环境的仿真测试和验证；
7、全生命周期管理，覆盖领域场景的设计、选型、验收、上线的全生命周期；
8、自动化性能分析，实时分析场景的整体执行性能以及各个子系统和模块的性能，提供复杂场景部署和优化的建议。

完整的真实场景往往涉及到多个子系统、模块、以及组件的相互协同，通过执行流和数据流的方式提供在线服务或者离线分析。相比传统的仅基于单一组件级别的测试工具而言，ScenarioSimulator 能够模拟真实的云端、边缘端、设备端以及三者协同处理的多种应用场景，其评测的结果更能反映整体的性能、从而避免传统评测工具下易导致评测误导性的问题，提出更符合真实场景的有效的部署建议和优化结论。

用途

1、科研和探索类项目成果的场景式展现和演示
2、成果集成式展现和演示
3、前沿技术实验床，可用于开展科研探索和试验
4、复杂系统的早中期系统的验证和测试
5、未来探索类项目的提前验证
6、超复杂系统的仿真和验证测试

优势

ScenarioSimulator 是国际首个基于场景的仿真、测试和验证工具平台。

传统的负载分析方法，专注于在某一层进行分析，如利用特定架构上的硬件性能计数器进行特定微架构分析、利用二进制流的插桩分析进行微架构独立的特定 ISA 分析、利用编译器的 IR 分析进行 ISA 独立的分析。这些方法缺少自顶向下的全景式分析，从而无法准确捕捉负载的本质特征。BenchCouncil 全景式的负载特征分析工具提供自顶向下的关联分析：提供从 IR 层到 ISA 层和微架构层的负载特征关联分析，全面刻画负载特征，指导软硬件协同设计。

用途

1、处理器设计的负载特征分析
2、指令集设计的负载特征分析
3、处理器评测服务与排名
4、系统结构方向的科研研究
5、热点函数和性能瓶颈分析与定位
6、软硬件协同设计

优势

业界工具如 Intel VTune, 尽管可以对于特定的处理器平台作详细分析，同时定位处理器处理瓶颈、分析热点函数。但这些工具局限于特定处理器的微架构分析，无法分析出负载的本质特性，这些本质特性不同于特定微架构上的特征。因而这些工具难以适用当前的局面：多种 ISA 共存（X86、ARM、RISC-V 等）、体系结构设计多样（通用处理器、专用处理器）和负载驱动的软硬件协同设计。借助 WPC 工具，相关研究学者发现系统领域国际顶级会议 ASPLOS’ 12 最佳论文 CloudSuite “高前端停顿（front-end stall）是可伸缩（scale-out）负载的固有特性”的结论是错误的。这一重要案例说明只在微架构层开展负载分析，即使是最复杂的工具也会得出错误的结论。

大规模网络仿真和流量分析对于上层应用级别的网络特征分析和优化、以及底层硬件级别的交换机芯片评测和架构改进均具有至关重要的作用。

BenchCouncil 网络模拟与分析仪支持大规模数据中心的网络仿真模拟与流量特征分析，其特点如下：

1、支持任意网络拓扑和集群规模的模拟，并能有效仿真分布式集群环境；
2、提供真实现代负载的网络流量特征分析模型，包括大数据、人工智能、互联网服务等；
3、提供基于真实网络流量模型的流量重放工具，能够保持真实流量特性并支持微妙 / 纳秒级的仿真模拟；
4、提供网络特征与交换机芯片特征的映射模型，从交换性能、拥塞控制、时延抖动、突发吸纳、缓存容量等维度全面评测交换机芯片性能。

用途

1、大规模网络系统的测试与验证
2、网络与系统的科研研究
3、网络与系统的工业级研发
4、网络与系统的选型，评估和优化
5、网络与系统成果的集成展现与显示
6、未来网络系统的仿真与验证

优势

BenchNetwork 支持模拟真实现代负载应用和场景的网络流量环境，并可以基于真实流量模型全方位评测交换机芯片。BenchNetwork 是业界唯一一个具有该特性的工具。现有广泛使用的网络模拟和分析工具（如 RFC 系列）仅基于简单规则或简易数学模型进行流量模拟，与真实流量特征相比差异巨大，无法实现有效的模拟和分析。