最需要产业界同心协力的议题,却往往最具争议性,这实在是个很讽刺的状况;在那些议题中,争议性最大的又莫过于性能基准测试(performance benchmarking)。幸好,我们正缓慢地朝正确的方向前进,但还需要更多的努力。
测试基准被广泛应用在评估各种电子装置,为了取得高评价,芯片与系统供货商都非常积极于目标测试基准的“优化”;但有的时候那些优化行动却更像是人为操纵。科技新闻充斥着不公平的基准检验案例,那些只是冰山一角。
测试基准还面临其他的局限;威廉希尔官方网站 创新的高速度使得透过能反映各种平台上实际使用者体验的方式,精准体验测试一套系统所有功能的任务成为挑战。举例来说,影像撷取以及编辑功能也许涉及众多芯片以及应用程序编程接口(API),要在Android、iOS与Windows手机平台之间做有意义的比较,是白费力气的。
一套优良的测试基准应该包含五项要素
首先,最基本的是透明度(transparency)。测试基准有时候只比黑盒子好一点,只提供测试结果数字,但对测试的过程或计分方法透露甚少;甚至有时候连被测试的功能或是所依循的标准都不明确。
测试基准的拥有者往往以机密为理由,表示测试本身拥有知识产权或是利用了专属信息;但我们认为,测试基准应该是经由一个跨产业的组织批准,且(或)所有的计分方式应是受公开审查的。此外,测试基准应该要包含受测功能与标准的列表。
优良测试基准的第二个要素,应该是能受独立验证的。通常基准检验执行机构会在公布结果之前先为其背书,有些使用者或供货商也会自己上传或进行某些基准检验;虽然系统调节如超频(overclocking)能对测试结果产生影响,与众多用户的平均测试成绩差距太大的系统,通常会被怀疑。
第三个要素是,测试基准需要某种形式的监督,以确保测试程序的一致性;优化在基准检验程序中是不应该被容忍的,所有的平台所接受的测试程序应该都是相同的。
第四,一个真正的测试基准,特别是移动装置的测试基准,应该要以某种形式的系统及测试来呈现。
特定零组件如CPU、GPU与内存,很容易被挑出来测试,但其他如无线网络链接性、传感器性能、电池寿命、显示器功能等却很难量化;而任何一种移动终端的终极测试应该是使用者体验,优良的测试基准至少必须要能呈现这一点。最后一个测试基准要素是会定期更新,最好是每年一次;产业界应该停止使用不合时宜的测试基准。
有鉴于众多棘手的问题,采用一系列基准来评估各种威廉希尔官方网站 或平台,似乎被视为最佳实践方式;这通常导致有一长串的测试基准,而且测试结果各不相同。当使用者看到那些让人眼花撩乱的不同测试结果,恐怕感到非常沮丧。
一个新兴的移动终端测试基准
有个好消息是,一个最近推出的移动终端测试基准AndEBench,可望能为以上种种问题带来解决方案;该基准是由嵌入式微处理器测试基准联盟(Embedded Microprocessor Benchmark Consortium,EEMBC)所开发,联盟成员包括ARM、Imagination Technologies、Intel、Marvell、Nvidia、Qualcomm与Samsung等大厂。
EEMBC还有管理委员会,能针对测试基准的变更,以及可公布那些性能数据做最终裁决;该测试基准的最新版本为AndEBench-Pro,是一个针对CPU、内存、储存、3D绘图以及整体平台性能的Java架构测试,测试结果能以各自独立、也能以汇总的形式来呈现。
AndEBench-Pro测试基准的各功能计分比重
目前AndEBench测试基准只锁定Android平台,而且并不支持最新的标准如OpenGL ES 3.0、OpenCL等,此外也缺乏测试全系统功能,或者是可能与特定使用模式相关的特定应用。不过该测试基准符合所有上述的优良测试基准要素,包括测试程序、计分方法的透明度,提供经管理单位验证的测试结果,测试程序的一致性,以及定期更新。
不过AndEBench还不够完善,EEMBC还在为采用该测试基准的模式订定标准;而EEMBC也坦承,还需要更多的努力,来自产业界其他更多关键威廉希尔官方网站 供货商、行动装置制造商的参与是必要的,才能改善基准检验的程序并确保该基准能支持不同的平台。
长久以来,测试基准一直是产业界的争议焦点;不该再抱怨,现在正是整个产业界采取行动、为行动装置系统测试基准开发更完善标准的时候!
-
手机
+关注
关注
35文章
6877浏览量
157570 -
cpu
+关注
关注
68文章
10858浏览量
211663 -
gpu
+关注
关注
28文章
4735浏览量
128914
发布评论请先 登录
相关推荐
评论