天翼空间【云终端测试平台-CMET】评测报告
用户名:CshBBrain 网络测试环境:电信ADSL 6M带宽
电脑操作系统:Windows XP SP3 测试手机机型:三星I909,三星I809
评测报告主要内容:
1、CMET功能:
网站评测:
1.1首页界面布局感觉不太合理,没有突出系统的重点,我们进来一眼看不出系统到底能为我们提供啥子服务;建议把设备一览表信息放到首页上,我们进来一眼就看到有设备可以使用,点下使用就可以使用设备了,要直观得多,不需要过多的言语,我们都知道可以干啥子。强烈建议运营商参考下我提的这个建议。
1.2网站上直接使用只支持IE浏览器,这个有点遗憾,现在基于Webkit内核的浏览器越来越流行了,建议系统在不久的将来支持基于Webkit内核的浏览器(比如Google的Chrome,苹果的Safari浏览器等)。不过还好有客户端可以使用。
1.3设备一览表进入和按条件查询都很慢,多数情况下我每点击一下,至少要等5秒钟以上,我用的还是电信的ADSL 6M带宽。强烈建议系统提供商对系统的性能做下优化。
1.4网站上根本就没有苹果设备和黑莓设备,查询条件中居然有苹果,黑莓品牌以及他们主导的操作系统,刚开始一看你狂喜,还以为有苹果的手机呢。如果没有先把这些撤掉,有点误导我们开发者。
1.5网上上收藏的设备可以自动同步到客户端上面来,网站上上传的应用可自动同步到客户端,这点还是比较方便。
客户端评测:
1.6客户端上做得非常不错,不管是界面布局,还是颜色搭配都非常好;尤其是手机体验测试的快捷操作功能非常好,因为网络的原因,有时操作非延迟,比如拖动屏幕,滑动屏幕等,不好操作,建议这类操作可以提供快捷按钮进行操作。如果将屏幕解锁功能也添加到这里就更好,还有在手机上输入的时候可以提供输入框功能,通过电脑键盘输入比在手机上按键要快很多,这样可以提高操作的效率。
1.7客户端有录制视频的功能,这个功能比较好,有时候有些bug比较难重现,有了视频的话,可以多次回放视频,通过分析操作步骤来确定缺陷出现的规律还是有些帮助。
1.8 应用上传非常慢,我的安装包才783k,上传就花了我差不多2分钟,这个地方最后能改进下就好了。
1.9用户可以通过远程操作手机发送短信和拨打电话,这对于你们来说也许是个问题,一些别有用心的人可以编写脚本使用你们提供的手机来发送垃圾短信,广告短信,骚扰短信,也可能编写一个脚本使用你们的手机定时给某人打电话搞恶作剧;其实你们应该考虑下这个安全隐患。
1.10上传的应用可以直接在使用手机的时候进行安装这个功能还是非常方便。
1.11录制视频的时候,当录制到3600帧的时候自动停止了视频的录制,觉得这个应该改进下,由用户决定录制好长时间。
2、CMET应用适配测评(注:适配测试使用的应用为本公司为新加坡“联合早报成都频道”的新媒体方案)
2.1.适配的机型:
三星I889:设备无法使用,无法开机
三星I559:通过,可正常安装使用
三星I569:通过,可正常安装使用
三星I579:通过,可正常安装使用
I899:设备无法使用
三星I809:装载应用后无法收到短信
三星I909:通过,可正常安装使用
三星W899:通过浏览器下载不了应用,不知道啥子原因
三星I919:无法装载应用
三星I929:无法装载应用
2.2.适配中发现的问题:
2.2.1.关闭设备使用窗口释放设备的时候遇到一次工具崩溃的情况,截取到3张图片供你们参考:
2.2.2.发现没有手机卡的手机不能装载应用,所以就无法进行后面的适配测试了;最好能做到没有手机卡的手机终端也能装载应用就好了。
2.2.3.发现有的手机无法根据地址从“测试中心”下载到应用,提示找不到文件错误。
2.3.4.发现有的手机有卡,但是收不到短信,所以也无法进行后续安装测试。
2.3.适配测试详情:
2.3.1.三星I889:设备无法使用,无法开机
2.3.2.三星I559:通过,可正常安装使用
2.3.3.三星I569:通过,可正常安装使用
2.3.4.三星I579:通过,可正常安装使用
2.3.5.三星I899:设备无法使用
2.3.6.三星I809:装载应用后无法收到短信
2.3.7.三星I909:通过,可正常安装使用
2.3.8.三星W899:通过浏览器下载不了应用,不知道啥子原因
2.3.9.三星I919:无法装载应用
2.3.10.三星I929:无法装载应用
3、自动化脚本测评及分享(注:脚本编写使用的应用为电脑报平板电脑版,使用的手机终端:192.168.3.75,18080198773)
首先规划一下对应用的测试,分为测试准备工作,测试规划工作,素材采集工作,脚本编写调试工作和脚本回放工作共5大部分。首先先进行测试准备工作和测试规划工作。
3.1 测试准备工作:
3.1.1.上传应用
3.1. 2.安装应用到手机终端上
3.1. 3.为了编写脚本方便将应用放到首页第一页上
3.2测试规划工作
3.3素材采集工作
3.3.1.素材采集的主要工作是从录制视频过程中工具所生成的所有图片中截取对编写脚本有用的图片;个人认为这里是非常考技巧的地方,因为工具自动获取的图片太多,人工去选取把眼睛都看花可能效果还不太好,对于一堆图片你怎么知道那张图片是在那个操作之前,那张图片是在某个操作之后,这些图片的先后顺利呢。如果把全部图片都导出去选即费时,效果还不好。
3.3.2.这里说说我所使用的素材采集技巧吧,通过“操作记录”制作脚本素材。点“回放视频”,然后点“生成操作记录”;工具会生成你所操作的所有操作记录,操作记录包括你操作相关的所有画面,每个画面的先后顺序,画面和操作动作之间的关联关系,包括延迟的时间数量都记录的下来了。通过操作记录你会非常方便的获取到你编写脚本所需要的图片资源,我就是通过查看操作记录把画面,操作,状态理顺了的;(操作记录直接用浏览器打开)确定要用某张图片作为资源时,直接点击这张图片另存为你的资源文件图形即可。(顺便说一句,工具已经把操作记录都整得这么详细了,为什么不让工具根据操作记录自动生成脚本,然后测试人员在这个基础上修改生成的脚本,添加一些检查点就可以了呢;非要让我们手工去写这么枯燥的脚本呢)
3.3.3.上几张素材采集相关的图片:
操作记录网页效果:
3.4脚本编写调试工作
3.4.1.脚本的编写其实就是根据测试规划的内容进行脚本的编制,脚本编辑器的好处是将对应用的操作抽象为点击按键和滑动屏幕2大类操作,脚本的操作步骤由动作,检查点,延迟等内容组成。其他我看还有什么分支,循环,子脚本等执行路径控制节点,想法不错;思想是好的。
3.4.2.根据我进行素材采集,脚本编写的过程来看我充分利用了工具本身的“操作记录”功能所生成的“操作记录”,这个操作记录非常有用,将你操作的所有动作,动作的先后顺序,操作动作与画面之间的关联关系,动作延迟等信息都做了详细的记录,并进行了非常合理的整理,其实就差检查点了。呵呵......说道这里我有话不得不说,既然你们的技术实现都已经把“操作记录”做到这么智能的一个程度了,为什么不再进一步呢?这一步是什么呢?就是工具提供一个根据操作日志自动生成测试脚本的功能,测试人员只要用了这个功能,工具将他所有的操作步骤以及相关画面生成测试脚本;测试人员在生成的测试脚本基础之上要么添加步骤,要么减少步骤,要么插入检查点,再进行调试调试就完成了测试脚本的编写,岂不美哉!(这里强烈建议你们参考一下hp的qtp录制脚本的功能是怎么弄的)如果你们实现了像我所想的那样,我们写脚本可以节约80%的时间啦,这个将是一个革命性的东西。
3.4.3.我在调试脚本的时候处理得最多的问题就是超时处理,可能是网络的问题。我希望这个延迟不要在每个步骤里面去设置死,在回放脚本的时候让用户根据自己网络的情况去设置合理的步骤之间的思考时间区间,比如我的网络有点糟糕,我回放时,将思考时间设置为10秒,那么执行时,每个步骤的超时时间就为10秒。我的网络比较好,我将回放思考时间设置我3秒。
3.4.4.工具的稳定性好像不是很好,用一段时间后会出现崩溃的情况。
3.4.5.将我编写的脚本截张图放上来,感兴趣的可下载附件:
3.5脚本回放
3.5.1.回放10次脚本,5次成功,5次失败,失败的原因都是执行超时,不知道啥原因我是独享电信6M带宽。
3.5.2.脚本回放图片:
启动回放:
回放中:
回放完:
4、体验心得及建议:
4.1 系统整体上不错,使用过程中感觉客户端要比网站好用,网站不支持Webkit内核的浏览器是个不小的遗憾,以后最后支持Webkit内核的浏览器(比如Google的Chrome浏览器,苹果的Safari浏览器),毕竟无线互联网还是Webkit内核浏览器的天下。
4.2 网站首页的布局不是太合理,没能很好的突出系统所能提供的服务,需要看了帮助说明才知道,系统的帮助说明倒是写得很详细。
4.3 客户端可以录制测试操作过程并生成视频,这个功能本身比较好,有时候有些bug比较难重现,有了视频的话,可以多次回放视频,通过分析操作步骤来确定缺陷出现的规律还是有些帮助。但美中不足的是视频录制限制到最大只能录制3600帧;超过了3600帧时,客户端自动停止录制,这个如果能处理到不限制帧数将是一个非常好的功能。
4.4 系统的整体性能最后在提升一下,尤其是网站,每次进入设备一览表和查询设备时都非常慢,使用手机进行操作有时也比较卡。
4.5缺少批量测试功能,比如我想知道我的应用是否在所有Android机型上能正常的安装,运行,卸载,我要每种机型都去测试一下,如果能提供一个方案能自动测试在所有机型上是否正常的安装,运行,卸载;自动测试完只需告诉我哪些机型不能正常安装,运行,卸载把出错的画面一并提供给我,这样就可以省去我们很多测试工作量,也可以减少测试成本。
4.6 UI自动适配,需要花费大量时间去测试UI在各种分辨率的终端上是否显示正常,最后能提供一个自动化的解决方案。
4.7 应用的运行时性能测试,我们非常想知道我们的应用在某种机型上正常运行时的CPU占用率,内存使用大小,手机电池消耗指数,网络带宽占用情况等性能指标,便于应用推广宣传时使用,但一直没有一个好的办法检测这些性能参数。
4.8这类系统国内也有几家,但是现在来看还没有一家能达到真正可以商用的程度,CMET目前来看还算做得较好,测试操作起来还算比较流程的。对于像我们这类专注于移动应用开发的公司非常希望有可以真正商用的远程测试服务,因为这可以为我们节省不少购买设备的资金。
4.9脚本编写没有时间去评测了,不知道是否是在某个机型上编写了测试脚本在所有其他机型都可以自动执行并搜集测试报告。
4.10平台上最多是Android手机终端,没有iPhone,iPad,AndroidPad类型的终端,其实对于专业的移动应用开发上来说,只有Android手机终端其实只能满足我们目前测试所需的四分之一的终端需要,我们的应用还需要在iPhone,iPad,AndroidPad类型的终端测试运行,希望在不久的将来能提供iPhone,iPad,AndroidPad类型的终端供测试使用。
4.11 平台对于使用到重力感应类的游戏,基于GPS定位的应用测试可能不太适合。
4.12 脚本编写为回归测试提供更大的支持,思想是非常好的;但目前脚本编写的工作量太大,还不适合引入到企业的回归测试中来。如果工具改进到能自动生成测试脚本,测试人员在生成的脚本基础上修改脚本,添加检查点即可完成脚本的编写实用价值就非常大了。
4.13通过对测试平台的全面体验,个人感觉目前测试平台作为设备资源池开发给开发者进行应用真机测试,适配测试已经差不多了;但要对回归测试(也就是脚本的编写)提供支持,需要对脚本编写的方式进行变革性的改善和提升,提供更加快速,高效的编写方式才具有真真的实用价值。
看完帖子的朋友们,请帮我点击下面的 分享,收藏,支持按钮来支持我,谢谢
分享到:
相关推荐
该设计平台可帮助设计人员完成医电信号的采集、前置调理电路的设计、高级信号处理算法的开发与分析、软硬件集成测试以及原型化系统实现等全部生物医电系统开发。 “在医疗电子领域,‘中国越来越世界化,世界...
洛可可设计深圳公司总经理李毅超在CMET2010上 李毅超介绍,现代社会中电子产品已经不在是以技术为卖点,而是以情感、体验、智能为卖点。一个产品能否让用户认同,主要看产品能否给用户一个良好的使用体验,从而...
自定义标记的自定义标签的自定义标签连接的回调函数JavaScript和自定义标记的自定义标记CmEt(CustomElement)库多使用的自定义标记的自定义标签的自动标记的标签礼仪编辑 Para editar esta etiqueta le asignamos ...
本次CMET2010中国国际医疗电子技术大会的会议主题是便携与家用医疗电子,与会的六百多名的专业听众以及工程师们均是冲着这一主题慕名而来。作为高性能混合信号半导体解决方案业界翘楚,恩智浦半导体大中华区HPMS业务...
此外,不同的应用对闪存的要求都不相同,如引导代码存储需要高可靠性、应用程序存储需要高读写性能、数据日志记录需要擦写次数、海量数据存储需要高密度……"在日前举办的第三届中国国际医疗电子技术大会(CMET2010...
在日前召开的第三届中国国际医疗电子技术大会(CMET2010)工艺工作坊中,伟创力总部技术部高级副总裁上官东铠博士以《医疗电子中的微型化封装与装配技术》为题发表了精彩演讲,并就医疗电子,特别是在便携式、家用式...
CMET2010中国国际title="医疗电子">医疗电子技术大会上,德州仪器(TEXAS INSTRUMENTS, TI)半导体事业部高性能模拟产品信号链技术应用工程师陈红生为与会的专业听众带来了TI的超低功耗模拟前端ECG/EEG解决方案。...
TI MSP430产品系列已经在医疗电子产品中广泛应用,其一系列高性能解决方案也获得了CMET2010中国国际医疗电子技术大会专业听众的青睐。
TI MSP430产品系列已经在医疗电子产品中广泛应用,其一系列高性能解决方案也获得了CMET2010中国国际医疗电子技术大会专业听众的青睐。 德州仪器1996年到2000年初,先后推出了31x、32x、33x等几个系列,这些系列...
微软公司于1992年在中国北京设立了首个代表处,此后,微软在中国相继成立了微软...在4月20日举行的CMET2010医疗电子技术大会上微软(中国)有司资深技术推广经理凌宁先生跟大家分享了Microsoft在医疗方面实现软件加服务
”在日前由创意时代主办的第三届中国国际医疗电子技术大会(CMET2010)上,来自医疗电子分析机构、整机、IC及元器件、工业设计、制造工业等多方面的专家齐聚一堂,共同为中国医疗电子产业的发展献言进策。...
在日前召开的第三届中国国际医疗电子技术大会(CMET2010)上,美国铟泰科技公司副总裁李宁成博士针对医疗电子产业板级组装中焊料相关的问题进行了详细分析。
”在日前由创意时代主办的第三届中国国际医疗电子技术大会(CMET2010)上,来自医疗电子分析机构、整机、IC及元器件、工业设计、制造工业等多方面的专家齐聚一堂,共同为中国医疗电子产业的发展献言进策。...
CMET2010中国国际医疗电子技术大会上,作为被动元器件领域的主要厂商之一,村田产品技术部产品副经理郭健石为专业听众讲述了便携式家用医疗产品的电子元器件设计对策。
在日前举办的第三届中国国际医疗电子技术大会(CMET2010)上,恒忆嵌入式系统事业部亚洲市场部业务拓展经理祁峰为我们带来了医疗应用市场对闪存的要求以及恒忆存储器技术的介绍。
CMET2010中国国际医疗电子技术大会上,德州仪器(TEXAS INSTRUMENTS, TI)半导体事业部高性能模拟产品信号链技术应用工程师陈红生为与会的专业听众带来了TI的超低功耗模拟前端ECG/EEG解决方案。
在日前举办的第三届中国国际医疗电子技术大会(CMET2010)上,Actel技术支持/培训经理戴梦麟先生表示,“Actel非常愿意在中国医疗电子产业面临突破与升级的关键阶段贡献自己的力量。”
在日前举办的第三届中国国际医疗电子技术大会(CMET2010)工艺工作坊上,来自伟创力总部技术部的高级副总裁上官东铠博士特意从美国赶来,为参与工作坊的医疗电子制造工程师们带来了最为宝贵的医疗电子中微型化封装与...
在日前举办的第三届中国国际医疗电子技术大会(CMET2010)上,洛可可设计深圳公司总经理李毅超十分开心的介绍,“用这个客户的话来说,这之后订单就像雪片一样的飞过来,在工业设计上的投入也得到了数千倍的回报。...
随着人口持续增长并步入老龄化,以及医疗卫生意识的逐步提升,人们生活水平的提高,助听器的市场潜力将会...在CMET2010中国国际医疗电子技术大会上,西门子听力仪器市场部产品经理瞿唐洲非常详细的阐述了这一主题。