DZone>DevOps Zone >移动商务测试。全球领先企业如何优化用户体验

移动商务测试。全球领先者如何优化用户体验

我们请DoorDash、Fave和Mercado Libre的领导人分享他们在移动商务应用的性能测试中所面临的一些挑战。

通过

凯莱-怀特

Aug. 06, 21 -DevOps Zone -访谈

喜欢 (1)

保存

3.22K浏览次数

加入DZone社区，获得完整的会员体验。

免费加入

移动端占全球所有电子商务销售额的67%以上，而且随着越来越多的人习惯于在手机上购物，移动端预计将继续增长。近五分之四的智能手机用户在过去六个月中至少进行了一次购买。

由于移动性能直接影响到用户体验、留存率、转换率以及最终的收入，改善移动性能已经成为全球移动商务公司的首要任务。

考虑到这一点，我们邀请了我们的客户倡导者之一，Fave的QA自动化团队负责人Nithin Satheesh，以及DoorDash的iOS工程师Joshua Alvarado和Mercado Libre的IT专家Juan Felippo，参加了由我们的CEOSofia Palamarchuk主持的现场小组讨论。

以下是讨论的回顾，包括观众提供的问题。

你在移动应用程序性能方面的最大挑战之一是什么？

三位小组成员基本上一致认为，他们在移动应用性能方面面临的最大挑战是拥有正确的数据，知道在哪里被追踪，并知道如何处理这些数据。不仅要有捕捉性能数据的方法，而且要了解其背后的故事。哪些需要更多关注，哪些不需要？

对于Joshua Alvarado来说，他在DoorDash的移动应用性能项目中面临的最大挑战之一就是数据的可视化。

"有很多数据，你可以做很多漂亮的图表，但要确保这些图表和可视化能真正讲述正确的故事。"

他补充说："特别是作为一个开发人员，你可能不会经常从事创建图表的工作。但开始了解这些数据就是非常重要的，因为如果你能记录这些数据，然后让它流向可视化，那就真的很强大。"

胡安分享说，他和他在Mercado Libre的团队面临类似的挑战。今天，随着竞争的日益激烈，仅仅检查崩溃的稳定性是不够的，他声称，如今，团队必须监测更多直接影响用户体验的关键绩效指标。他说，这其中的关键是要对每个指标以及它们对用户的影响有可见性。 为此，你必须产生大量的数据，这样你就可以计划对每个指标做什么。他提到的一些指标包括启动时间、设备资源消耗、应用程序大小、冻结帧等。

他说有几个工具可以使用（如Apptim），如果你在大公司工作，你的团队可能会建立一个定制的解决方案。他强调，一旦你有了这种能见度，就必须为每个具体的指标制定计划。另外，要努力掌握从一个版本到另一个版本可能发生的任何性能变化的可见性。

一句话。确保获得影响最终用户的最重要的性能指标的可见性。

与Juan和Joshua的回答一致，Nithin说提供无缝的用户体验是他在Fave的最大挑战。

"了解我们的客户始终是成功的关键因素；他们想要什么，他们在寻找什么......我们应该捕捉哪些性能指标以确保我们得到了用户的关注？如果我们不能提供一个无缝的用户体验，那么一个新功能有多大、多出色其实并不重要。"

你采取了哪些措施来应对这一挑战？

乔舒亚发现谷歌的数据工作室对数据的可视化很有帮助。他解释说："我们使用Firebase Performance Monitoring来追踪应用程序的性能，而Data Studio是谷歌提供的另一个产品。它是一个集成，你可以立即添加到Firebase和BigQuery上。"

他指出这些工具的用处在于能够看到其他公司在他们的仪表盘上分享的关于他们的设置的内容。你可以看到他们在仪表盘上突出的内容，这非常有帮助。他说，当他们开始的时候，他们在高层次上做的是整体性的。然后在应用程序的每一页，他们进入了更多的细节，所以他们可以看到一个故事，并确保他们只是在跟踪对他们有意义的正确指标。

他们今天跟踪的一些顶级KPI指标，在他的图表中看到的包括。

响应时间
有效载荷大小
应用程序启动时间
某些视图的渲染

就像关注提供优秀的用户体验一样，Nithin分享了他的团队在Fave所做的一些事情。

"最初，我们完全专注于服务器端。我们的开发人员在Android Studio和Xcode中使用剖析工具。因此，最初是完全以开发为中心的性能测试，以确保用户体验。然后，我们有机会将QA注入到性能测试方面。

"我们尝试用Apptim来获取性能相关的数据和指标，它的综合报告非常棒。我们最终放弃了所有从开发方面进行的性能捕捉，而是用Apptim进行功能测试。我们用它来捕捉所有的数据，并与我们的团队分享。"

Nithin分享说，他们不仅使用Apptim，还在CleverTap和Firebase中进行了一些追踪，正如Joshua提到的那样。

5G将如何改变移动商务环境？

小组成员一致认为，5G已经来了，而且效果是可以看到的，特别是在iPhone 12中采用了5G，这意味着它将成为未来的标准。乔舒亚对5G有这样的评价。

"5G的性能加倍将是非常非常重要的，特别是在网络方面。这将是一个端到端的解决方案，因为在后端，你将能够以更快的速度进行通信，但你需要确保客户端也能接受这种速度，并迅速解释它并将其呈现在视图上。这将是一个完整的实体，你需要加倍努力。"

索菲亚插话说："感觉标准会比今天更高，因为我们将能够通过网络提供更快的体验，而网络有时是瓶颈，在许多国家，它的瓶颈更小。但是，然后你还需要从服务器和客户端满足这些期望，也是如此。"

Nithin认为，5G将极大地改变一切，因为它最终会带来更多的客户上网。而这又会给公司带来更多的收入。此外，他还分享说，从用户体验的角度来看，5G将有更低的延迟 ，因此它将为用户提供更快的结果，并确保客户端和服务器之间发生无缝互动。

他继续说，5G的其他好处是，电子商务领域的更多公司将开始在其移动应用中利用AI/ML功能。Fave最近在其应用程序中采用了AI/ML功能，以提供更加个性化的体验。据悉，5G还将能够为使用地理标记功能的应用程序提供更准确的特定位置功能。因此，5G将更有助于团队扩大规模，为客户带来更好的效果。

索菲亚分享说，她有兴趣了解更多关于团队如何在他们的应用程序中加入人工智能功能，因为苹果的大部分机器学习算法是在设备上运行的。这意味着更多的处理发生在设备上，可能会影响性能和最终用户体验。

胡安也同意，5G将改变游戏规则，特别是在他的公司Mercado Libre运营的拉丁美洲等新兴市场。

他分享说，《2020年拉丁美洲移动经济报告》预测，到2025年，整个地区将有近6200万个连接，5G采用率几乎为10%，智能手机采用率为80%。

5G还将有助于增加人们下载的应用程序的数量，因为许多用户在尝试新的应用程序之前会考虑应用程序的大小和下载速度。胡安分享说，他读过一篇文章，说新兴市场中70%的人在进行下载前会考虑应用的大小。

胡安继续说："我认为，从应用大小到网络性能，有了这项新技术，你将有更低的延迟，这将转化为更好的产品和更好的用户体验。我对5G的期望很高。我认为，在拉丁美洲，我们有点落后于其他地区。但我认为这将大大有利于拉丁美洲，因为他们传统上的连接非常差。"

你如何选择最小的设备集来测试你的应用程序的性能？

乔舒亚是第一个回答这个问题的人，他分享说："没有确切的硬性规定，但我要说的是，当问题出现时，我们肯定会尽最大努力来确定优先次序。基于问题的严重性，我们通过日志查看，我们查看性能。实际上，我们也会给'dashers'（DoorDash司机）打电话，和他们交谈，看看这个问题有多普遍，以确保他们能继续前进，进行配送，处理Dash上的反馈。"

胡安回到了拥有正确数据以做出这些决定的重要性。他说，他的团队看了他们用户的设备数据，知道哪些设备是最重要的。他分享说："我们对我们用户的每台设备的性能都很清楚。有了这些数据，我们可以看到每个版本的性能是改善了还是恶化了。另外，我们考虑到用户拥有的设备数量或大多数设备，并在考虑到这些数据的情况下进行测试。"

Nithin赞同Juan关于在Fave使用数据来驱动这一决定的观点，"我们的测试方法也是数据驱动的。在所有设备和操作系统组合上进行测试实际上是不可能的，所以我们从客户那里获取数据......他们使用的大多数设备是什么，他们使用的大多数操作系统解决方案是什么？然后我们根据这些来确定优先次序。我们所有的测试都是根据这些特定的数据来设计的"。

为了找到这些信息，当客户端出现问题时，Nithin的团队会求助于APM工具Sentry。Sentry指定了设备碎片和操作系统组合。他补充说，他们从CleverTap捕获其他数据，所以设备的所有细节和用户特定的东西都可以用在他们身上。

你的测试自动化是否使用了机器学习，它是否有效？

Nithin很乐意先回答这个问题，他回答说他还没有在Fave的测试自动化框架中实施AI/ML功能，但他评估了Testim和Test Project。这两个工具都有一个自我修复机制，每当对象发生变化时，最常见的松散性就会发生。这有助于确保测试更加稳定，并尽量减少测试维护所需的时间。他在UI自动化方面最大的困难之一是对象改变后测试失败。

和Nithin一样，Juan分享说他的团队还没有开始在测试自动化中实施人工智能，但这是一个非常有趣的话题，值得深入研究。

随着AR/VR等功能的实施，应用程序会变得更重吗？他们会改变他们的处理方式吗？

小组成员的下一个问题涉及到应用程序是否会因为新的AR/VR功能而变得更重。团队是否仍会试图避免在客户端进行大量处理，而让大部分计算在后端进行？会不会因为5G而发生什么变化？

乔舒亚站出来从他作为一个应用程序消费者的个人经验来回答。"有了5G，我所看到的是，事情已经更多地转移到了服务器端。云是绝对被大量利用的东西。现在有了5G，你可以与之有更快的互动。就处理客户端而言，我认为这绝对取决于平台。我看到苹果正在采取更多的客户端处理方法。甚至最近，Siri也在客户端进行处理，而不是在云端进行处理。

"我认为这将是一半一半的。有一些应用程序非常依赖服务器端的处理，而不是客户端，所以这更有意义。但也有其他应用程序，如Signal，这是非常以隐私为中心的，我相信他们在客户端做所有事情。真的没有多少东西涉及到服务器端。"

他继续说，在DoorDash，他希望他们的应用程序不要变得更重或更大。他们非常谨慎的事情是二进制大小。但是，他说，有了5G，他认为不会有大的变化。

胡安对5G的好处持乐观态度，并预计应用程序创建者将希望充分利用它提供的额外好处。

他评论说："比方说，几年前，你有一些设备的内存还不到一千兆字节。现在你有一个手机，它的能力几乎与笔记本相同。所以我认为，你拥有的资源越多，你就越想从中获益。所以我认为，在一些年内，我们会看到很多好处。但在未来的某个时候，我们将实施很多技术，以最好地利用5G。"

Nithin同意Juan关于东南亚的用户也担心应用程序的大小，他说："因此，如果是一个电子商务应用程序，而我们说它的大小是100MB，人们根本不会下载它，因为我们提供的功能没有游戏应用程序那么多，比方说。因此，重要的是我们的应用程序提供什么。然后主要取决于连接性"。

他评论说，Fave试图将他们的应用程序保持在较小的尺寸，因为人们经常抱怨下载或更新应用程序需要多长时间。他希望通过5G技术纠正连接问题，并强调一个应用程序的大小真的取决于它提供的功能。

你认为我们离在移动购物体验中采用AR和VR还有多远？

Nithin指出，我们已经在这方面做得很好了。像宜家和Airbnb这样的公司已经在使用AR将线下体验带到线上，这对这些公司来说尤其重要，因为COVID的结果。一些行业采用这些技术的速度比其他行业快，主要是由于外部压力和需要创新以保持相关性。

在不透露任何秘密的情况下，Joshua分享了DoorDash对AR和VR非常感兴趣，特别是在Dasher应用中使用它们。他们正在努力思考这些技术在显而易见之外的发散性用途，以便使顾客有更好的体验。

您对希望开始性能测试实践的人有什么实际建议吗？

对胡安来说，开始时最好的事情是从小做起。不要试图为性能做一个定制的解决方案。使用现有的工具或平台，如Apptim，开始获得指标的可见性。

一旦你有了这些，你就可以开始了解用户的痛苦是什么，应用程序的一般用户体验，然后你就可以变得更高级。他警告说。

"不要一开始就试图解决你所拥有的全部指标（启动、应用大小、网络）。当你有了一个指标的基础，你就可以进入下一个指标。"

约书亚喜欢胡安的建议，并在此基础上提出更多建议。他说："在触摸键盘和开发任何东西或整合任何解决方案之前，退一步，从高处看，并把它画出来。让其他可能从应用程序和整个平台的性能中受益的团队参与进来"。

他补充说，准确性是这里的关键，所以要慢慢来，不要忘记计划。

对于那些正在起步的人来说，Nithin认为与你的开发人员结成对子，并与基础设施方面进行更多的合作，以获得整个应用程序的整体视图是有帮助的**。**把它分解，缩小范围。

主题。

移动应用性能，移动测试， 5G，数据可视化，移动商务，性能测试，测试自动化

经Kalei White许可发表于DZone。点击这里查看原文。

DZone贡献者所表达的观点属于他们自己。

移动商务测试：全球领先企业如何优化用户体验