如何在 Google Home Vitals 信息中心内衡量产品质量

1. 准备工作

此 Codelab 专为 Google Home 合作伙伴和开发者而设计,旨在通过云集成来提升生态系统质量和用户体验。

学习内容

Google Home Vitals 信息中心是开发者和合作伙伴监控 Google Home 集成运行状况的中央可信来源。在用户体验由延迟和可靠性决定的生态系统中,Google Home Vitals 是一个自助服务门户,其中包含从被动问题排查过渡到主动质量管理所需的所有深入分析。

  • 质量集成得分的计算方式
  • 如何解读和使用信息中心
  • 如何调试质量指标不佳的问题

所需条件

  • 具有 Google Home Cloud 集成

设置

如何前往 Google Home Vitals 信息中心:

  1. 打开 Google Cloud Platform
  2. Monitoring > 信息中心
  3. 点击“Google Home Vitals (Cloud)”信息中心

2. 如何解读信息中心

质量得分计算 -“良好”与“差”标准

该信息中心会说明质量得分的细分情况。质量得分按设备类型粒度分配。设备类型集成必须同时满足以下四个条件,才能被视为良好

  1. 全局成功率:合作伙伴与 Google 之间的总体通话成功率必须高于或等于 99.5%。
    注意如果未能达到全局成功率(高于或等于 99.5%),整个项目将自动获得评级,无论单个设备的性能如何。
  2. 命令可靠性:每种设备的 QUERY 和 EXECUTE 成功率必须 >=99.5%。
  3. 响应延迟时间:对于每种设备类型,QUERY 和 EXECUTE 的第 90 百分位延迟时间必须小于等于 1000 毫秒。
  4. 州级完整性:州级准确率必须达到 99.5% 或更高。

这些指标的重要性

  1. 全球成功率:集成级合作伙伴到 Google 的调用用于衡量从您的云到 Google 的调用的健康状况。成功率达到 99.5% 或更高,可确保 Google Home 使用正确的设备状态。例如,确保设备已添加和移除、自动化操作已触发,以及历史记录事件显示在 Google Home 应用的“活动记录”标签页中。
  2. 命令可靠性:在设备类型级别衡量 QUERY 和 EXECUTE 的成功率,成功率达到 99.5% 或更高可确保用户命令得到正确执行(即避免出现“我无法访问该设备”等 Google 助理回复,或错误地确认未执行的命令)。
  3. 响应延迟时间:QUERY 和 EXECUTE 延迟时间也会按设备类型进行衡量,每种设备类型的延迟时间不超过 1000 毫秒,可确保用户不必等待太长时间即可执行所需操作(例如,等待几秒钟即可关闭灯)。
  4. 状态完整性:状态准确性用于衡量 Google 系统中存储并用于处理用户查询的状态的准确性。如果这些数字较低,那么当用户查看设备状态或使用“智能管家”等 AI 功能时,可能会看到有关设备的错误结果。自动化操作可能无法按时触发,历史记录条目可能无法按时显示在“活动”中。

如何解读信息中心

首先从“质量得分指标”部分开始,该部分是集成的主要健康状况指标。良好的设备级评分取决于本部分中的所有指标是否都达到绿色成功标准。如需详细了解技术要求和指标定义,请参阅开发者中心文档

Google Home Vitals 信息中心顶部的“质量指标得分”部分反映了用于计算集成质量得分的指标。

图例

  • 绿色(良好):指标符合质量阈值。
  • 红色(差):相应指标未达到质量阈值。

示例

在以下示例中,您可以看到 AC_UNIT 设备类型在“查询和执行成功率”以及“查询延迟时间”部分满足质量标准,但在“执行延迟时间”部分未达到标准(红色)。这意味着命令的通过率符合要求,但 EXECUTE 延迟时间比要求慢了 36 毫秒。“系统健康状况”部分显示,整个集成中汇总方法的失败率为 98.92%,这意味着还有改进空间,以确保用户设备状态对 Google Home 的准确性。这意味着有 1.08% 的调用(DeleteAgentUser、Query、ReportStateAndNotification、RequestSyncDevices 或 Sync)返回的响应代码不等于 2xx 或 5xx(例如,404 错误)。用于衡量 AC_UNIT 设备类型通过/失败质量的最后一个指标是状态准确性。在此示例中,成功率为 77.43%,这意味着用户很可能会看到不准确的设备结果。根据这三个指标,AC_UNIT 的总体得分为“差”,低于质量阈值。

a2c2f3c8d7531fe9.png

以下每种质量计算方法都对应于下文中的一个调试部分。展开折叠的步骤以进行进一步调试。

如需调试查询/执行成功率和延迟时间,请前往“第 1 步:验证云端调用”。

如需调试合作伙伴与 Google 之间的成功率,请参阅“第 2 步:验证对 Google 的调用”。

如需调试每种设备类型的状态准确性,请前往“第 3 步:提高状态准确性”。

a68e651c029391eb.png

31f6a331b86146ed.png

3. 调试步骤 1:验证云调用

第 1 步:概览

本部分重点介绍云端调用,即用于衡量从 Google 到云后端通信健康状况的指标(也称为“Google-to-Partner”指标)。这包括 QueryExecute 等命令。

我们会跟踪 QUERY 和 EXECUTE 的成功率和延迟时间(这些因素会影响设备类型质量得分)。

以下概览显示了集成级别的 QUERY、EXECUTE 总体成功率和错误。步骤 1a-1d 显示了设备类型/特征级别上这些指标的细分数据。7a79bf5af81226f6.png

步骤 1a 和 1b 显示了履单请求数量、一段时间内的错误数量和特定错误状态的趋势。

第 1a 步:查看查询错误

20cd2e1e1114a9df.png 4220b5843d6a2973.png

第 1b 步:查看执行错误

79ab571fa31b428f.png

步骤 1c 和 1d 显示了这些指标在集成级别和设备类型级别上的第 90 百分位和第 50 百分位细分情况。

第 1c 步:查看查询延迟时间

248735625f9af7cd.png

第 1d 步:查看执行延迟时间

a71098ac39e06f74.png

4. 调试步骤 2:验证对 Google 的调用

第 2 步:概览

在调试从 Google 到合作伙伴的调用之后,第二步将介绍如何调试从合作伙伴云到 Google 的调用。此部分涵盖合作伙伴集成级指标,而非设备类型级指标,其中包括 400 Bad Request、404 Not Found 和 429 Resource Exhausted 等响应代码。

faab83706f20454e.png

第 2a 步:调试配额问题

Google Home 会限制资源的分配和使用,并按项目强制执行相应的配额。Google 会按云到云集成对您的查询、删除、报告状态和异步请求同步 API 调用的集合应用每 60 秒 6,000 个请求的默认限制。

达到配额问题可能会对报告状态准确性产生负面影响,因为未能完成状态更新可能会导致不一致。以下图表显示了具体细分信息,包括报告状态和请求同步错误、API 方法的计数和错误细分信息,以及配额使用百分比。如果这些图表显示流量意外增加,请检查您的集成,以确定是否有某项更改导致更多流量被发送到 Home Graph API。

在某些情况下,例如流量随时间自然增长(例如,增长与设备数量的增加、新设备类型的发布或其他预期发布相符),增加集成配额可能比较合适。如需申请增加配额,请按照开发者文档中的步骤操作

d3e5629af92bc88d.png

ccd9841590dc0b99.png

5. 调试步骤 3:提高状态准确性

第 3 步:概览

在调试完第 1 步和第 2 步后,第 3 步将涵盖报告状态的准确性,即存储在 Google 系统中用于处理用户查询的设备状态。按特征和设备类型细分的统计信息如下所示。步骤 3a 和 3b 涵盖了报告状态的两种常见错误:“缺少字段”错误和“不准确”错误。

9b37adcb554944f3.png

第 3a 步:“缺少字段”错误

如果特定设备的 QUERY 响应和报告的状态请求之间的载荷字段集不同,就会导致“缺少字段”错误。每个设备载荷中的字段集必须相同。如果载荷的计算逻辑在查询状态响应和报告状态响应之间存在差异,则可能会导致此问题。您可以使用下方的图表来跟踪哪些设备类型和特征的“查询”和“报告状态”响应不一致。

a25f04014cc3c7bc.png

316b294e168e8bc9.png

第 3b 步:“不准确”错误

如果特定设备的查询响应和报告状态请求的载荷字段集相同,但状态值不同,则会导致不准确的错误。如果缺少状态报告,或者 QUERY 与状态报告之间计算状态的逻辑不同,则可能会出现这种情况。您可以使用下方的图表来跟踪哪些设备类型和特征的“查询”和“报告状态”响应不一致。

b6fd9f6ee31a7bb7.png

d84829cca22b1b20.png

6. 其他文档和资源

  • 如需针对此信息中心发送反馈或报告问题,请在我们的公开问题跟踪器中提交问题。
  • 如需提交申诉请求,请使用我们的质量指标申诉表单提交问题。
  • 为了定期了解集成质量,请配置 Google Cloud Platform 提醒,以便在指标低于可接受的阈值时收到通知。这样可确保您在出现问题时第一时间收到通知。
  • 如需了解所有其他信息,请参阅开发者文档中的更多信息:https://developers.home.google.com/tools/analytics/home-vitals