Cách đo lường chất lượng sản phẩm trên trang tổng quan Google Home Vitals

1. Trước khi bắt đầu

Lớp học lập trình này được thiết kế cho các Đối tác và Nhà phát triển Google Home có tích hợp đám mây để cải thiện chất lượng hệ sinh thái và trải nghiệm người dùng.

Kiến thức bạn sẽ học được

Bảng tổng quan Google Home Vitals là nguồn thông tin chính xác duy nhất để các nhà phát triển và đối tác theo dõi tình trạng hoạt động của các dịch vụ tích hợp Google Home. Trong một hệ sinh thái mà trải nghiệm người dùng được xác định bằng độ trễ và độ tin cậy, Google Home Vitals là cổng thông tin tự phục vụ chứa tất cả thông tin phân tích chuyên sâu cần thiết để chuyển từ việc khắc phục sự cố mang tính phản ứng sang quản lý chất lượng chủ động.

  • Cách tính điểm chất lượng tích hợp
  • Cách đọc và sử dụng trang tổng quan
  • Cách gỡ lỗi các chỉ số kém chất lượng

Bạn cần có

  • Có một bản tích hợp Google Home Cloud

Thiết lập

Cách chuyển đến Bảng tổng quan Google Home Vitals:

  1. Mở Google Cloud Platform
  2. Giám sát > Trang tổng quan
  3. Nhấp vào bảng điều khiển "Google Home Vitals (Cloud)"

2. Cách đọc trang tổng quan

Cách tính Điểm chất lượng – Tiêu chuẩn "Tốt" so với "Kém"

Trang tổng quan này giải thích thông tin chi tiết về cách tính điểm chất lượng. Điểm chất lượng được chỉ định theo mức độ chi tiết của loại thiết bị. Để được coi là tích hợp loại thiết bị TỐT, thiết bị đó phải đáp ứng 4 tiêu chí đồng thời:

  1. Tỷ lệ thành công trên toàn cầu: Tỷ lệ thành công tổng thể của các lệnh gọi từ Đối tác đến Google phải từ 99,5% trở lên.
    Lưu ý: Nếu không đạt được Tỷ lệ thành công trên toàn cầu (từ 99,5% trở lên), toàn bộ dự án sẽ tự động bị xếp hạng KÉM, bất kể hiệu suất của từng thiết bị.
  2. Độ tin cậy của lệnh: Tỷ lệ thành công của QUERY và EXECUTE phải >=99,5% cho mỗi loại thiết bị.
  3. Độ trễ phản hồi: Độ trễ ở phân vị thứ 90 cho QUERY và EXECUTE phải <=1000 mili giây cho mọi loại thiết bị.
  4. Tính toàn vẹn của trạng thái: Độ chính xác của trạng thái phải từ 99,5% trở lên.

Lý do những chỉ số này quan trọng

  1. Tỷ lệ thành công trên toàn cầu: Các lệnh gọi từ đối tác đến Google ở cấp độ tích hợp đo lường trạng thái của các lệnh gọi từ đám mây của bạn đến Google. Tỷ lệ thành công >= 99,5% đảm bảo Google Home sử dụng đúng trạng thái thiết bị. Một số ví dụ bao gồm việc đảm bảo rằng các thiết bị được thêm và xoá, các quy trình tự động hoá được kích hoạt và các sự kiện trong nhật ký xuất hiện trong thẻ Hoạt động của ứng dụng Google Home.
  2. Độ tin cậy của lệnh: Tỷ lệ thành công của QUERY và EXECUTE được đo lường ở cấp loại thiết bị, tỷ lệ thành công >=99,5% đảm bảo các lệnh của người dùng được thực hiện chính xác (tức là tránh các câu trả lời của Trợ lý như "Tôi không thể kết nối với thiết bị" hoặc xác nhận không chính xác một lệnh chưa được thực hiện).
  3. Độ trễ phản hồi: Độ trễ QUERY và EXECUTE cũng được đo ở cấp loại thiết bị, độ trễ <=1000 mili giây cho mỗi loại thiết bị đảm bảo người dùng không phải đợi quá lâu để thực hiện hành động mong muốn (tức là đợi vài giây để đèn tắt).
  4. Tính toàn vẹn của trạng thái: Độ chính xác của trạng thái Đo lường độ chính xác của trạng thái được lưu trữ trong các hệ thống của Google và được dùng để phân phát các cụm từ tìm kiếm của người dùng. Nếu những con số này thấp, thì người dùng có thể thấy kết quả không chính xác cho các thiết bị của bạn khi họ xem trạng thái của thiết bị hoặc sử dụng các tính năng AI như Hỏi Home. Quy trình tự động hoá có thể không kích hoạt và các mục trong nhật ký có thể không xuất hiện trong phần Hoạt động vào đúng thời điểm.

Cách đọc trang tổng quan

Bắt đầu trong phần Chỉ số điểm chất lượng. Đây là chỉ số sức khoẻ chính cho hoạt động tích hợp của bạn. Điểm xếp hạng TỐT ở cấp thiết bị phụ thuộc vào việc tất cả các chỉ số trong phần này đáp ứng tiêu chí thành công MÀU XANH LÁ CÂY. Bạn có thể xem các yêu cầu kỹ thuật chi tiết và định nghĩa về chỉ số trong tài liệu của Trung tâm dành cho nhà phát triển.

Mục "Điểm chỉ số chất lượng" ở đầu Bảng tổng quan Google Home Vitals phản ánh các chỉ số được dùng để tính Điểm chất lượng tích hợp.

Chú giải

  • XANH LÁ CÂY (TỐT): chỉ số đáp ứng ngưỡng chất lượng.
  • ĐỎ (KÉM): chỉ số không đáp ứng ngưỡng chất lượng.

Ví dụ

Trong ví dụ bên dưới, bạn có thể thấy rằng loại thiết bị AC_UNIT đáp ứng các tiêu chí về chất lượng trong phần Tỷ lệ thành công của QUERY và EXECUTE cũng như Độ trễ QUERY, nhưng không đáp ứng được thanh Độ trễ EXECUTE (màu đỏ). Điều này có nghĩa là các lệnh đang thành công ở tốc độ truyền, nhưng độ trễ EXECUTE quá chậm (36 mili giây). Mục Tình trạng hệ thống cho thấy tỷ lệ thất bại là 98, 92% đối với các phương thức tổng hợp trong quá trình tích hợp.Điều này có nghĩa là bạn có thể cải thiện để đảm bảo độ chính xác về trạng thái thiết bị của người dùng đối với Google Home. Điều này có nghĩa là 1, 08% lệnh gọi (DeleteAgentUser, Query, ReportStateAndNotification, RequestSyncDevices hoặc Sync) đang trả về mã phản hồi không bằng 2xx hoặc 5xx (ví dụ: lỗi 404). Chỉ số cuối cùng được dùng để đo lường chất lượng đạt/không đạt cho loại thiết bị AC_UNIT là độ chính xác của trạng thái. Trong ví dụ này, chúng ta thấy tỷ lệ thành công là 77,43%, tức là người dùng có thể đang thấy kết quả không chính xác cho các thiết bị. Với 3 chỉ số này, điểm tổng thể cho AC_UNIT là KÉM và dưới ngưỡng chất lượng.

a2c2f3c8d7531fe9.png

Mỗi phép tính chất lượng này tương ứng với một phần gỡ lỗi bên dưới. Mở các bước bị thu gọn để gỡ lỗi thêm.

Để gỡ lỗi tỷ lệ thành công và độ trễ của QUERY/EXECUTE, hãy chuyển đến "Bước 1: Xác thực các lệnh gọi trên Đám mây".

Để gỡ lỗi tỷ lệ thành công của Đối tác với Google, hãy chuyển đến "Bước 2: Xác thực các lệnh gọi đến Google".

Để gỡ lỗi Độ chính xác của trạng thái cho từng loại thiết bị, hãy chuyển đến "Bước 3: Cải thiện độ chính xác của trạng thái".

a68e651c029391eb.png

31f6a331b86146ed.png

3. Bước gỡ lỗi 1: Xác thực các lệnh gọi đám mây

Bước 1: Tổng quan

Phần này tập trung vào Cloud Calls (Cuộc gọi trên đám mây) – các chỉ số đo lường tình trạng của thông tin liên lạc từ Google đến phần phụ trợ đám mây của bạn (còn gọi là chỉ số Google-to-Partner). Trong đó có các lệnh như Query (Truy vấn), Execute (Thực thi).

Chúng tôi theo dõi tỷ lệ thành công và độ trễ cho QUERY và EXECUTE (yếu tố ảnh hưởng đến điểm chất lượng theo loại thiết bị).

Thông tin tổng quan bên dưới cho biết tổng số lỗi và tỷ lệ thành công của QUERY, EXECUTE ở cấp độ tích hợp. Các bước 1a – 1d cho thấy thông tin chi tiết về những chỉ số này ở cấp loại/đặc điểm thiết bị. 7a79bf5af81226f6.png

Bước 1a và 1b cho thấy xu hướng về số lượng yêu cầu thực hiện, số lượng lỗi theo thời gian và trạng thái lỗi cụ thể.

Bước 1a: Xem xét lỗi truy vấn

20cd2e1e1114a9df.png 4220b5843d6a2973.png

Bước 1b: Xem xét lỗi thực thi

79ab571fa31b428f.png

Các bước 1c và 1d cho thấy thông tin chi tiết về phân vị thứ 90 và phân vị thứ 50 của các chỉ số này ở cả cấp độ tích hợp và cấp độ loại thiết bị.

Bước 1c: Xem xét độ trễ của truy vấn

248735625f9af7cd.png

Bước 1d: Xem xét độ trễ thực thi

a71098ac39e06f74.png

4. Gỡ lỗi Bước 2: Xác thực các lệnh gọi đến Google

Bước 2: Tổng quan

Sau khi gỡ lỗi các lệnh gọi từ Google đến đối tác, bước thứ hai này sẽ bao gồm việc gỡ lỗi các lệnh gọi từ đám mây của đối tác đến Google. Phần này đề cập đến các chỉ số ở cấp tích hợp đối tác, chứ không phải cấp loại thiết bị – bao gồm các mã phản hồi như 400 Bad Request (Yêu cầu không hợp lệ), 404 Not Found (Không tìm thấy) và 429 Resource Exhausted (Hết tài nguyên).

faab83706f20454e.png

Bước 2a: Gỡ lỗi về vấn đề hạn mức

Google Home giới hạn việc phân bổ và sử dụng tài nguyên, đồng thời áp dụng hạn mức phù hợp cho từng dự án. Google áp dụng giới hạn mặc định là 6.000 yêu cầu trong 60 giây cho tổng số các lệnh gọi API truy vấn, xoá, Trạng thái báo cáo và đồng bộ hoá yêu cầu không đồng bộ, trên cơ sở tích hợp từng đám mây.

Việc gặp phải vấn đề về hạn mức có thể ảnh hưởng tiêu cực đến Độ chính xác của trạng thái báo cáo vì việc không hoàn tất quá trình cập nhật trạng thái có thể gây ra sự không khớp. Dưới đây là các biểu đồ có bảng chi tiết cụ thể cho thấy Trạng thái báo cáo và Lỗi đồng bộ hoá yêu cầu, bảng chi tiết về phương thức API theo số lượng và lỗi cũng như tỷ lệ phần trăm sử dụng hạn mức. Nếu những biểu đồ này cho thấy lưu lượng truy cập tăng đột biến, hãy xem xét quy trình tích hợp của bạn để xác định xem có thay đổi nào khiến nhiều lưu lượng truy cập hơn được gửi đến Home Graph API hay không.

Trong một số trường hợp, chẳng hạn như lưu lượng truy cập tăng tự nhiên theo thời gian (ví dụ: mức tăng phù hợp với số lượng thiết bị tăng lên, việc ra mắt một loại thiết bị mới hoặc một số lần ra mắt dự kiến khác), việc tăng hạn mức cho hoạt động tích hợp của bạn có thể là phù hợp. Để yêu cầu tăng hạn mức, hãy làm theo các bước trong tài liệu dành cho nhà phát triển của chúng tôi.

d3e5629af92bc88d.png

ccd9841590dc0b99.png

5. Bước gỡ lỗi 3: Cải thiện độ chính xác của trạng thái

Bước 3: Tổng quan

Sau khi gỡ lỗi cả Bước 1 và Bước 2, Bước 3 sẽ đề cập đến độ chính xác của Trạng thái báo cáo – trạng thái thiết bị được lưu trữ trong các hệ thống của Google, được dùng để phân phát các cụm từ tìm kiếm của người dùng. Thông tin chi tiết theo đặc điểm và loại thiết bị được trình bày bên dưới. Bước 3a và 3b đề cập đến 2 lỗi thường gặp đối với Trạng thái báo cáo, đó là lỗi Thiếu trường và lỗi Không chính xác.

9b37adcb554944f3.png

Bước 3a: Lỗi "Thiếu trường"

Lỗi "Thiếu trường" xảy ra khi tập hợp các trường tải trọng khác nhau giữa phản hồi QUERY và yêu cầu trạng thái được báo cáo cho một thiết bị nhất định. Tập hợp các trường trong tải trọng của mỗi thiết bị phải giống nhau. Điều này có thể xảy ra nếu logic tính toán tải trọng khác nhau giữa phản hồi trạng thái BÁO CÁO và TRUY VẤN. Sử dụng các biểu đồ bên dưới để theo dõi những loại thiết bị và đặc điểm có phản hồi QUERY và trạng thái báo cáo không khớp.

a25f04014cc3c7bc.png

316b294e168e8bc9.png

Bước 3b: Lỗi "Không chính xác"

Lỗi không chính xác xảy ra khi tập hợp các trường tải trọng giống nhau giữa một phản hồi QUERY và một yêu cầu trạng thái được báo cáo cho một thiết bị nhất định, nhưng các giá trị trạng thái khác nhau. Điều này có thể xảy ra nếu bạn bỏ lỡ một báo cáo trạng thái hoặc nếu logic tính toán trạng thái khác nhau giữa QUERY và báo cáo trạng thái. Sử dụng các biểu đồ bên dưới để theo dõi những loại thiết bị và đặc điểm có phản hồi QUERY và trạng thái báo cáo không khớp.

b6fd9f6ee31a7bb7.png

d84829cca22b1b20.png

6. Các tài liệu và tài nguyên khác

  • Để gửi ý kiến phản hồi hoặc báo cáo sự cố về trang tổng quan này, hãy gửi sự cố trong Trình theo dõi sự cố công khai của chúng tôi.
  • Để gửi yêu cầu kháng nghị, hãy gửi vấn đề bằng biểu mẫu Kháng nghị chỉ số về chất lượng của chúng tôi.
  • Để thường xuyên nắm được chất lượng tích hợp, hãy định cấu hình cảnh báo của Google Cloud Platform để nhận thông báo khi các chỉ số của bạn giảm xuống dưới ngưỡng chấp nhận được. Điều này giúp đảm bảo bạn là người đầu tiên biết được khi vấn đề phát sinh.
  • Để biết tất cả thông tin khác, vui lòng xem thêm thông tin trong tài liệu của nhà phát triển – https://developers.home.google.com/tools/analytics/home-vitals