품질 모니터링 대시보드

이 대시보드 및 알림 모음을 사용하면 Google Home 생태계와의 고품질 통합을 선제적으로 유지할 수 있습니다. Google은 모든 고객을 위해 고품질 생태계를 개발하는 파트너를 지원하기 위해 최선을 다하고 있습니다.

대시보드에는 전체 통합의 품질에 기여하는 주요 부분을 다루는 세 가지 섹션이 있습니다.

  1. Google-파트너 측정항목 - Google에서 클라우드 백엔드로의 호출 상태를 측정합니다.

  2. 시스템 상태 - 파트너에서 Google로의 측정항목 - 시스템에서 Google로의 호출 상태를 측정합니다.

  3. 기기 상태 - 상태 정확도 - 사용자 쿼리를 처리하는 데 사용되는 Google 시스템에 저장된 상태의 정확도를 측정합니다.

측정항목이 목표 값을 충족하지 않으면 사용자 환경에 영향을 미칠 수 있는 문제를 나타내기 위해 빨간색으로 강조 표시됩니다. 다음 정보는 각 타겟과 타겟이 사용자에게 중요한 이유에 관한 세부정보를 제공합니다.

대시보드로 이동

Google-파트너 측정항목

질문/실행 성공률 >= 99.5% 측정항목은 사용자의 명령어가 올바르게 처리되는 빈도를 측정하여 '기기에 연결할 수 없습니다'와 같은 어시스턴트 응답을 방지하거나 처리되지 않은 명령어를 잘못 확인하는 데 도움이 됩니다.

'성공'이란 무엇인가요?

의도한 작업이 실행되었거나 요청된 상태가 검색되었음을 나타내는 유효한 응답을 Google Home 플랫폼에서 수신하면 트랜잭션이 성공으로 표시됩니다.

실행을 차단하지 않는 예외 (예: lowBattery 예외가 수반되는 SUCCESS 상태)가 포함된 응답은 성공적인 거래로 간주됩니다. 경고에도 불구하고 명령이 기기에 도달했고 의도가 충족되었습니다.

'실패'는 무엇으로 정의되나요?

일반적인 플랫폼 오류 코드에서 발견되고 파트너 조치 가능으로 표시된 오류는 쿼리 및 실행 성공률을 계산할 때 '실패'로 간주됩니다.

쿼리/실행 지연 시간(p90) <= 1,000ms 측정항목은 요청된 작업 대기 시간을 측정하며 사용자가 너무 오래 기다리지 않도록 합니다(예: 조명이 꺼질 때까지 몇 초 동안 기다림).

지연 시간 측정항목

지연 시간은 통합이 최종 사용자에게 얼마나 빠르게 반응하는지 보여주는 중요한 지표입니다. 대시보드에서는 90번째 백분위수 (P90) 지연 시간을 추적합니다. 이는 '가장 느린' 사용자의 환경을 나타냅니다 (예: P90이 800ms인 경우 요청의 90% 가 800ms 이하로 승인됨).

Google에서는 기술적 정확성을 보장하기 위해 상태 확인과 기기 명령의 지연 시간을 다르게 측정합니다.

1. QUERY Latency (의문문)

이는 Google에서 기기의 현재 상태를 요청할 때 Cloud-to-cloud 왕복 시간을 측정합니다.

  • 시작: Google에서 action.devices.QUERY 요청을 이행 URL로 디스패치합니다.
  • 측정 기간: 클라우드가 전체 HTTP 응답을 수신, 처리, Google에 다시 전송하는 데 걸리는 시간입니다.
  • 종료: Google이 서비스로부터 최종 응답 페이로드를 수신하고 이를 확인합니다.

2. 실행 지연 시간 (작업)

Google이 기기에 제어 요청을 전송할 때의 명령 확인 시간을 측정합니다.

  • 시작: Google에서 action.devices.EXECUTE 요청을 이행 URL로 디스패치합니다.
  • 측정 기간: 클라우드가 명령어를 수신하고 확인 응답을 반환하는 데 걸리는 시간입니다.
  • 종료: Google에서 SUCCESS, PENDING 또는 OFFLINE 상태 응답을 수신합니다.
  • 기술 범위: 이 측정항목은 Google 클라우드와 고객의 클라우드 간의 '응답 확인' 시간을 측정합니다. 물리적 하드웨어 (예: 전구)가 물리적 상태 변경을 완료하는 데 걸리는 시간은 측정하지 않습니다. 이는 클라우드 간 경로 외부의 로컬 메시 네트워크 지연 시간이 포함되는 경우가 많기 때문입니다.

시스템 상태 - 파트너-Google 측정항목

성공률이 99.5%이상이면 Google Home에서 기기 상태가 올바르고, 기기가 추가 및 삭제되고, 자동화가 트리거되고, 기록 활동이 Google Home app (GHA)의 활동 탭에 표시됩니다.

성공률은 클라우드에서 상태 업데이트를 푸시할 때 Google에서 반환하는 HTTP 응답 코드를 기반으로 계산됩니다. 파트너가 Google 측 인프라 문제로 인해 불이익을 받지 않도록 이 측정항목은 실패 횟수에서 Google 내부 오류를 제외합니다.

'성공'이란 무엇인가요?

  • 2xx (성공): 상태 업데이트가 Home Graph에 의해 성공적으로 수신되고 처리되었습니다.

'실패'는 무엇으로 정의되나요?

  • 4xx (파트너 오류): 실패를 나타내며 클라우드에서 전송된 요청에 문제가 있음을 나타냅니다. 일반적인 코드는 다음과 같습니다.
    • 400 잘못된 요청: 서버에서 잘못된 문법으로 인해 요청을 처리할 수 없습니다. 일반적인 원인으로는 JSON 형식이 잘못되었거나 문자열 값에 '' 대신 null을 사용하는 경우가 있습니다.
    • 404 찾을 수 없음: 요청된 리소스를 찾을 수 없습니다. 일반적으로 이는 Google에서 요청된 기기를 찾을 수 없음을 의미합니다. 사용자 계정이 연결되지 않았거나 잘못된 agentUserId가 수신되었음을 의미할 수도 있습니다. agentUserId가 동기화 응답에 제공된 값과 일치하고 DISCONNECT 인텐트를 올바르게 처리하는지 확인합니다.
    • 429 리소스 소진: 통합이 할당된 할당량을 초과했습니다. 할당량 관리에 관한 대시보드 상단의 '1단계' 섹션에 있는 안내를 참고하세요.

기기 상태 - 상태 정확성

상태 정확도 >= 99.5%를 충족하면 사용자가 기기 상태를 보거나 AI 기능(예: 홈에 질문하기)을 사용할 때 올바른 결과가 표시됩니다. 상태 정확도가 낮으면 자동화가 실행되지 않고 기록 항목이 GHA의 활동 탭에 적시에 표시되지 않을 수 있습니다. 자세한 내용은 상태 보고를 참고하세요.

품질 대시보드에서는 전체 정확도가장 낮은 유형/특성 조합이라는 두 가지 별도의 측정항목을 사용하여 시간별로 이를 추적합니다.

1. 정확도 구성요소

이 측정항목은 Google에서 알려진 의도 결과에 대해 보고된 상태를 확인할 수 있는 '샘플'에서 파생됩니다.

2. 대시보드 측정항목 (시간별 계산)

대시보드는 1시간 간격을 기준으로 정확도를 계산합니다. 한 시간의 총 샘플 수가 100개 미만 (S_Total < 100)이면 해당 시간의 정확도가 N/A로 설정됩니다.

뷰 1: 전체 정확도 (전체 평균)

이는 모든 기기 유형과 특성을 합한 통합의 총 정확도를 나타냅니다. 전체 생태계의 가중 평균 상태를 제공합니다.

  • 계산: 모든 기기의 총 상태 정확도 / 모든 기기의 총 상태 합계

뷰 2: 가장 낮은 유형/특성 조합

통합에서 가장 신뢰할 수 없는 특정 카테고리를 식별합니다. 이를 통해 고품질의 대량 기기가 저품질의 소량 기기를 숨기는 것을 방지할 수 있습니다. 예를 들어 99.5% 이상의 상태 정확도를 가진 조명이 많지만 상태 정확도가 낮은 스위치가 적은 경우 평균값에서 누락될 수 있는 스위치의 개선이 필요함을 강조합니다.

  • 계산: 모든 특성 / 기기 조합의 상태 정확도/상태 총계의 최솟값입니다.