เมตริกแดชบอร์ดการตรวจสอบคุณภาพ

ชุดแดชบอร์ดและการแจ้งเตือนนี้ช่วยให้คุณรักษาการผสานรวมคุณภาพสูงกับระบบนิเวศของ Google Home ได้อย่างมีประสิทธิภาพ Google มุ่งมั่นที่จะ สนับสนุนพาร์ทเนอร์ในการพัฒนาระบบนิเวศคุณภาพสูงสำหรับลูกค้าทุกราย

แดชบอร์ดมี 3 ส่วน โดยแต่ละส่วนจะครอบคลุมส่วนสําคัญที่มีส่วนช่วยใน คุณภาพของการผสานรวมโดยรวม

1. เมตริกจาก Google ถึงพาร์ทเนอร์ - วัดความสมบูรณ์ของการเรียกจาก Google ไปยังแบ็กเอนด์ระบบคลาวด์ของคุณ

2. สถานะของระบบ - เมตริกพาร์ทเนอร์กับ Google - วัดสถานะของการเรียกจากระบบของคุณไปยัง Google

3. สถานะความสมบูรณ์ของอุปกรณ์ - ความแม่นยำของสถานะ - วัดความแม่นยำของสถานะที่จัดเก็บ ในระบบของ Google ซึ่งใช้เพื่อตอบคำค้นหาของผู้ใช้

เมื่อเมตริกไม่เป็นไปตามค่าเป้าหมาย ระบบจะไฮไลต์เป็นสีแดงเพื่อ ระบุปัญหาที่อาจส่งผลต่อประสบการณ์ของผู้ใช้ ข้อมูลต่อไปนี้ จะให้รายละเอียดเกี่ยวกับเป้าหมายแต่ละรายการและเหตุผลที่เป้าหมายเหล่านั้นมีความสําคัญต่อผู้ใช้

ไปที่แดชบอร์ด

เมตริกจาก Google ถึงพาร์ทเนอร์

เมตริกอัตราความสำเร็จในการค้นหา/ดำเนินการ >= 99.5% จะวัดความถี่ที่ระบบดำเนินการตามคำสั่งของผู้ใช้ได้อย่างถูกต้อง ซึ่งจะช่วยหลีกเลี่ยงการตอบกลับของ Assistant เช่น "ฉันเข้าถึงอุปกรณ์ไม่ได้" หรือการยืนยันคำสั่งที่ไม่ถูกต้องซึ่งไม่ได้ดำเนินการให้

"ความสำเร็จ" คืออะไร

ระบบจะทำเครื่องหมายธุรกรรมว่าสำเร็จหากแพลตฟอร์ม Google Home ได้รับการตอบกลับที่ถูกต้องซึ่งระบุว่าการดำเนินการที่ต้องการสำเร็จแล้วหรือดึงข้อมูลสถานะที่ขอแล้ว

การตอบกลับที่มีข้อยกเว้นที่ไม่บล็อก (เช่น สถานะ SUCCESS พร้อมด้วยข้อยกเว้น lowBattery) จะถือเป็นการทำธุรกรรมที่สำเร็จ คำสั่งไปถึงอุปกรณ์และระบบตอบสนองความตั้งใจของผู้ใช้ได้แม้จะมีคำเตือน

"ความล้มเหลว" มีคำจำกัดความว่าอย่างไร

ข้อผิดพลาดที่พบใน รหัสข้อผิดพลาดทั่วไปของแพลตฟอร์ม ซึ่งทําเครื่องหมายเป็นพาร์ทเนอร์ดําเนินการได้จะถือเป็น "ไม่สําเร็จ" เมื่อ คํานวณอัตราความสําเร็จของ QUERY และ EXECUTE

เมตริกเวลาในการตอบสนองของคำค้นหา/การดำเนินการ (เปอร์เซ็นไทล์ที่ 90) <= 1,000 มิลลิวินาทีจะวัดเวลาในการรอการดำเนินการที่ขอ และช่วยให้มั่นใจว่าผู้ใช้ไม่ต้องรอนานเกินไป เช่น รอไม่กี่วินาทีเพื่อให้ไฟดับ

เมตริกเวลาในการตอบสนอง

เวลาในการตอบสนองเป็นตัวบ่งชี้ที่สำคัญว่าการผสานรวมของคุณตอบสนองต่อ ผู้ใช้ปลายทางได้ดีเพียงใด แดชบอร์ดจะติดตามเวลาในการตอบสนองเปอร์เซ็นไทล์ที่ 90 (P90) ซึ่ง แสดงถึงประสบการณ์ของผู้ใช้ที่ "ช้าที่สุด" (เช่น P90 ที่ 800 มิลลิวินาที หมายความว่าระบบรับทราบคำขอ 90% ในเวลาไม่เกิน 800 มิลลิวินาที)

Google วัดเวลาในการตอบสนองแตกต่างกันสำหรับการตรวจสอบสถานะเทียบกับคำสั่งอุปกรณ์ เพื่อให้มั่นใจในความถูกต้องทางเทคนิค

1. เวลาในการตอบสนองต่อคำค้นหา (คำถาม)

ซึ่งจะวัดเวลาไปกลับของ Cloud-to-cloud เมื่อ Google ถาม ถึงสถานะปัจจุบันของอุปกรณ์

• เริ่มต้น: Google ส่งaction.devices.QUERYคำขอไปยัง URL การจัดการคำสั่งซื้อ
• กรอบเวลาการวัดผล: เวลาที่ระบบคลาวด์ใช้ในการรับ ประมวลผล และ ส่งการตอบกลับ HTTP แบบเต็มกลับไปยัง Google
• สิ้นสุด: Google ได้รับและรับทราบเพย์โหลดการตอบกลับสุดท้ายจาก บริการของคุณ

2. เวลาในการตอบสนองของ EXECUTE (การดำเนินการ)

ซึ่งจะวัดเวลาการรับทราบคำสั่งเมื่อ Google ส่งคำขอควบคุมไปยังอุปกรณ์

• เริ่มต้น: Google ส่งaction.devices.EXECUTEคำขอไปยัง URL การจัดการคำสั่งซื้อ
• กรอบเวลาการวัดผล: เวลาที่ใช้สำหรับระบบคลาวด์ในการรับคำสั่งและ ส่งการตอบกลับเพื่อรับทราบ
• สิ้นสุด: Google ได้รับการตอบกลับสถานะ SUCCESS, PENDING หรือ OFFLINE
• ขอบเขตทางเทคนิค: เมตริกนี้จะวัดเวลา "การรับทราบการตอบกลับ" ระหว่างระบบคลาวด์ของ Google กับระบบคลาวด์ของคุณ โดยจะไม่วัดเวลาที่ฮาร์ดแวร์จริง (เช่น หลอดไฟ) ใช้ในการเปลี่ยนสถานะจริง เนื่องจากมักเกี่ยวข้องกับเวลาในการตอบสนองของเครือข่าย Mesh ในพื้นที่ที่อยู่นอกเส้นทางจากระบบคลาวด์ไปยังระบบคลาวด์

สถานะของระบบ - เมตริกพาร์ทเนอร์ถึง Google

การรักษาอัตราความสำเร็จ >= 99.5% จะช่วยให้มั่นใจได้ว่าสถานะอุปกรณ์ใน Google Home ถูกต้อง มีการเพิ่มและนำอุปกรณ์ออก มีการทริกเกอร์การทำงานอัตโนมัติ และเหตุการณ์ในประวัติจะปรากฏในแท็บกิจกรรมของGoogle Home app (GHA)

อัตราความสำเร็จจะคำนวณตามรหัสการตอบกลับ HTTP ที่ Google ส่งคืนเมื่อคลาวด์ของคุณพุชการอัปเดตสถานะ เมตริกนี้ไม่รวมข้อผิดพลาดภายในของ Google จากจำนวนความล้มเหลว เพื่อให้มั่นใจว่าพาร์ทเนอร์จะไม่ ถูกลงโทษเนื่องจากปัญหาโครงสร้างพื้นฐานฝั่ง Google

"ความสำเร็จ" คืออะไร

• 2xx (สำเร็จ): Home Graph ได้รับและประมวลผลการอัปเดตสถานะเรียบร้อยแล้ว

"ความล้มเหลว" มีคำจำกัดความว่าอย่างไร

• 4xx (ข้อผิดพลาดของพาร์ทเนอร์): ข้อผิดพลาดเหล่านี้แสดงถึงความล้มเหลวและบ่งชี้ถึงปัญหาเกี่ยวกับ คำขอที่ส่งจากระบบคลาวด์ของคุณ รหัสที่ใช้กันโดยทั่วไปมีดังนี้
  • 400 คำขอไม่ถูกต้อง: เซิร์ฟเวอร์ไม่สามารถประมวลผลคำขอเนื่องจากไวยากรณ์ไม่ถูกต้อง สาเหตุที่พบบ่อย ได้แก่ JSON ที่มีรูปแบบไม่ถูกต้องหรือใช้ค่า Null แทนค่า "" สำหรับค่าสตริง
  • 404 ไม่พบ: ไม่พบทรัพยากรที่ขอ โดยปกติแล้ว ข้อความนี้ หมายความว่า Google ไม่พบอุปกรณ์ที่ขอ นอกจากนี้ยังอาจหมายความว่าบัญชีผู้ใช้ไม่ได้ลิงก์ไว้หรือได้รับ agentUserId ที่ไม่ถูกต้อง ตรวจสอบว่า agentUserId ตรงกับค่าที่ระบุในการตอบกลับ SYNC และคุณจัดการเจตนา DISCONNECT อย่างถูกต้อง
  • 429 ทรัพยากรหมด: การผสานรวมของคุณใช้โควต้าที่จัดสรรไว้เกินแล้ว ดูวิธีการจัดการโควต้าได้ในส่วน "ขั้นตอนที่ 1" ที่อยู่ด้านบนของแดชบอร์ด

ประสิทธิภาพการทำงานของอุปกรณ์ - ความถูกต้องของสถานะ

การมีความแม่นยำของสถานะ >= 99.5% จะช่วยให้มั่นใจได้ว่าผู้ใช้จะเห็นผลลัพธ์ที่ถูกต้องเมื่อดูสถานะอุปกรณ์หรือใช้ฟีเจอร์ AI เช่น ถาม Home หากความแม่นยำของสถานะต่ำ การทำงานอัตโนมัติอาจไม่เริ่มทำงาน และรายการประวัติอาจไม่ ปรากฏในแท็บกิจกรรมของGHAในเวลาที่เหมาะสม ดูข้อมูลเพิ่มเติมได้ที่สถานะรายงาน

แดชบอร์ดคุณภาพจะติดตามข้อมูลนี้ทุกชั่วโมงโดยใช้เมตริกที่แตกต่างกัน 2 รายการ ได้แก่ ความถูกต้องโดยรวม และชุดค่าผสมประเภท/ลักษณะที่ต่ำที่สุด

1. องค์ประกอบความแม่นยำ

เมตริกนี้ได้มาจาก "ตัวอย่าง" ที่ Google สามารถยืนยันสถานะที่รายงาน เทียบกับผลลัพธ์ของความตั้งใจที่ทราบ

2. เมตริกแดชบอร์ด (การคำนวณรายชั่วโมง)

แดชบอร์ดจะคำนวณความแม่นยำตามช่วงเวลา 1 ชั่วโมง หากชั่วโมงหนึ่งมีตัวอย่างทั้งหมดน้อยกว่า 100 รายการ (S_Total < 100) ระบบจะตั้งค่าความแม่นยำของชั่วโมงนั้นเป็น N/A

มุมมองที่ 1: ความแม่นยำโดยรวม (ค่าเฉลี่ยทั่วโลก)

ซึ่งแสดงถึงความแม่นยำโดยรวมของการผสานรวมในอุปกรณ์ทุกประเภท และลักษณะที่รวมกัน โดยจะแสดงค่าเฉลี่ยแบบถ่วงน้ำหนักของสถานะ ทั้งระบบนิเวศ

• การคำนวณ: ความแม่นยำของสถานะทั้งหมดในอุปกรณ์ทั้งหมด / สถานะทั้งหมดทั้งหมด ในอุปกรณ์ทั้งหมด

มุมมอง 2: ค่าผสมประเภท/ลักษณะที่ต่ำที่สุด

ซึ่งจะระบุหมวดหมู่ที่เฉพาะเจาะจงซึ่งไม่น่าเชื่อถือที่สุดในการผสานรวม ซึ่งจะป้องกันไม่ให้อุปกรณ์ที่มีปริมาณสูงซึ่งมีคุณภาพสูงซ่อนอุปกรณ์ที่มีปริมาณต่ำซึ่งมีคุณภาพต่ำ ตัวอย่างเช่น หากคุณมีปริมาณหลอดไฟจำนวนมากที่มีความแม่นยำของสถานะสูงกว่า 99.5% แต่มีปริมาณสวิตช์น้อยที่มีความแม่นยำของสถานะต่ำ แสดงว่าต้องปรับปรุงสวิตช์ที่อาจสูญหายไปในค่าเฉลี่ย

• การคำนวณ: ความแม่นยำของรัฐ / รัฐทั้งหมดขั้นต่ำสำหรับชุดค่าผสมลักษณะ/อุปกรณ์ทั้งหมด