Khác với các loại ứng dụng iOS khác, ứng dụng Home API có những điểm cần cân nhắc và thách thức riêng, bao gồm cả sự phụ thuộc vào các thiết bị nhà thông minh thực, độ tin cậy của mạng, tính bảo mật và quyền riêng tư, cũng như khả năng tương tác giữa thiết bị và giao thức. Những điểm khác biệt này ảnh hưởng đến quá trình kiểm thử.
Thiết lập môi trường kiểm thử
Môi trường kiểm thử mạnh mẽ là yếu tố quan trọng để kiểm thử ứng dụng Home API.
Bạn nên tách riêng các thiết bị kiểm thử trên một mạng Wi-Fi riêng. Việc này giúp ngăn chặn sự can thiệp từ các thiết bị khác và cho phép bạn mô phỏng nhiều điều kiện mạng, chẳng hạn như băng thông bị điều tiết.
Bạn nên kiểm thử bằng nhiều loại thiết bị nhà thông minh của nhiều nhà sản xuất. Hãy nhớ kiểm thử bằng các thiết bị thực. Các thiết bị ảo và trình mô phỏng có vai trò riêng nhưng bạn không nên chỉ dựa vào các thiết bị này.
Tương tự, việc kiểm thử ứng dụng của bạn trên nhiều thiết bị iOS của nhiều nhà sản xuất, với kích thước màn hình khác nhau và chạy các phiên bản iOS khác nhau sẽ giúp xác minh khả năng tương thích rộng hơn.
Tập hợp các công cụ
Các công cụ sau đây hữu ích trong việc kiểm thử ứng dụng Home API:
| Công cụ | Mô tả |
|---|---|
| Google Home Playground | Không thay thế được việc kiểm thử bằng các thiết bị thực, nhưng vô cùng quý giá đối với nhiều tình huống kiểm thử. |
| Matter Virtual Device (MVD) | Một ứng dụng mô phỏng khác có thể hữu ích khi kiểm thử bằng Matter thiết bị trong ứng dụng Home API. |
| Trình mô phỏng mạng | Cho phép bạn mô phỏng nhiều điều kiện mạng và phản hồi của API, đặc biệt hữu ích nếu bạn sử dụng phần phụ trợ trên đám mây. |
| TestFlight | Cho phép bạn tự động hoá quy trình kiểm thử giao diện người dùng. Bạn cần mô phỏng API cơ bản để mô phỏng các tương tác phần cứng. |
| Bảng điều khiển XCode | Xử lý và phân tích dữ liệu nhật ký. |
| XCUIAutomation | Cho phép bạn tự động hoá quy trình kiểm thử giao diện người dùng. Bạn cần mô phỏng API cơ bản để mô phỏng các tương tác phần cứng. |
Áp dụng nhiều phương pháp và chiến lược kiểm thử
Bạn nên áp dụng nhiều phương pháp kiểm thử cho ứng dụng Home API. Để biết thông tin chung về nhiều phương pháp, hãy xem bài viết Kiểm thử ứng dụng trên TestFlight. Ngoài trải nghiệm người dùng và quy trình kiểm thử bảo mật mà tất cả ứng dụng iOS đều phải trải qua, một số khía cạnh kiểm thử đặc biệt phù hợp với ứng dụng Home API và được trình bày chi tiết hơn trong các phần sau.
Kiểm thử chức năng
Tuỳ thuộc vào các tính năng của ứng dụng, bạn có thể muốn đặc biệt chú ý đến một số khía cạnh sau:
- Khám phá và ghép nối thiết bị, bao gồm cả quá trình thiết lập ban đầu và ghép nối với các thiết bị mới, khám phá lại các thiết bị hiện có sau khi khởi động lại ứng dụng, khởi động lại thiết bị hoặc thay đổi mạng. Ngoài ra, hãy kiểm tra các tình huống như thiết bị không phản hồi hoặc người dùng nhập thông tin đăng nhập không chính xác.
- Đồng bộ hoá trạng thái, đảm bảo rằng ứng dụng cập nhật để phản ánh chính xác trạng thái hiện tại một cách kịp thời.
- Cách quản lý và thực thi quyền, đặc biệt nếu ứng dụng của bạn hỗ trợ nhiều người dùng hoặc quyền truy cập chung vào nhà. Điều này bao gồm việc xác minh rằng ứng dụng của bạn xử lý các quyền bị thu hồi một cách suôn sẻ.
- Nếu ứng dụng của bạn hỗ trợ các cảnh, chẳng hạn như cảnh "Chúc ngủ ngon" tắt tất cả đèn, hãy kiểm thử việc tạo, sửa đổi và thực thi cảnh. Kiểm thử quy trình tự động hoá, bao gồm cả trình khởi động và hành động.
Kiểm thử hiệu suất
Xác minh rằng ứng dụng của bạn phản hồi nhanh và không gây ra độ trễ không cần thiết. Nếu có thể, hãy kiểm thử trên nhiều thiết bị để đánh giá khả năng mở rộng và hiệu suất của ứng dụng khi chịu tải. Ngoài ra, hãy xem xét mức tiêu thụ CPU, bộ nhớ và pin của ứng dụng, đặc biệt là trong quá trình giao tiếp tích cực giữa các thiết bị, để xem mức sử dụng tài nguyên của ứng dụng có hợp lý hay không.
Kiểm thử độ tin cậy và độ ổn định
Do phụ thuộc vào khả năng kết nối mạng, ứng dụng Home API cần được kiểm thử trong các tình huống sau:
- Mạng dao động
- Mô phỏng tình trạng rớt mạng Wi-Fi, tín hiệu yếu và chuyển đổi mạng.
- Xác minh rằng ứng dụng của bạn xử lý các tình huống ngắt kết nối và kết nối lại một cách suôn sẻ.
- Xác minh rằng các lệnh được xếp hàng đợi và thực thi khi kết nối được khôi phục hoặc cung cấp thông báo lỗi thích hợp.
- Kiểm thử ứng dụng từ các mạng từ xa, không chỉ từ mạng gia đình.
- Ngắt kết nối thiết bị
- Rút phích cắm thiết bị.
- Bật/tắt nguồn thiết bị.
- Hoạt động đồng thời
- Gửi một chuỗi lệnh nhanh.
- Yêu cầu nhiều người dùng cùng lúc cố gắng điều khiển cùng một thiết bị.
- Kiểm thử các cảnh và quy trình tự động hoá chồng chéo.
- Xử lý lỗi
- Buộc lỗi API, chẳng hạn như bằng cách mô phỏng phản hồi của máy chủ API trên đám mây.
- Kiểm thử dữ liệu đầu vào không hợp lệ của người dùng.
- Xác minh tình trạng giảm hiệu suất suôn sẻ và thông báo lỗi hữu ích.
- Độ tin cậy – Chạy ứng dụng và các thiết bị được kết nối trong thời gian dài để phát hiện các vấn đề có thể xảy ra về rò rỉ bộ nhớ hoặc độ ổn định.
Trước khi ra mắt ứng dụng
Bạn nên kiểm thử kỹ lưỡng một ứng dụng sử dụng Home API để xác minh rằng ứng dụng đó đáp ứng tất cả các yêu cầu về chức năng và chất lượng trước khi ra mắt. Hãy sử dụng Báo cáo kiểm thử ứng dụng Google Home API làm hướng dẫn để kiểm thử chức năng của ứng dụng.
Nếu bạn được yêu cầu gửi Báo cáo kiểm thử ứng dụng Google Home API, hãy gửi báo cáo này cho Google Technical Account Manager (TAM) để họ có thể xem xét báo cáo và sử dụng báo cáo này làm tài liệu tham khảo khi kiểm thử ứng dụng của bạn.