Số liệu hiệu năng trong tài liệu của nhà sản xuất được đo ở một nơi khác, trên một quần thể khác, với thiết bị khác.
Cách duy nhất để biết sản phẩm hoạt động ra sao tại cơ sở mình là đo tại chỗ.
Khi nào làm
- Trước khi mua — nếu nhà cung cấp cho phép chạy thử.
- Trong giai đoạn chạy song song im lặng sau khi lắp đặt nhưng trước khi hiển thị cho người dùng.
- Định kỳ sau triển khai — như một phần của giám sát.
- Sau mỗi thay đổi lớn — thiết bị mới, quy trình mới, phiên bản phần mềm mới.
Bước 1: xác định câu hỏi
Không phải "sản phẩm này có tốt không" mà cụ thể hơn:
- Hiệu năng trên quần thể của chúng tôi là bao nhiêu?
- Có tương đương với số liệu nhà sản xuất công bố không?
- Có nhóm nào hiệu năng kém rõ rệt không?
- Ở ngưỡng vận hành dự kiến, sẽ có bao nhiêu cảnh báo mỗi ngày?
- Tỷ lệ ca không xử lý được là bao nhiêu?
Câu thứ tư có giá trị vận hành trực tiếp: nó cho biết nguồn lực cần để đáp ứng.
Bước 2: chọn mẫu
Nguyên tắc chung
Mẫu phải phản ánh quần thể thực tế sẽ đi qua hệ thống.
Nếu lấy mẫu chọn lọc — chỉ ca rõ ràng, chỉ ảnh chất lượng tốt — kết quả sẽ tốt hơn thực tế.
Vấn đề cỡ mẫu
Với bệnh có tỷ lệ thấp, một mẫu ngẫu nhiên cỡ vừa sẽ có rất ít ca dương tính — không đủ để ước lượng độ nhạy.
Giải pháp: lấy mẫu phân tầng. Lấy toàn bộ hoặc phần lớn ca dương tính trong một khoảng thời gian, cộng với một mẫu ngẫu nhiên các ca âm tính.
Khi phân tích, phải hiệu chỉnh lại theo tỷ lệ thật để tính giá trị tiên đoán dương cho đúng.
Đảm bảo đa dạng
Mẫu nên bao gồm:
- Đủ các nhóm tuổi và giới.
- Dữ liệu từ tất cả các thiết bị đang dùng.
- Cả ca chất lượng dữ liệu kém.
- Cả ca không điển hình.
- Dữ liệu từ các khoảng thời gian khác nhau.
Mục thứ ba quan trọng: các ca này thường bị loại khỏi nghiên cứu của nhà sản xuất, nhưng chúng có thật trong thực hành.
Bước 3: tiêu chuẩn tham chiếu
Đây là phần tốn công nhất và quyết định chất lượng toàn bộ việc kiểm định.
Thứ tự ưu tiên
- Kết quả giải phẫu bệnh — khách quan nhất khi có.
- Kết quả theo dõi — diễn biến sau đó xác nhận hoặc bác bỏ.
- Chẩn đoán xác định bằng phương pháp khác.
- Đồng thuận đọc của nhiều bác sĩ.
Nếu dùng mức bốn, cần nêu rõ: khi đó đang đo so với ý kiến người đọc, không phải so với sự thật bệnh học.
Quy trình tạo tiêu chuẩn
- Người tạo tiêu chuẩn không biết kết quả của mô hình.
- Nếu dùng đồng thuận, có ít nhất hai người đọc độc lập.
- Có quy trình giải quyết khi hai người không đồng ý.
- Ghi lại mức đồng thuận giữa những người đọc — đây là thông tin có giá trị tự thân.
Mục cuối đáng chú ý: nếu hai bác sĩ chỉ đồng ý với nhau ở mức vừa phải, thì không nên kỳ vọng mô hình đạt mức cao hơn — vì chính tiêu chuẩn đã không chắc chắn.
Bước 4: chạy và phân tích
- Chạy mô hình trên toàn bộ mẫu, ghi lại kết quả thô.
- Ghi phiên bản phần mềm và ngày chạy.
- Đối chiếu với tiêu chuẩn tham chiếu.
- Tính các chỉ số kèm khoảng tin cậy.
- Phân tích theo từng nhóm.
- Xem xét riêng các ca mô hình sai — có mẫu hình chung không?
Bước cuối thường cho nhiều thông tin nhất. Nếu các ca sai tập trung ở một loại nhất định, đó là hạn chế cụ thể cần biết và thông báo cho người dùng.
Bước 5: diễn giải
So với số liệu nhà sản xuất
Nếu thấp hơn đáng kể, tìm nguyên nhân: quần thể khác? Thiết bị khác? Tiêu chuẩn tham chiếu khác? Cách chọn mẫu khác?
Tính ý nghĩa vận hành
Từ tỷ lệ dương tính, tính ra số cảnh báo mỗi ngày với khối lượng ca thực tế.
Nhân với thời gian xử lý mỗi cảnh báo để ra nguồn lực cần.
Xác định ngưỡng phù hợp
Dựa trên dữ liệu tại chỗ và trên nguồn lực đáp ứng có được, chọn ngưỡng vận hành — có thể khác với ngưỡng mặc định của nhà sản xuất.
Bước 6: lưu lại làm chuẩn
Bộ dữ liệu kiểm định này có giá trị lâu dài. Giữ lại để:
- Đối chiếu sau mỗi lần cập nhật phần mềm.
- So sánh giữa các sản phẩm khác nhau.
- Làm chuẩn cho việc giám sát định kỳ.
Cần có quy trình bảo mật phù hợp và quyết định rõ về thời hạn lưu.
Chi phí và giá trị
Việc này tốn công — chủ yếu ở khâu tạo tiêu chuẩn tham chiếu.
Nhưng so với chi phí triển khai một sản phẩm không phù hợp, hoặc chi phí của một sự cố, đây là khoản đầu tư hợp lý.
Và kết quả có giá trị vượt ra ngoài quyết định mua: nó tạo ra năng lực đánh giá cho cơ sở, dùng được cho mọi sản phẩm sau này.
Câu hỏi thường gặp
Vì sao cần tự kiểm định thay vì tin số liệu của nhà sản xuất?
Vì hiệu năng phụ thuộc vào quần thể, thiết bị và quy trình của từng nơi. Con số đo ở cơ sở khác không nhất thiết đúng với cơ sở mình, và sự chênh lệch này thường chỉ lộ ra khi đo tại chỗ.
Bộ dữ liệu kiểm định cần bao nhiêu ca?
Tuỳ mức độ chính xác mong muốn và tỷ lệ bệnh trong quần thể, nhưng nguyên tắc là cần đủ ca dương tính để ước lượng độ nhạy có ý nghĩa. Với bệnh hiếm, thường phải lấy mẫu phân tầng để có đủ ca dương.
Tiêu chuẩn tham chiếu nên là gì?
Ưu tiên tiêu chuẩn khách quan nhất có được: kết quả giải phẫu bệnh, kết quả theo dõi, hoặc chẩn đoán xác định sau đó. Nếu phải dùng đồng thuận đọc của các bác sĩ thì cần nêu rõ, vì khi đó đang đo so với ý kiến người đọc chứ không so với sự thật.
Nên làm việc này khi nào?
Trước khi quyết định mua nếu nhà cung cấp cho phép chạy thử, hoặc trong giai đoạn chạy song song im lặng sau khi triển khai. Ngoài ra nên lặp lại định kỳ như một phần của giám sát sau triển khai.