Sau khi triển khai, câu hỏi cần trả lời liên tục: hệ thống này đang tạo giá trị hay chỉ đang chạy?
Câu trả lời không tự hiện ra. Nó cần được đo.
Nguyên tắc chọn chỉ số
- Ít mà được xem hơn nhiều mà không ai nhìn.
- Đo được tự động — chỉ số cần thu thập thủ công sẽ ngừng được cập nhật.
- Có ngưỡng định trước để biết khi nào cần hành động.
- Có cả chỉ số cân bằng để phát hiện đánh đổi không mong muốn.
- Có người chịu trách nhiệm cho từng chỉ số.
Nhóm 1: kỹ thuật
- Tỷ lệ thời gian hệ thống hoạt động.
- Thời gian xử lý trung bình và phân vị cao.
- Tỷ lệ ca không xử lý được, kèm lý do.
- Số lỗi kỹ thuật.
Nhóm này dễ đo nhất và thường đã có sẵn. Chỉ số về tỷ lệ không xử lý được đáng chú ý: nếu nó tăng, có thể có thay đổi trong dữ liệu đầu vào.
Nhóm 2: sử dụng
- Tỷ lệ người dùng thực tế so với số được cấp quyền.
- Số lượt sử dụng theo thời gian.
- Tỷ lệ ca đủ điều kiện mà hệ thống thực sự được dùng.
- Phân bố sử dụng theo khoa và theo ca trực.
Chỉ số thứ hai theo thời gian là cảnh báo sớm quan trọng nhất: xu hướng giảm dần cho biết hệ thống đang mất chỗ đứng trước khi điều đó hiện ra ở nơi khác.
Nhóm 3: tương tác
- Tỷ lệ chấp nhận gợi ý, tách theo loại.
- Tỷ lệ bỏ qua, kèm lý do nếu có thu thập.
- Thời gian từ khi hiển thị tới khi có phản hồi.
- Số cảnh báo mỗi người dùng mỗi ca trực.
Chỉ số cuối là chỉ số về gánh nặng: nếu nó vượt một ngưỡng, hiện tượng mệt mỏi vì cảnh báo gần như chắc chắn xuất hiện.
Nhóm 4: hiệu năng
- Độ nhạy và độ đặc hiệu trên mẫu đối chiếu định kỳ.
- Giá trị tiên đoán dương trong điều kiện thực tế.
- Hiệu năng tách theo nhóm người bệnh.
- So sánh với mức lúc triển khai.
Nhóm này tốn công nhất vì cần tiêu chuẩn tham chiếu. Cách thực tế: lấy mẫu định kỳ thay vì đối chiếu toàn bộ.
Nhóm 5: quy trình
Các chỉ số phản ánh điều hệ thống được kỳ vọng cải thiện:
- Thời gian tới chẩn đoán.
- Thời gian tới can thiệp.
- Tỷ lệ tuân thủ hướng dẫn.
- Thời gian nằm viện.
Cần so với giai đoạn trước triển khai, và cần cẩn thận với các yếu tố khác cùng thay đổi trong thời gian đó.
Nhóm 6: kết cục lâm sàng
- Tỷ lệ biến cố mà hệ thống nhằm giảm.
- Tỷ lệ biến chứng liên quan.
- Tỷ lệ tái nhập viện.
Nhóm quan trọng nhất nhưng khó quy kết nhất. Cần thời gian theo dõi dài và cỡ mẫu lớn.
Không nên kỳ vọng thấy thay đổi rõ trong vài tháng đầu.
Nhóm 7: gánh nặng tạo ra
Đây là nhóm hay bị bỏ qua nhất, và nó là vế còn lại của bài toán hiệu quả.
- Thời gian người dùng bỏ ra cho hệ thống.
- Số cảnh báo phải xử lý mỗi ngày.
- Xét nghiệm hoặc can thiệp phát sinh từ dương tính giả.
- Nhân lực dành cho vận hành và giám sát.
Nếu không đo nhóm này, bức tranh về hiệu quả bị thiếu một nửa — và quyết định tiếp tục đầu tư dựa trên thông tin không đầy đủ.
Chỉ số cân bằng
Với mỗi chỉ số chính, cần một chỉ số cân bằng để phát hiện đánh đổi:
| Chỉ số chính | Chỉ số cân bằng |
|---|---|
| Giảm thời gian đọc phim | Tỷ lệ bỏ sót |
| Tăng số ca xử lý | Chỉ số chất lượng, thời gian tư vấn |
| Giảm ngày nằm viện | Tỷ lệ tái nhập viện |
| Tăng tỷ lệ phát hiện | Tỷ lệ can thiệp không cần thiết |
| Ưu tiên nhóm ca đích | Thời gian chờ của nhóm còn lại |
Không có chỉ số cân bằng, rất dễ báo cáo thành công trong khi đã đẩy vấn đề sang chỗ khác.
Ai xem và xem khi nào
- Người chịu trách nhiệm kỹ thuật — nhóm 1 và 2, thường xuyên.
- Người chịu trách nhiệm lâm sàng — nhóm 3 tới 7, định kỳ.
- Hội đồng — báo cáo tổng hợp theo chu kỳ.
- Các khoa sử dụng — chỉ số của chính khoa mình.
Mục cuối quan trọng: việc chia sẻ ngược lại cho người dùng vừa tạo động lực duy trì chất lượng dữ liệu, vừa giúp họ thấy công sức của mình có ý nghĩa.
Ngưỡng và hành động
Mỗi chỉ số quan trọng nên có ngưỡng định trước và hành động tương ứng — từ ghi nhận theo dõi, tới điều tra, tới can thiệp, tới tạm dừng.
Định ngưỡng trước là điểm then chốt: định sau khi thấy số liệu thì quyết định dễ bị ảnh hưởng bởi mong muốn tiếp tục.
Một câu hỏi định kỳ
Nếu tắt hệ thống này, chúng ta có đo được sự khác biệt không?
Nếu không có chỉ số nào cho thấy sự khác biệt, thì hoặc là hệ thống không tạo ra giá trị, hoặc là bộ chỉ số đang đo sai thứ.
Cả hai khả năng đều đáng tìm hiểu.
Câu hỏi thường gặp
Nên theo dõi bao nhiêu chỉ số?
Ít mà được xem thường xuyên tốt hơn nhiều mà không ai nhìn. Một bộ khoảng năm tới mười chỉ số được rà đều đặn có giá trị hơn một bảng ba mươi chỉ số chỉ mở ra khi có sự cố.
Nhóm chỉ số nào hay bị bỏ qua nhất?
Nhóm về gánh nặng tạo ra: thời gian người dùng bỏ ra, số cảnh báo phải xử lý, và các hệ quả phát sinh như xét nghiệm thêm. Đây là phần chi phí thật mà nếu không đo thì bức tranh về hiệu quả bị thiếu một vế.
Vì sao cần cả chỉ số cân bằng?
Vì tối ưu một chỉ số có thể làm xấu chỉ số khác. Ví dụ giảm thời gian đọc phim có thể đi kèm tăng tỷ lệ bỏ sót. Chỉ số cân bằng giúp phát hiện những đánh đổi không mong muốn.
Ai nên xem các chỉ số này?
Người chịu trách nhiệm lâm sàng và kỹ thuật xem thường xuyên, hội đồng xem theo chu kỳ, và chính các khoa sử dụng nên thấy được chỉ số của khoa mình. Việc chia sẻ ngược lại cho người dùng tạo động lực duy trì chất lượng dữ liệu.