Phần lớn công bố về AI trong y tế đánh giá mô hình. Rất ít đánh giá can thiệp. Đây là hai câu hỏi khác nhau, và trộn lẫn chúng là nguồn gốc của nhiều kết luận vượt quá dữ liệu.
Hai câu hỏi khác nhau
| Đánh giá mô hình | Đánh giá can thiệp |
|---|---|
| Mô hình dự đoán đúng tới đâu? | Việc đưa mô hình vào quy trình thay đổi được gì? |
| Dữ liệu hồi cứu | Triển khai thật, tiến cứu |
| Đơn vị phân tích: bản ghi | Đơn vị phân tích: người bệnh, hoặc đơn vị chăm sóc |
| Kết cục: độ chính xác | Kết cục: lâm sàng hoặc quy trình |
| Không cần ai hành động | Phụ thuộc vào đường đáp ứng |
Một mô hình có thể rất chính xác mà can thiệp không tạo ra thay đổi nào — nếu cảnh báo không tới đúng người, hoặc nếu không có nguồn lực để đáp ứng, hoặc nếu hành động cần thiết không khả thi.
Các bậc thiết kế
Bậc 1: kiểm định hồi cứu nội bộ
Chia tập dữ liệu từ cùng nguồn. Cần thiết nhưng chỉ là bước đầu.
Bậc 2: kiểm định hồi cứu ngoài
Dữ liệu từ cơ sở khác. Đây mới là phép thử về khả năng khái quát.
Bậc 3: chạy song song im lặng
Mô hình chạy trên dữ liệu thật theo thời gian thực, nhưng kết quả không hiển thị cho ai.
Đây là bước rất có giá trị và hay bị bỏ qua. Nó cho biết:
- Hiệu năng thật trên luồng dữ liệu sản xuất, gồm cả các ca chất lượng kém mà nghiên cứu hồi cứu đã loại.
- Số cảnh báo thực tế mỗi ngày — dữ liệu cần để tính nguồn lực đáp ứng.
- Các vấn đề kỹ thuật trong tích hợp.
Chi phí thấp, rủi ro gần bằng không, và nó thường làm lộ ra những vấn đề mà không nghiên cứu hồi cứu nào phát hiện được.
Bậc 4: nghiên cứu trước sau
So sánh giai đoạn trước và sau khi triển khai.
Điểm yếu lớn: nhiều yếu tố khác cùng thay đổi theo thời gian — phác đồ, nhân sự, quy trình, đặc điểm người bệnh, và cả việc chính sự chú ý tới chủ đề đã thay đổi hành vi.
Cải thiện quan sát được có thể không do can thiệp.
Bậc 5: thử nghiệm ngẫu nhiên theo cụm
Phân ngẫu nhiên các khoa hoặc cơ sở vào nhóm có và không có can thiệp.
Phù hợp khi can thiệp tác động lên cả quy trình chứ không lên từng người bệnh riêng lẻ.
Bậc 6: thiết kế bậc thang
Mọi đơn vị đều được triển khai, nhưng thời điểm bắt đầu được phân ngẫu nhiên theo các bước.
Ưu điểm thực tế lớn: không có đơn vị nào bị từ chối can thiệp vĩnh viễn — điều thường là rào cản về mặt chấp nhận trong nội bộ.
Bậc 7: thử nghiệm ngẫu nhiên theo người bệnh
Mức cao nhất, nhưng thường không khả thi khi can thiệp là một thay đổi trong quy trình mà nhân viên áp dụng cho mọi ca.
Chọn kết cục
Đây là quyết định quan trọng nhất của thiết kế.
Kết cục lâm sàng
Tỷ lệ tử vong, biến chứng, tái nhập viện, thời gian nằm viện.
Giá trị cao nhất nhưng cần cỡ mẫu lớn và thời gian theo dõi dài.
Kết cục quy trình
Thời gian tới chẩn đoán, thời gian tới can thiệp, tỷ lệ tuân thủ hướng dẫn.
Dễ đo hơn, và hợp lý nếu mối liên hệ giữa kết cục này và lợi ích lâm sàng đã được thiết lập từ trước.
Kết cục trung gian
Số cảnh báo, tỷ lệ chấp nhận gợi ý.
Hữu ích để hiểu cơ chế, nhưng không được dùng để kết luận về lợi ích lâm sàng.
Các nguồn nhiễu đặc thù
Hiệu ứng do được quan sát
Nhân viên biết đang có nghiên cứu sẽ làm việc khác đi. Khó tránh hoàn toàn với can thiệp loại này.
Lan toả giữa các nhóm
Trong thiết kế theo cụm, nhân viên luân chuyển giữa các khoa mang theo thói quen mới sang nhóm đối chứng.
Đường học nghề
Hiệu quả trong tháng đầu khác với sau sáu tháng, khi người dùng đã quen. Cần phân tích theo giai đoạn.
Thay đổi hành vi ngoài chủ đích
Can thiệp có thể thay đổi những thứ không dự kiến — ví dụ tăng chỉ định xét nghiệm ở nhóm không được cảnh báo, do nhân viên tự bù trừ.
Những gì cần báo cáo
Có các hướng dẫn báo cáo dành riêng cho nghiên cứu về can thiệp dựa trên trí tuệ nhân tạo. Các mục thường được yêu cầu:
- Mô tả đầy đủ mô hình: kiến trúc, dữ liệu huấn luyện, phiên bản.
- Cách kết quả được trình bày cho người dùng.
- Quy trình khi có kết quả — ai làm gì.
- Xử lý các trường hợp hệ thống không đưa ra được kết quả.
- Mức độ người dùng tuân theo gợi ý.
- Thay đổi của mô hình hoặc hệ thống trong thời gian nghiên cứu.
Mục cuối đáng chú ý: nếu mô hình được cập nhật giữa chừng, nghiên cứu đang đánh giá nhiều can thiệp khác nhau gộp lại.
Một câu hỏi tự kiểm
Trước khi thiết kế, đáng trả lời: nếu kết quả cho thấy can thiệp không hiệu quả, ta có biết vì sao không?
Một thiết kế tốt phân biệt được ba khả năng:
- Mô hình dự đoán kém.
- Mô hình tốt nhưng cảnh báo không tới được người cần.
- Cảnh báo tới nơi nhưng không có hành động khả thi.
Thiết kế không phân biệt được ba khả năng này sẽ cho một kết luận "không hiệu quả" mà không ai biết phải sửa ở đâu.
Câu hỏi thường gặp
Đánh giá mô hình khác đánh giá can thiệp thế nào?
Đánh giá mô hình đo khả năng dự đoán trên dữ liệu; đánh giá can thiệp đo tác động khi mô hình được đưa vào quy trình thật và có người hành động theo. Một mô hình chính xác vẫn có thể không tạo ra thay đổi nào nếu đường đáp ứng phía sau không hoạt động.
Thiết kế nào phù hợp cho can thiệp áp dụng toàn đơn vị?
Thử nghiệm ngẫu nhiên theo cụm hoặc thiết kế bậc thang, trong đó các khoa hoặc cơ sở được phân ngẫu nhiên vào các thời điểm triển khai khác nhau. Cách này khả thi hơn ngẫu nhiên theo từng người bệnh khi can thiệp tác động lên cả quy trình.
Vì sao đối chứng lịch sử dễ gây hiểu nhầm?
Vì nhiều yếu tố khác cùng thay đổi theo thời gian: phác đồ, nhân sự, quy trình, đặc điểm người bệnh. Cải thiện quan sát được sau khi triển khai có thể do những yếu tố này chứ không do can thiệp.
Nên chọn kết cục nào?
Ưu tiên kết cục lâm sàng hoặc kết cục quy trình có liên hệ nhân quả rõ với can thiệp. Nếu phải dùng kết cục trung gian thì cần nêu rõ giới hạn và không kết luận về lợi ích lâm sàng từ đó.