Số lượng công bố về AI trong chẩn đoán hình ảnh tăng rất nhanh, và phần lớn đều báo cáo kết quả ấn tượng. Vấn đề là con số ấn tượng nhất thường không phải con số quan trọng nhất.
AUC: hữu ích nhưng không đủ
Diện tích dưới đường cong ROC là chỉ số được báo cáo nhiều nhất. Nó tổng hợp hiệu năng phân biệt trên toàn bộ dải ngưỡng.
Giới hạn: lâm sàng không chạy trên toàn bộ dải ngưỡng. Nó chạy ở một ngưỡng cụ thể, được chọn để cân bằng giữa bỏ sót và báo động giả.
Nên câu hỏi đầu tiên khi đọc là: ngưỡng vận hành được đề xuất là bao nhiêu, và tại ngưỡng đó độ nhạy và độ đặc hiệu là bao nhiêu?
Nhiều bài báo nêu AUC rất cao mà không nói rõ ngưỡng, khiến không đánh giá được hành vi thực tế của mô hình.
Giá trị tiên đoán dương và tỷ lệ hiện mắc
Đây là chỗ mà nhiều kết quả nghe tốt trở nên có vấn đề khi áp dụng.
Độ nhạy và độ đặc hiệu là thuộc tính tương đối ổn định của mô hình. Giá trị tiên đoán dương thì không — nó phụ thuộc mạnh vào tỷ lệ hiện mắc trong quần thể được áp dụng.
Hệ quả cụ thể:
- Một mô hình được phát triển trên tập dữ liệu có tỷ lệ bệnh cao — thường gặp vì người ta làm giàu mẫu dương tính để huấn luyện — sẽ trông rất tốt trên chính tập đó.
- Khi triển khai vào quần thể sàng lọc với tỷ lệ hiện mắc thấp hơn nhiều, giá trị tiên đoán dương tụt xuống, và tỷ lệ báo động giả trên tổng số ca tăng lên rõ rệt.
Câu hỏi cần đặt: tỷ lệ hiện mắc trong tập kiểm định là bao nhiêu, và nó có gần với quần thể mà mô hình sẽ phục vụ không?
Kiểm định trong và kiểm định ngoài
Một tỷ lệ đáng kể các công bố chỉ báo cáo kiểm định trong — chia tập dữ liệu từ cùng một nguồn.
Vấn đề đã được ghi nhận nhiều lần: mô hình có thể học các đặc trưng riêng của cơ sở đó thay vì học dấu hiệu bệnh lý.
Các trường hợp đã được mô tả trong y văn:
- Mô hình học nhận diện đặc trưng của máy chụp di động, vốn tương quan với bệnh nhân nặng nằm tại giường.
- Mô hình bắt các ký hiệu đánh dấu do kỹ thuật viên đặt trên phim.
- Mô hình nhận ra dấu vết của thiết bị theo dõi trên phim của bệnh nhân đang điều trị tích cực.
Trong tập nội bộ, những đặc trưng này cho hiệu năng cao. Ở cơ sở khác, chúng mất tương quan.
Yêu cầu tối thiểu để đánh giá nghiêm túc: kiểm định ngoài trên dữ liệu từ ít nhất một cơ sở độc lập, tốt hơn là nhiều cơ sở và nhiều loại thiết bị.
So với ai
Phần lớn bài báo so mô hình với bác sĩ. Cần đọc kỹ điều kiện so sánh.
- Bao nhiêu bác sĩ tham gia? So với ba người khác hẳn so với ba mươi người.
- Thâm niên và chuyên ngành? Bác sĩ chuyên sâu về đúng lĩnh vực đó hay bác sĩ chẩn đoán hình ảnh tổng quát?
- Điều kiện đọc? Đọc trên màn hình chuyên dụng hay trên tệp hình ảnh nén?
- Có thông tin lâm sàng không? Đây là điểm quan trọng nhất.
Trong thực hành, bác sĩ đọc phim với bệnh sử, chỉ định, kết quả xét nghiệm và phim cũ để so sánh. Một thiết kế nghiên cứu bắt họ đọc phim đơn độc không có bối cảnh sẽ hạ thấp hiệu năng của họ một cách không phản ánh thực tế.
Thiết kế hồi cứu và tiến cứu
Đa số công bố hiện nay là hồi cứu trên dữ liệu đã lưu trữ. Đây là bước cần thiết nhưng có giới hạn rõ:
- Dữ liệu đã được lọc — các ca ảnh hỏng, ca không đủ tiêu chuẩn thường bị loại.
- Không phản ánh luồng làm việc thật.
- Không đo được tác động tới quyết định lâm sàng.
Nghiên cứu tiến cứu, triển khai trong luồng thật, hiếm hơn nhiều và có giá trị cao hơn hẳn. Khi có, nó thường cho con số thấp hơn nghiên cứu hồi cứu tương ứng — và đó là con số đáng tin hơn.
Kết cục nào được đo
Thứ tự giá trị bằng chứng:
- Độ chính xác chẩn đoán — mức thấp nhất, dễ đạt nhất.
- Thay đổi quyết định lâm sàng — bác sĩ có làm gì khác đi không.
- Thay đổi quy trình — thời gian tới chẩn đoán, thời gian tới can thiệp.
- Kết cục người bệnh — mức cao nhất, hiếm nhất.
Phần lớn công bố dừng ở mức một. Điều này không sai nhưng cần được đọc đúng: nó chưa nói gì về lợi ích lâm sàng.
Danh sách kiểm nhanh
- ☐ Có kiểm định ngoài không, bao nhiêu cơ sở?
- ☐ Tỷ lệ hiện mắc trong tập kiểm định là bao nhiêu?
- ☐ Ngưỡng vận hành và cặp độ nhạy - độ đặc hiệu tại ngưỡng đó?
- ☐ Giá trị tiên đoán dương ở quần thể đích?
- ☐ Nhóm đối chứng người đọc gồm bao nhiêu người, điều kiện nào?
- ☐ Hồi cứu hay tiến cứu?
- ☐ Tiêu chuẩn tham chiếu là gì — giải phẫu bệnh, theo dõi, hay đồng thuận đọc phim?
- ☐ Tiêu chí loại trừ ca nào?
- ☐ Nguồn tài trợ và xung đột lợi ích?
Mục về tiêu chuẩn tham chiếu đáng chú ý: nếu nhãn được tạo bằng đồng thuận của các bác sĩ đọc phim, thì mô hình đang được đo so với ý kiến người đọc, không phải so với sự thật bệnh học.
Một lưu ý về báo cáo
Có các hướng dẫn báo cáo dành riêng cho nghiên cứu về can thiệp dựa trên trí tuệ nhân tạo, mở rộng từ các hướng dẫn báo cáo thử nghiệm lâm sàng sẵn có.
Một bài báo tuân theo hướng dẫn này sẽ nêu đủ các mục ở trên. Một bài không tuân theo thì thường thiếu chính những mục quan trọng nhất — và sự thiếu đó tự nó là một thông tin.
Câu hỏi thường gặp
Vì sao AUC cao chưa đủ để kết luận mô hình tốt?
Vì AUC tổng hợp hiệu năng trên mọi ngưỡng, trong khi lâm sàng chỉ dùng một ngưỡng cụ thể. Một mô hình có AUC rất cao vẫn có thể cho giá trị tiên đoán dương thấp ở ngưỡng vận hành thực tế, nhất là khi bệnh hiếm.
Giá trị tiên đoán dương phụ thuộc vào gì?
Vào tỷ lệ hiện mắc trong quần thể áp dụng. Cùng một mô hình với cùng độ nhạy và độ đặc hiệu sẽ cho giá trị tiên đoán dương rất khác nhau giữa quần thể sàng lọc và quần thể có triệu chứng.
Kiểm định ngoài khác kiểm định trong thế nào?
Kiểm định trong dùng phần dữ liệu tách ra từ cùng nguồn huấn luyện, nên không phát hiện được việc mô hình học các đặc trưng riêng của cơ sở đó. Kiểm định ngoài dùng dữ liệu từ cơ sở khác, và đây mới là phép thử về khả năng khái quát.
Nên tìm thông tin gì về nhóm đối chứng người đọc?
Số lượng bác sĩ tham gia, thâm niên và chuyên ngành của họ, điều kiện đọc phim, và họ có được cung cấp thông tin lâm sàng như trong thực tế không. So sánh với bác sĩ đọc trong điều kiện thiếu bối cảnh sẽ có lợi cho mô hình một cách không công bằng.