Veri Kalitesi Denetimi ve Raporlama Aracı

Temizleme betikleri çıktıları derli toplu göründüğü için güvenilir sayılır. Boş hücre yok, kopya yok, ayrıştırılamamış tarih yok; iş bitmiş kabul edilir.

Oysa yanlış onarılmış bir hücre iyi biçimlidir, aralıktadır ve komşularıyla tutarlıdır. Çıktıya bakarak bir temizleyicinin hata oranı ölçülemez.

Kusurları bilinen sentetik bir dosya üretiliyor: 2.400 kişi, 14 kolon, satırların %22'sine enjekte edilmiş 15 tür kusur. Aynı kirli dosya iki temizleyiciye gidiyor: buradaki kural motoru ve pandas'ta yirmi satırda yazılmış yetkin, sıradan bir temizleyici. İkisi de yer gerçeğine karşı puanlanıyor.

Mimarinin tamamı tek bir çizgide: her kural bir güven döndürüyor ve 0,85 altındaki öneri uygulanmıyor, satır insana gidiyor.

Hücre doğruluğu 0,9958'e karşı 0,9893; ama asıl sayı şu: sessizce yanlış kalan hücre 10'a karşı 361. Naif temizleyicinin çıktısı daha temiz görünüyor (boş hücre yok, inceleme kuyruğu yok) ve 36 kat fazla hatayı sessizce geçiriyor.

Kararın değişip değişmediği de ölçüldü. Nüfusa kuruluşu gereği %4,1'lik bir ücret farkı yerleştirildi: temiz nüfusta %3,85, kural motorunda %3,86, naif temizleyicide %3,37. Naif temizleyici, farkı kapatmanın maliyetini 366 bin birim düşük gösteriyor.

Ölçüm aracın kendisinde üç kusur buldu, üçü de çıktıya bakarak görülemezdi: 61 doğru maaş 12 ile çarpılmış, 28 zorunlu alan sessizce boş, 8 bozuk e-posta adresi günlüğe bile düşmemiş. 134 test.