Banyak suite keamanan meningkatkan perlindungan dalam uji dunia nyata

Para peneliti di AV-Comparatives yang berbasis di Innsbruck bekerja tanpa lelah untuk menguji kekuatan perlindungan suite keamanan dengan cara yang sedekat mungkin dengan pengalaman pengguna dunia nyata. Setiap hari mereka menerima hampir dua puluh suite untuk serangan malware yang sebenarnya, menggunakan sistem otomatis untuk merekam seberapa baik produk ini bertahan dalam pengujian. Selama enam bulan terakhir mereka telah melewati lebih dari 3.000 kasus uji. Hasil setengah tahun sudah masuk, dan sejumlah produk yang mengesankan telah meningkat sejak laporan terakhir tersebut.

Pentingnya Ukuran Sampel

Secara intuitif jelas bahwa tes seperti ini akan mendapatkan hasil yang lebih akurat dengan sampel yang lebih besar, tetapi kali ini AV-Comparatives telah dengan jelas menjelaskan konsekuensi dari sampel yang terlalu kecil. Sebuah laporan terpisah yang sederhana menjabarkan statistik, dan mereka sedikit mengejutkan.

Misalkan produk tertentu terdeteksi 80 persen dari 10.000 sampel malware. Sekarang anggaplah Anda memilih hanya sepuluh sampel secara acak dari koleksi yang sama. Dengan menggunakan bagan dari semua hasil yang mungkin, laporan menunjukkan bahwa mencapai tingkat deteksi yang sama, tingkat deteksi yang lebih tinggi, atau tingkat deteksi yang lebih rendah semuanya hampir sama kemungkinannya. Ya, mengurangi hingga sepuluh sampel adalah kasus yang ekstrem, tapi itu pasti benar.

Metode Pengujian

Menggunakan metode pencarian otomatis dan manual, tim peneliti mengumpulkan URL jahat dunia nyata setiap hari. Mereka secara khusus memilih campuran tautan langsung ke file malware dan situs unduhan drive-by. Melalui sampel hari itu satu per satu, mereka mengekspos semua produk ke URL tertentu secara bersamaan dan melihat bagaimana setiap produk bereaksi. Jika ada komponen suite yang menangkal malware, itu berhasil. Jika malware lolos dan mengatur pembersihan, itu gagal.

Terkadang suite akan muncul dengan pemberitahuan bahwa itu menemukan sesuatu , menanyakan pengguna apakah akan memblokir atau mengizinkannya. Untuk tujuan pengujian, analis AV-Comparatives selalu memilih untuk mengizinkan tindakan. Produk yang berhasil mempertahankan sistem meskipun tindakan ini mendapat kredit penuh; produk yang memungkinkan sistem dikompromikan karena pilihan yang salah oleh pengguna mendapat setengah kredit.

Setelah kasus uji tertentu selesai, semua sistem uji akan dicitrakan kembali ke kondisi pra-malware, siap untuk uji kasus berikutnya.

Positif Salah

Hasil positif palsu terjadi ketika perangkat lunak keamanan keliru memblokir akses ke file atau situs web yang sah. Jelas Anda tidak ingin suite keamanan Anda menghapus file yang valid atau menjauhkan Anda dari situs web yang tidak berbahaya. AV-Comparatives menguji setiap produk dengan sekitar seribu domain yang dipilih secara acak, dan sekitar seratus program baru dan populer. Untuk tujuan pengujian, mereka mengunduh setiap program dari situs pengembang, bukan dari portal unduhan.

Laporan tersebut mencatat bahwa analisis keamanan berbasis statistik dan reputasi akan sering memblokir atau memperingatkan tentang program dan situs baru. Disebutkan, "Meskipun teknik perlindungan seperti itu… membantu menghasilkan skor tinggi… ini juga dapat menyebabkan deteksi / pemblokiran file dan URL tidak bersalah / bersih hanya karena mereka… terlalu baru." Norton, seorang pendukung kuat untuk jenis deteksi ini, tidak berpartisipasi dalam pengujian AV-Comparatives.

Banyak Perbaikan

Lebih dari setengah produk yang termasuk dalam laporan saat ini mendapat skor lebih baik daripada edisi sebelumnya dari laporan ini. Vipre, McAfee, dan Fortinet semuanya gagal untuk terakhir kalinya, bahkan tidak mendapatkan STANDAR, nilai kelulusan terendah. Kali ini Fortinet dan McAfee memberi peringkat ADVANCED dan Vipre berhasil mencapai STANDARD. Ketiganya mengalami penurunan peringkat karena false positive; berdasarkan hanya pada deteksi McAfee dan Fortinet akan diberi peringkat ADVANCED +, peringkat tertinggi.

eScan melompat dari STANDAR ke ADVANCED +, sementara avast!, ESET, dan Trend Micro pindah dari ADVANCED ke ADVANCED +. Beberapa orang lain yang sebelumnya diberi peringkat STANDAR mengelola peringkat MAJU kali ini.

Bitdefender secara teratur mendapatkan skor tertinggi di seluruh papan dalam tes laboratorium independen. Hanya berdasarkan deteksi malware itu akan diberi peringkat ADVANCED +, seperti yang terjadi terakhir kali, tetapi positif palsu menjatuhkannya ke ADVANCED. Hal yang sama terjadi pada F-Secure dan BullGuard.

Tes dinamis seluruh produk AV-Comparatives adalah salah satu tes paling padat karya yang pernah saya temui. Maka, tidak mengherankan bahwa lab mengandalkan dukungan dari Universitas Innsbruck dan dari pemerintah Austria. Ini banyak pekerjaan, tetapi hasil akhirnya adalah tes yang sangat mendekati seberapa baik suatu produk akan melindungi pengguna dunia nyata.