Microsoft mengungguli symantec dalam pengujian antivirus

Dalam pengujian berdasarkan permintaan terbaru dari AV-Comparatives, beberapa produk kehilangan poin karena kesalahan positif - salah mengidentifikasi program yang valid sebagai malware. Symantec dan Microsoft mencetak angka yang hampir sama berdasarkan pendeteksian sampel malware, tetapi Symantec kehilangan poin karena false positive. Namun, ada lebih banyak cerita dari itu.

Pemindaian Berdasarkan Permintaan

Tes pemindaian saat diminta memperlihatkan setiap produk yang diuji ke koleksi "sampel dari minggu / bulan terakhir yang sedang / sedang memukul pengguna di lapangan." Sampel dianalisis lebih lanjut untuk mengklasifikasikan file yang sama dan mengurangi ukuran set sampel, sehingga "setiap miss dimaksudkan untuk mewakili satu grup yang terlewatkan." Tes khusus ini menggunakan 136.610 sampel terbaru. Skor awal suatu produk adalah persentase sampel yang terdeteksi.

Anehnya, Norton AntiVirus dari Symantec menunjukkan tingkat deteksi terendah (sebelum mempertimbangkan positif palsu), dengan deteksi 91, 2 persen. Microsoft Security Essentials naik tipis, mendeteksi 92 persen sampel. Dengan deteksi 99, 9 persen, G Data AntiVirus menduduki puncak daftar. Beberapa lainnya berhasil lebih baik dari 99 persen.

Positif Salah

Peneliti AV-Comparatives menggunakan teknik pengelompokan untuk mengidentifikasi titik cutoff yang memisahkan ADVANCED + (peringkat teratas) dari ADVANCED dan ADVANCED dari STANDARD. Itulah titik awalnya, tetapi produk dengan banyak (16 hingga 50) false positive akan kehilangan satu tingkat peringkat, dan satu dengan sangat banyak (51 hingga 100) akan kehilangan dua. Tidak peduli berapa peringkat awalnya, jika suatu produk menampilkan "false many" (lebih dari 100) false positive, ia akan selalu menerima peringkat non-pass dari TESTED.

Sembilan dari dua puluh produk yang diuji kehilangan satu tingkat peringkat karena banyak kesalahan positif. Setidaknya tidak satu pun dari mereka memiliki sangat banyak atau "gila banyak" FP. Norton, mulai dengan peringkat STANDARD, tenggelam ke TESTED, seperti yang dilakukan AhnLab. Di lingkaran pemenang, dengan peringkat ADVANCED +, kami menemukan Avira, Bitdefender, BullGuard, F-Secure, dan Kaspersky. Klik di sini untuk melihat laporan lengkapnya.

Perhatikan bahwa Anda tidak akan menemukan Microsoft terdaftar di bagian penghargaan. Saya pikir pada awalnya ini merupakan kekeliruan, tetapi pendiri AV-Comparatives Peter Stelzhammer meluruskan saya. "Kami memutuskan untuk tidak mendaftarkan Microsoft di Bagian Penghargaan lagi (dan dalam tes lebih lanjut), " jelas Stelzhammer, "karena perlindungan out-of-box mereka diaktifkan di Windows per default." Dengan cara yang sama, AV-Test telah memilih untuk memperlakukan skor Microsoft sebagai nilai dasar minimum.

Positif Palsu Tertimbang

Symantec selama bertahun-tahun merasa puas bahwa penghitungan positif palsu yang sederhana tidak berguna. Peneliti Symantec merekomendasikan bahwa setiap tes positif palsu termasuk pembobotan berdasarkan prevalensi file yang terlibat. Mereka berpendapat bahwa sistem analisis Norton Insight mereka menghalangi kemungkinan false positive pada file apa pun kecuali file dengan prevalensi rendah. Dokumen sekunder dari AV-Comparatives menyarankan mereka mungkin benar.

Lampiran False Positive pada laporan atas permintaan mencantumkan setiap file yang setiap produk keliru terdeteksi sebagai malware, bersama dengan nama malware yang digunakan dan perkiraan prevalensi. Mereka mengidentifikasi lima level, dari "mungkin kurang dari seratus pengguna" hingga "mungkin beberapa ratus ribu (atau jutaan)."

Untuk melihat, saya memilih jumlah pengguna yang representatif di setiap level, 50 pengguna untuk level pertama dan sepuluh kali lebih besar untuk setiap level yang lebih tinggi, dengan 500.000 pengguna dari program yang paling umum. Saya kemudian menghitung jumlah pengguna yang mungkin dipengaruhi oleh positif palsu masing-masing produk. Hasilnya, yang ditunjukkan pada bagan di bawah ini, menunjukkan kepada saya bahwa AV-Comparatives harus mempertimbangkan untuk menggunakan perhitungan FP tertimbang yang serupa.

Dalam bagan ini, produk yang kehilangan tingkat peringkat karena false positive ditampilkan dalam huruf miring tebal. Perhitungan tertimbang saya memiliki Norton FP yang berpotensi memengaruhi 13.750 pengguna. Beberapa produk yang tidak terpengaruh berdasarkan jumlah FP sebenarnya memiliki efek yang lebih besar daripada Symantec, termasuk pemenang Kaspersky dan F-Secure.

Secara keseluruhan, Emsisoft memiliki jumlah positif palsu terbesar, 38 di antaranya. Mengerikan, bukan? Tetapi tidak satu pun dari dua tingkat prevalensi tertinggi, sehingga efek teoretisnya kurang dari Sophos, dengan total 6 FP, atau ESET, dengan 9 FP.

McAfee mendapatkan peringkat ADVANCED dalam tes berdasarkan permintaan dasar. Dengan 15 false positive, jumlah itu hanya sedikit yang akan menyebabkannya kehilangan tingkat peringkat. Namun perhitungan tertimbang saya berpotensi bertanggung jawab untuk mempengaruhi lebih dari dua ratus ribu pengguna, hampir 16 kali lebih banyak dari Norton.

Ini bukan angka dunia nyata, hanya eksperimen pikiran untuk membantu memahami apa arti menggunakan prevalensi dalam mengukur positif palsu. Setelah melalui latihan ini, saya berharap AV-Comparatives akan menemukan cara untuk memasukkan prevalensi ke dalam tes positif palsu mereka. Hanya menghitung jumlahnya jelas tidak cukup.