Microsoft membantah kegagalan tes antivirus

Bekerja di Pusat Perlindungan Malware Microsoft harus tangguh. Di sini perusahaan Anda adalah salah satu yang terbesar di dunia, namun sedikit laboratorium pengujian antivirus di Jerman mengatakan perangkat lunak antivirus Anda tidak memotong mustard. Tidak hanya sekali tetapi dua kali dalam beberapa bulan terakhir, Microsoft gagal menerima sertifikasi dari AV-Test.

Joe Blackbird, Manajer Program di Pusat, menjelaskan dalam sebuah posting blog bahwa gagal dalam tes ini tidak berarti pengguna Microsoft tidak dilindungi.

Transparansi dalam Pengujian

Sesuai dengan prinsip-prinsip AMTSO, AV-Test tidak merahasiakan metodologi yang digunakan dalam melakukan tes sertifikasi yang sedang berlangsung. Itu berarti Blackbird dapat memeriksa dan memverifikasi dengan tepat mengapa Microsoft Security Essentials tidak lulus.

Tes ini memberikan bobot yang sama untuk tiga elemen keamanan: perlindungan (menjaga malware baru dari infesting sistem yang bersih), perbaikan (memberantas malware yang sudah ada), dan kegunaan (melakukan pekerjaan tanpa memperlambat sistem atau secara keliru menuduh program yang valid). Microsoft melakukan OK di bidang perbaikan dan kegunaan tetapi hanya mendapat 1, 5 dari 6 poin yang mungkin untuk perlindungan.

Bukan Dunia Nyata?

Pendapat utama Blackbird adalah bahwa tes ini tidak mencerminkan pengalaman pelanggan Microsoft di dunia nyata. Menurut AV-Test, Microsoft melewatkan 28 dari 100 ancaman nol hari. Namun, telemetri Microsoft menunjukkan bahwa "99, 997 persen pelanggan kami yang terkena 0 hari tidak menemukan sampel malware yang diuji dalam pengujian ini." Perhatikan bahwa dia tidak berbicara tentang 99, 997 persen dari semua pelanggan. Dia mengatakan bahwa, dari mereka yang mengalami semacam ancaman nol hari, hanya 0, 003 persen yang menghadapi ancaman yang sebenarnya digunakan AV-Test.

Tetapi apakah ini selalu merupakan tuduhan metode pengujian? Mari kita lihat sebaliknya. Serangan zero-day terjadi terus-menerus, dalam jumlah besar. Jika 0, 003 persen hanya mewakili satu pelanggan, maka 300.000 pelanggan telah mengalami serangan seperti itu. Tentu saja jumlahnya bisa lebih besar. AV-Test mengambil sampel acak 100 dan kebetulan menemukan 28 yang tidak dapat dideteksi oleh Microsoft. Kedengarannya agak buruk, bukan?

Microsoft juga melewatkan 9 persen dari 216.000 file dalam koleksi "malware baru-baru ini", tetapi, kata Blackbird, sampel yang terlewatkan "tidak mewakili apa yang ditemui pelanggan kami. Ketika kami secara eksplisit mencari file-file ini, kami tidak dapat menemukannya pada kami mesin pelanggan."

Prioritas Prioritas Pelanggan

"Pada bulan Desember 2012, ", Blackbird melanjutkan, "kami memproses 20 juta file berpotensi berbahaya baru, dan, menggunakan telemetri dan dampak pelanggan untuk memprioritaskan file-file itu, menambahkan perlindungan yang memblokir 4 juta file berbahaya berbeda di hampir 3 juta komputer. Keempat juta itu file bisa berdampak pada pelanggan jika kami tidak memprioritaskannya dengan tepat. " Dengan kata lain, Microsoft bernasib buruk dalam tes ini karena penekanan mereka pada memprioritaskan file yang secara aktif akan berdampak pada pelanggan mereka.

Ini poin yang menarik, tetapi vendor lain berhasil melindungi pengguna mereka dan juga mendapatkan skor tertinggi dari AV-Test. Bitdefender, F-Secure, dan Trend Micro semuanya menerima 6 dari 6 kemungkinan poin dalam tes perlindungan.

Saya memberikan poin bahwa AV-Test tidak menggunakan semua malware yang sebenarnya ditemui oleh pengguna Microsoft untuk pengujian mereka. Itu tidak mungkin. Penguji antivirus harus melakukan yang terbaik untuk menggunakan sampel yang representatif. Namun, pengujian langsung saya dengan Microsoft Security Essentials, menggunakan sampel yang jauh dari nol hari, menunjukkan bahwa itu tidak seefektif produk antivirus terbaik.

Untuk informasi lebih lanjut dari Neil, ikuti dia di Twitter @neiljrubenking.