Para ahli membanting studi antivirus imperva

Perusahaan keamanan Imperva merilis sebuah studi suram bulan lalu yang menunjukkan bahwa suite keamanan yang mahal mungkin tidak sepadan dengan harganya dan bahwa semua program anti-virus menderita titik-titik buta yang besar. Penelitian malapetaka dan kesuraman seperti ini selalu membutuhkan sebutir garam yang lumayan, tetapi setelah berbicara dengan banyak pakar industri, pengocok seluruh mungkin diperlukan.

Imperva melihat berbagai solusi keamanan dari vendor seperti Kaspersky, Avast, AVG, Microsoft, dan McAfee. Mereka mengadu penjaga ini dengan 82 sampel malware yang dikumpulkan secara acak, memeriksa seberapa sukses perangkat lunak keamanan dalam mendeteksi perangkat lunak jahat.

Dari pekerjaan mereka, Imperva menegaskan bahwa perangkat lunak anti-malware tidak cepat atau cukup responsif untuk memerangi ancaman modern. Perangkat lunak keamanan, tulis Imperva, "jauh lebih baik dalam mendeteksi malware yang menyebar dengan cepat dalam jumlah besar sampel identik, sementara varian yang berdistribusi terbatas (seperti serangan yang disponsori pemerintah) biasanya meninggalkan peluang besar."

Mereka juga menemukan tidak ada korelasi antara uang yang dihabiskan pengguna untuk perlindungan virus dan keamanan yang disediakan oleh perangkat lunak, dan menyarankan bahwa pelanggan individu dan perusahaan melihat alternatif freeware.

Lab Independen Dorong Kembali

Penelitian ini telah mendapatkan banyak perhatian, tetapi ketika berbicara dengan para profesional keamanan, dan beberapa perusahaan yang disebutkan dalam penelitian ini, Security Watch menemukan banyak orang yang percaya penelitian ini akan sangat cacat.

Hampir setiap lab atau perusahaan keamanan merasa bahwa ukuran sampel malware Imperva terlalu kecil untuk mendukung kesimpulan yang dibuat oleh penelitian. Andreas Marx dari AV-Test mengatakan kepada kami bahwa perusahaannya menerima sekitar satu juta sampel malware unik baru per minggu. Demikian pula, Peter Stelzhammer dari AV-Comparatives memberi tahu kami bahwa mereka menerima 142.000 file berbahaya baru setiap hari.

Untuk bagian mereka, Imperva menulis dalam penelitian bahwa mereka sengaja menggunakan sampel kecil, tetapi bersikeras bahwa itu menunjukkan ancaman yang ada. "Pilihan malware kami tidak bias tetapi diambil secara acak dari Web yang mencerminkan metode potensial untuk membangun serangan, " tulis Imperva.

Direktur riset NSS Labs, Randy Abrams, memiliki interpretasi yang sangat berbeda dari metodologi Imperva. "Mencari nama file dijamin akan melewatkan serangan canggih dan juga sebagian besar malware lainnya, " kata Abrams kepada Security Watch, mengomentari cara Imperva yang digunakan untuk menemukan malware untuk penelitian. "Berfokus pada forum Rusia secara signifikan bias pengumpulan sampel. Jelas bahwa tidak ada pemikiran untuk memperoleh set sampel dunia nyata, representatif."

Masalah Metodologi

Untuk melakukan studi mereka, Imperva menggunakan alat online VirusTotal untuk melakukan tes mereka yang disebut sebagai kelemahan kritis dari tes. "Masalah dengan tes ini adalah bahwa ia merobek ancaman, dalam bentuk file yang dapat dieksekusi, dan kemudian memindai mereka yang menggunakan VirusTotal, " kata Simon Edwards dari Dennis Labs. "VT bukan sistem yang cocok untuk digunakan ketika mengevaluasi produk anti-malware sebagian besar karena pemindai yang digunakan dalam VT tidak didukung oleh teknologi tambahan seperti sistem reputasi web."

Kaspersky Labs, yang produknya digunakan dalam penelitian ini, juga mempertanyakan metodologi pengujian yang digunakan oleh Imperva dalam percobaan. "Saat memindai file yang berpotensi berbahaya, layanan VirusTotal yang digunakan oleh para ahli Imperva tidak menggunakan versi lengkap dari produk antivirus, tetapi hanya bergantung pada pemindai yang berdiri sendiri, " tulis Kaspersky Labs dalam pernyataan yang dikeluarkan untuk Security Watch.

"Pendekatan ini berarti bahwa sebagian besar teknologi perlindungan yang tersedia dalam perangkat lunak antivirus modern diabaikan begitu saja. Ini juga memengaruhi teknologi proaktif yang dirancang untuk mendeteksi ancaman baru yang tidak dikenal."

Khususnya, sebagian dari situs web VirusTotal tidak menganjurkan siapa pun untuk menggunakan layanan mereka dalam analisis antivirus. Bagian 'Tentang' perusahaan itu berbunyi, "kami lelah mengulangi bahwa layanan ini tidak dirancang sebagai alat untuk melakukan analisis komparatif antivirus. Mereka yang menggunakan VirusTotal untuk melakukan analisis komparatif antivirus harus tahu bahwa mereka membuat banyak kesalahan implisit dalam metodologi mereka."

Abrams juga mengambil pandangan redup tentang penggunaan VirusTotal untuk melakukan penelitian, mengatakan bahwa alat ini dapat digunakan untuk condongkan hasil terhadap yang diinginkan oleh penguji. "Penguji yang kompeten dan berpengalaman tahu lebih baik daripada menggunakan VirusTotal untuk menilai kemampuan perlindungan apa pun selain pemindai baris perintah murni, " katanya.

Imperva membela penggunaan VirusTotal dalam penelitian mereka. "Inti dari laporan ini bukan perbandingan produk antivirus, " tulis Imperva. "Alih-alih, tujuannya adalah untuk mengukur kemanjuran satu solusi antivirus dan juga solusi antivirus gabungan yang diberikan secara acak sampel malware."

Sementara para ahli yang kami ajak bicara sepakat bahwa kerentanan nol hari dan malware yang baru dibuat adalah masalah, tidak ada yang mendukung pernyataan Imperva tentang waktu atau tingkat deteksi yang rendah. "Tingkat perlindungan terendah selama uji nol-hari 'dunia nyata' adalah 64-69 persen, " kata Marx kepada Security Watch. "Rata-rata, kami melihat tingkat perlindungan 88-90 persen untuk semua produk yang diuji, ini berarti, 9 dari 10 serangan akan berhasil diblokir, hanya 1 yang benar-benar akan menyebabkan infeksi."

Kesimpulan kunci lain dari laporan Imperva adalah bahwa perangkat lunak anti-malware dipahami dengan baik oleh pembuat malware, yang mengubah kreasi mereka untuk menumbangkan sistem perlindungan. "Penyerang memahami produk antivirus secara mendalam, mengenal titik lemah mereka, mengidentifikasi titik kuat produk antivirus, dan memahami metode mereka untuk menangani tingginya insiden penyebaran virus baru di Internet, " tulis Imperva dalam penelitian tersebut.

Penelitian berlanjut, "varian yang berdistribusi terbatas (seperti serangan yang disponsori pemerintah) biasanya meninggalkan peluang besar."

Stuxnet Bukan Setelah Anda

"Orang-orang malware sangat tangguh, mereka kuat dan cerdas, " kata Stelzhammer. "Serangan yang ditargetkan selalu berbahaya." Namun dia dan yang lainnya menekankan bahwa serangan bertarget di mana malware dirancang khusus melawan anti-malware adalah langka dan berbahaya.

Upaya dan informasi yang diperlukan untuk membuat sepotong malware untuk mengalahkan setiap lapisan perlindungan sangat bagus. "Tes semacam itu membutuhkan banyak waktu dan keterampilan, sehingga tidak murah, " tulis Marx. "Tapi itu alasan mengapa mereka disebut 'bertarget'."

Pada titik ini, Abrams menyindir, "Terus terang, saya benar-benar tidak peduli dengan Stuxnet masuk ke komputer saya dan menyerang sentrifugal pengayaan uranium di rumah atau kantor majikan saya."

Hampir semua orang yang kami ajak bicara setuju, setidaknya pada prinsipnya, bahwa solusi anti-malware gratis dapat memberikan perlindungan yang berharga bagi pengguna. Namun, sebagian besar tidak setuju bahwa itu adalah opsi yang layak untuk pelanggan perusahaan. Stelzhammer menunjukkan bahwa meskipun pengguna korporat ingin menggunakan perangkat lunak gratis, perjanjian lisensi terkadang mencegah mereka untuk melakukannya.

"Ini bukan semua tentang deteksi, " kata Stelzhammer dalam sebuah wawancara dengan Security Watch. "Ini tentang administrasi, ini tentang peluncuran ke klien, ini tentang tinjauan umum. Anda tidak akan mendapatkan ini dengan produk gratis."

Pengguna yang memiliki informasi di rumah, lanjut Stelzhammer, dapat menggunakan lapisan perangkat lunak gratis untuk memberikan perlindungan yang sebanding dengan perangkat lunak berbayar tetapi dengan biaya yang sederhana. "Dia dapat mengatur sistem yang terlindungi dengan baik dengan perangkat lunak gratis, tetapi keuntungan terbesar dari perangkat lunak berbayar adalah kenyamanan."

Namun, Edwards dari Dennis Labs tidak setuju dengan perbandingan yang menguntungkan dengan perangkat lunak bebas. "Ini bertentangan dengan semua temuan kami selama bertahun-tahun pengujian, " kata Edwards. "Hampir tanpa kecuali produk-produk terbaik dibayar." Temuan ini mirip dengan pengujian PC Magazine terhadap perangkat lunak anti-malware.

Sejak publikasi penelitian bulan lalu, Imperva telah menulis posting blog untuk mempertahankan posisi mereka. Berbicara kepada Security Watch, direktur strategi keamanan Imperva, Rob Rachwald mengatakan, "Setiap kritik yang berfokus pada metodologi kita hilang dari kenyataan yang kita lihat hari ini." Dia melanjutkan dengan mengatakan bahwa sebagian besar pelanggaran data adalah hasil dari intrusi malware, yang perusahaan lihat sebagai bukti bahwa model anti-malware saat ini sama sekali tidak berfungsi.

Meskipun mungkin ada beberapa kebenaran yang melekat pada kesimpulan Imperva, tidak ada ahli yang kami ajak bicara yang melihat penelitian ini secara positif. "Biasanya, saya memperingatkan terhadap tes yang disponsori vendor, tetapi jika tes ini dilakukan oleh organisasi independen, saya akan memperingatkan terhadap organisasi itu sendiri, " tulis Abrams dari NSS Labs. "Jarang saya menemukan metodologi yang sangat tidak canggih, kriteria pengumpulan sampel yang tidak tepat, dan kesimpulan yang tidak didukung yang dibungkus dalam satu PDF."

Untuk informasi lebih lanjut dari Max, ikuti dia di Twitter @wmaxeddy.