ชุดความปลอดภัยจำนวนมากปรับปรุงการป้องกันในการทดสอบจริง

นักวิจัยของ AV-Comparatives ที่ใช้ Innsbruck ทำงานอย่างไม่รู้จักเหน็ดเหนื่อยเพื่อทดสอบพลังการป้องกันของชุดรักษาความปลอดภัยในลักษณะที่ใกล้เคียงที่สุดกับประสบการณ์การใช้งานจริงของผู้ใช้ ทุก ๆ วันพวกเขาต้องทำการโจมตีมัลแวร์เกือบยี่สิบห้องโดยใช้ระบบอัตโนมัติเพื่อบันทึกว่าผลิตภัณฑ์นั้นดีต่อการทดสอบอย่างไร ในช่วงหกเดือนที่ผ่านมาพวกเขาผ่านการทดสอบมากกว่า 3, 000 กรณี ผลลัพธ์ครึ่งปีอยู่ในและจำนวนผลิตภัณฑ์ที่น่าประทับใจได้ดีขึ้นตั้งแต่รายงานล่าสุด

ความสำคัญของขนาดตัวอย่าง

เห็นได้ชัดว่าสัญชาตญาณการทดสอบเช่นนี้จะได้ผลลัพธ์ที่แม่นยำยิ่งขึ้นด้วยชุดตัวอย่างที่ใหญ่กว่า แต่คราวนี้เกี่ยวกับ AV-Comparatives ได้อธิบายอย่างชัดเจนถึงผลที่ตามมาของชุดตัวอย่างขนาดเล็กเกินไป รายงานแยกง่าย ๆ แสดงสถิติและพวกเขาก็น่าแปลกใจเล็กน้อย

สมมติว่าผลิตภัณฑ์หนึ่งตรวจพบ 80 เปอร์เซ็นต์จากชุดตัวอย่างมัลแวร์ 10, 000 ชุด ตอนนี้สมมติว่าคุณเลือกตัวอย่างเพียงสิบตัวอย่างโดยการสุ่มจากคอลเล็กชันเดียวกันนั้น การใช้แผนภูมิของผลลัพธ์ที่เป็นไปได้ทั้งหมดรายงานแสดงให้เห็นว่าการบรรลุอัตราการตรวจจับที่เหมือนกันอัตราการตรวจจับที่สูงขึ้นหรืออัตราการตรวจจับที่ต่ำกว่านั้นเกือบจะเท่ากัน ใช่การตัดตัวอย่างสิบตัวอย่างเป็นกรณีที่รุนแรง แต่แน่นอนว่าทำให้เป็นประเด็น

วิธีทดสอบ

ด้วยการใช้วิธีการค้นหาอัตโนมัติและด้วยตนเองทีมวิจัยรวบรวม URL ที่เป็นอันตรายในโลกแห่งความจริงทุกวัน พวกเขาเลือกการเชื่อมโยงโดยตรงไปยังไฟล์มัลแวร์และเว็บไซต์ดาวน์โหลดแบบไดรฟ์ เมื่อดูตัวอย่างของวันละหนึ่งเรื่องพวกเขาจะเปิดเผยผลิตภัณฑ์ทั้งหมดไปยัง URL ที่ระบุพร้อมกันและดูว่าแต่ละผลิตภัณฑ์มีปฏิกิริยาอย่างไร หากองค์ประกอบใด ๆ ของชุดป้องกันมัลแวร์นั่นคือความสำเร็จ หากมัลแวร์หลุดผ่านมาและตั้งค่าการทำความสะอาดนั่นเป็นความล้มเหลว

บางครั้งชุดจะปรากฏขึ้นพร้อมกับการแจ้งเตือนว่าพบ บางสิ่งบางอย่าง ถามผู้ใช้ว่าจะปิดกั้นหรืออนุญาต สำหรับวัตถุประสงค์ในการทดสอบนักวิเคราะห์ AV-Comparatives เลือกที่จะอนุญาตให้ดำเนินการเสมอ ผลิตภัณฑ์ที่ปกป้องระบบได้สำเร็จแม้การกระทำนี้จะได้รับเครดิตเต็ม ผลิตภัณฑ์ที่ช่วยให้ระบบถูกบุกรุกเนื่องจากผู้ใช้เลือกผิดทางโดยได้รับเครดิตครึ่งหนึ่ง

เมื่อกรณีทดสอบเสร็จสมบูรณ์ระบบการทดสอบทั้งหมดจะได้รับการถ่ายภาพอีกครั้งกลับสู่สถานะก่อนมัลแวร์พร้อมสำหรับกรณีทดสอบถัดไป

บวกเท็จ

ผลลัพธ์ที่เป็นเท็จจะเกิดขึ้นเมื่อซอฟต์แวร์ความปลอดภัยปิดกั้นการเข้าถึงไฟล์หรือเว็บไซต์ที่ถูกกฎหมายอย่างไม่ถูกต้อง เห็นได้ชัดว่าคุณไม่ต้องการให้ชุดความปลอดภัยของคุณกำจัดไฟล์ที่ถูกต้องหรือทำให้คุณอยู่ห่างจากเว็บไซต์ที่ไม่เป็นอันตราย AV-Comparatives ทดสอบแต่ละผลิตภัณฑ์ด้วยโดเมนที่สุ่มเลือกมาหนึ่งพันรายการและโปรแกรมใหม่และยอดนิยมหนึ่งร้อยรายการ เพื่อการทดสอบพวกเขาดาวน์โหลดแต่ละโปรแกรมจากเว็บไซต์ของผู้พัฒนาไม่ใช่จากพอร์ทัลดาวน์โหลด

รายงานระบุว่าการวิเคราะห์ความปลอดภัยเชิงสถิติและชื่อเสียงมักจะบล็อกหรือเตือนเกี่ยวกับโปรแกรมและไซต์ใหม่ มันกล่าวว่า "ถึงแม้ว่าเทคนิคการป้องกันเช่นนี้ … จะช่วยให้ผลิตภัณฑ์มีคะแนนสูง … ซึ่งอาจนำไปสู่การตรวจจับ / การบล็อกไฟล์ที่ไร้เดียงสา / ทำความสะอาดและ URL เพียงเพราะมันเป็น … ใหม่เกินไป" Norton ผู้สนับสนุนที่แข็งแกร่งสำหรับการตรวจจับประเภทนี้ไม่ได้มีส่วนร่วมในการทดสอบ AV-Comparatives

ปรับปรุงมาก

มากกว่าครึ่งหนึ่งของผลิตภัณฑ์ที่รวมอยู่ในรายงานปัจจุบันทำคะแนนได้ดีกว่าในรายงานฉบับก่อนหน้านี้ Vipre, McAfee และ Fortinet ล้มเหลวในครั้งสุดท้ายโดยไม่ได้รับ STANDARD ซึ่งเป็นระดับการผ่านต่ำสุด เวลานี้ Fortinet และ McAfee ได้ให้คะแนนขั้นสูงและ Vipre เพื่อให้เป็นมาตรฐาน ทั้งสามมีการลดอันดับของพวกเขาเนื่องจากการบวกเท็จ; จากการตรวจจับ McAfee และ Fortinet จะได้คะแนน ADVANCED + ซึ่งเป็นคะแนนสูงสุด

eScan เพิ่มขึ้นจาก STANDARD เป็น ADVANCED + ในขณะที่ avast!, ESET และ Trend Micro ย้ายจาก ADVANCED เป็น ADVANCED + อีกหลายคนที่เคยให้คะแนนก่อนหน้านี้ STANDARD ได้ทำการจัดอันดับ ADVANCED ในครั้งนี้

Bitdefender ได้รับคะแนนสูงสุดทั่วกระดานอย่างสม่ำเสมอในการทดสอบในห้องปฏิบัติการอิสระ จากการตรวจจับมัลแวร์มันจะได้รับการจัดอันดับ ADVANCED + เช่นเดียวกับครั้งที่แล้ว แต่ผลบวกที่ผิดพลาดได้ถูกลดระดับลงไปยัง ADVANCED สิ่งเดียวกันนี้เกิดขึ้นกับ F-Secure และ BullGuard

การทดสอบแบบไดนามิกทั้งผลิตภัณฑ์ AV-Comparatives เป็นการทดสอบที่ใช้แรงงานมากที่สุดเท่าที่ฉันเคยพบมา ไม่น่าแปลกใจเลยที่ห้องปฏิบัติการต้องอาศัยการสนับสนุนจาก University of Innsbruck และจากรัฐบาลออสเตรีย มันเป็นงานจำนวนมาก แต่ผลลัพธ์ที่ได้คือการทดสอบที่ใกล้เคียงกับว่าผลิตภัณฑ์จะปกป้องผู้ใช้ในโลกแห่งความเป็นจริงได้ดีเพียงใด