Microsoft rebuts การทดสอบโปรแกรมป้องกันไวรัสล้มเหลว

การทำงานในศูนย์ป้องกันมัลแวร์ของ Microsoft ต้องเป็นงานที่ยากลำบาก ที่นี่ บริษัท ของคุณเป็นหนึ่งใน บริษัท ที่ใหญ่ที่สุดในโลก แต่มีห้องปฏิบัติการทดสอบแอนติไวรัสเล็ก ๆ แต่ได้รับการยกย่องในเยอรมนีว่าซอฟต์แวร์ป้องกันไวรัสของคุณไม่ได้ตัดมัสตาร์ด ไม่ใช่เพียงแค่ครั้งเดียว แต่สองครั้งในช่วงสองสามเดือนที่ผ่านมา Microsoft ไม่สามารถรับการรับรองจาก AV-Test

Joe Blackbird ผู้จัดการโครงการที่ศูนย์อธิบายในโพสต์บล็อกว่าการทดสอบนี้ล้มเหลวไม่ ได้ หมายความว่าผู้ใช้ของ Microsoft จะไม่ได้รับการปกป้อง

ความโปร่งใสในการทดสอบ

เพื่อให้สอดคล้องกับหลักการของ AMTSO นั้น AV-Test ไม่เปิดเผยความลับของวิธีการที่ใช้ในการดำเนินการทดสอบใบรับรองอย่างต่อเนื่อง นั่นหมายความว่า Blackbird สามารถตรวจสอบและยืนยันได้ว่าเหตุใด Microsoft Security Essentials จึงไม่ผ่าน

การทดสอบให้น้ำหนักเท่ากับองค์ประกอบความปลอดภัยสามประการ ได้แก่ การป้องกัน (การป้องกันมัลแวร์ใหม่จากการเข้าไปทำลายระบบที่สะอาด) การซ่อมแซม (การล้างมัลแวร์ที่มีอยู่แล้ว) และการใช้งาน (ทำงานโดยไม่ทำให้ระบบช้าลง Microsoft ตกลงในการซ่อมแซมและการใช้งาน แต่มีเพียง 1.5 จาก 6 จุดที่เป็นไปได้สำหรับการป้องกัน

ไม่ใช่โลกแห่งความจริง?

การโต้แย้งหลักของ Blackbird คือการทดสอบนี้ไม่ได้สะท้อนประสบการณ์การใช้งานจริงของลูกค้าของ Microsoft จากการทดสอบของ AV-Test ไมโครซอฟท์พลาดภัยคุกคาม 28 วันจาก 100 ศูนย์ต่อวัน อย่างไรก็ตาม telemetry ของ Microsoft แสดงให้เห็นว่า "99.997 เปอร์เซ็นต์ของลูกค้าของเราที่ได้รับผลกระทบใด ๆ 0 วันไม่พบตัวอย่างมัลแวร์ที่ทดสอบในการทดสอบนี้" โปรดทราบว่าเขาไม่ได้พูดถึงลูกค้าประมาณ 99.997 เปอร์เซ็นต์ เขาบอกว่าในบรรดาผู้ที่ประสบภัยคุกคามแบบ zero-day เพียง 0.003% พบหนึ่งที่ AV-Test ใช้จริง

แต่นี่เป็นข้อกล่าวหาของวิธีการทดสอบหรือไม่? ลองดูอีกทางหนึ่ง การโจมตีแบบ zero-day เกิดขึ้นอย่างต่อเนื่องในจำนวนมหาศาล หากร้อยละ 0.003 แสดงถึงลูกค้าเพียงรายเดียวลูกค้า 300, 000 รายจะพบกับการโจมตีดังกล่าว แน่นอนว่าจำนวนอาจมากกว่า AV-Test เลือกตัวอย่างแบบสุ่มจำนวน 100 และเพิ่งพบว่า 28 ที่ Microsoft ไม่สามารถตรวจพบได้ ฟังดูไม่ดีเลยใช่มั้ย

Microsoft ยังพลาด 9% ของไฟล์ 216, 000 ไฟล์ในคอลเลกชัน "มัลแวร์ล่าสุด" แต่ Blackbird กล่าวว่าตัวอย่างที่ไม่ได้รับ "ไม่ได้แสดงถึงสิ่งที่ลูกค้าของเราพบเมื่อเราค้นหาไฟล์เหล่านี้อย่างชัดเจน เครื่องจักรของลูกค้า "

การให้ความสำคัญกับลูกค้าเป็นสำคัญ

"ในเดือนธันวาคม 2012" แบล็กเบิร์ดกล่าวต่อ "เราได้ประมวลผลไฟล์ที่อาจเป็นอันตรายใหม่จำนวน 20 ล้านไฟล์และการใช้ telemetry และผลกระทบของลูกค้าในการจัดลำดับความสำคัญของไฟล์เหล่านั้นเพิ่มการป้องกันที่บล็อกไฟล์อันตรายต่างๆ ไฟล์อาจส่งผลกระทบต่อลูกค้าหากเราไม่ได้จัดลำดับความสำคัญของไฟล์เหล่านั้นอย่างเหมาะสม " กล่าวอีกนัยหนึ่ง Microsoft มีอาการไม่ดีในการทดสอบนี้เนื่องจากพวกเขาให้ความสำคัญกับการจัดลำดับความสำคัญของไฟล์ที่จะส่งผลกระทบต่อลูกค้าอย่างแข็งขัน

เป็นจุดที่น่าสนใจ แต่ผู้ค้ารายอื่น ๆ สามารถปกป้องผู้ใช้และได้รับคะแนนสูงสุดจากการทดสอบ AV Bitdefender, F-Secure และ Trend Micro ทั้งหมดได้รับ 6 จาก 6 จุดที่เป็นไปได้ในการทดสอบการป้องกัน

ฉันให้จุดที่การทดสอบ AV ไม่ได้ใช้มัลแวร์ทั้งหมดที่ผู้ใช้ของ Microsoft พบเพื่อทำการทดสอบ นั่นคงเป็นไปไม่ได้ ผู้ทดสอบโปรแกรมป้องกันไวรัสต้องทำอย่างดีที่สุดเพื่อใช้ตัวอย่างตัวแทน อย่างไรก็ตามการทดสอบด้วยมือของฉันเองกับ Microsoft Security Essentials โดยใช้ตัวอย่างที่ไม่ได้มาจากศูนย์วันแนะนำว่ามันไม่ได้มีประสิทธิภาพเท่ากับผลิตภัณฑ์ป้องกันไวรัสที่ดีที่สุด

สำหรับข้อมูลเพิ่มเติมจาก Neil ติดตามเขาได้ที่ Twitter @ neiljrubenking