Microsoft depășește symantec în testul antivirus

În ultimul test la cerere de la AV-Comparatives, destul de multe produse au pierdut puncte din cauza falselor pozitive - identificarea eronată a unui program valabil ca malware. Symantec și Microsoft au marcat aproximativ la fel pe baza detectării eșantioanelor malware, dar Symantec a pierdut puncte din cauza falselor pozitive. Cu toate acestea, mai există poveste decât asta.

Scanare la cerere

Testul de scanare la cerere expune fiecare produs testat la o colecție de „eșantioane din ultimele săptămâni / luni care / au lovit utilizatorii pe teren”. Probele sunt analizate în continuare pentru a clasifica fișiere similare și a reduce dimensiunea setului de eșantion, astfel încât „fiecare dor este reprezentat pentru a reprezenta un grup ratat”. Acest test particular folosește 136 610 probe recente. Scorul inițial al unui produs este procentul de probe detectate.

În mod surprinzător, Symantec's Norton AntiVirus a demonstrat cea mai mică rată de detecție (înainte de a considera fals pozitive), cu 91, 2 la sută de detectare. Microsoft Security Essentials a înregistrat un nivel mai ridicat, detectând 92 la sută din eșantioane. Cu o detectare de 99, 9 la sută, AntVirus G Data a fost în fruntea listei. Mai multe altele au reușit mai bine decât 99 la sută.

Pozitive false

Cercetătorii de la AV-Comparatives folosesc o tehnică de clustering pentru a identifica punctele de tăiere care separă ADVANCED + (ratingul de top) de ADVANCED și ADVANCED de STANDARD. Acesta este punctul de plecare, dar un produs cu multe (16 - 50) pozitive false va pierde un nivel de rating, iar unul cu foarte mulți (51 - 100) va pierde două. Indiferent de calitatea sa inițială, dacă un produs afișează „multe nebune” (peste 100) fals pozitive, acesta va primi întotdeauna calificativul non-pass al TESTATULUI.

Nouă dintre cele douăzeci de produse testate au pierdut un nivel de evaluare din cauza multor pozitive false. Cel puțin niciunul dintre ei nu a avut FP-uri foarte multe sau „înnebuni multe”. Norton, începând cu un rating STANDARD, s-a scufundat la TESTAT, la fel ca AhnLab. În cercul câștigătorilor, cu rating ADVANCED +, găsim Avira, Bitdefender, BullGuard, F-Secure și Kaspersky. Faceți clic aici pentru a vizualiza raportul complet.

Rețineți că nu veți găsi Microsoft listat în secțiunea de premiere. M-am gândit la început că aceasta este o supraveghere, dar Peter Stelzhammer, cofondatorul AV-Comparatives, mi-a făcut drept. „Am decis să nu mai enumerăm Microsoft în secțiunea de premiere (și în orice alte teste)", a explicat Stelzhammer, "deoarece protejarea lor fără ieșire este activată în Windows în mod implicit. Într-o manieră similară, AV-Test a ales să trateze scorul Microsoft ca linie de bază minimă.

Ponderați falsi pozitivi

Symantec a mulțumit de ani de zile că o simplă număr de falsuri pozitive nu este utilă. Cercetătorii Symantec recomandă ca orice test fals pozitiv să includă ponderarea bazată pe prevalența dosarului implicat. Aceștia susțin că sistemul lor de analiză Norton Insight exclude posibilitatea falsificării pozitive a fișierelor, cu excepția celor cu prevalență scăzută. Un document secundar de la AV-Comparatives sugerează că ar putea avea dreptate.

Apendicele False Positive din raportul la cerere listează fiecare fișier pe care fiecare produs le-a detectat în mod eronat ca malware, împreună cu numele de malware utilizat și o estimare a prevalenței. Au identificat cinci niveluri, de la „probabil mai puțin de o sută de utilizatori” la „probabil câteva sute de mii (sau milioane)”.

Pentru a vedea, aleg un număr reprezentativ de utilizatori la fiecare nivel, 50 de utilizatori pentru primul nivel și de zece ori mai mare pentru fiecare nivel superior, cu 500.000 de utilizatori ai celor mai răspândite programe. Am calculat apoi numărul de utilizatori care ar putea fi afectați de falsele pozitive ale fiecărui produs. Rezultatele, prezentate în graficul de mai jos, sugerează că AV-Comparatives ar trebui să ia în considerare utilizarea unui calcul FP ponderat similar.

În acest grafic, produsele care au pierdut un nivel de rating din cauza pozitivelor false sunt afișate cu caractere aldine. Calculul meu ponderat afectează potențial Norton FP 13.750 de utilizatori. Mai multe produse care nu au scăzut pe baza numărului de FP-uri au avut de fapt un efect mai mare decât Symantec, inclusiv câștigătorii Kaspersky și F-Secure.

Emsisoft a avut cel mai mare număr de pozitive false în general, 38 dintre ele. Groaznic, nu? Dar niciunul nu a fost dintre cele două niveluri de prevalență cele mai ridicate, astfel că efectul său teoretic este mai mic decât cel al lui Sophos, cu 6 FP-uri totale, sau ESET, cu 9 FP.

McAfee a obținut o evaluare AVANȚATĂ la testul de bază la cerere. Cu 15 falsuri pozitive, este doar un număr mic care ar determina pierderea nivelului de rating. Cu toate acestea, calculul meu ponderat îl poate răspunde potențial de a afecta peste două sute de mii de utilizatori, de aproape 16 ori mai mulți decât Norton.

Acestea nu sunt numere din lumea reală, doar un experiment de gândire care să ajute să înțeleagă ce ar însemna utilizarea prevalenței în măsurarea falselor pozitive. După parcurgerea acestui exercițiu, am rămas în speranța că AV-Comparatives vor găsi o modalitate de a influența prevalența în testele lor pozitive false. Numărul clar nu este suficient.