Cum testăm antivirus și software de securitate

Fiecare produs antivirus sau pachet de securitate promite să vă protejeze de o multitudine de riscuri și supărări de securitate. Dar de fapt își îndeplinesc promisiunile? Atunci când evaluăm aceste produse pentru revizuire, punem testele lor în multe moduri diferite. Fiecare revizuire raportează rezultatele testelor noastre, precum și experiența practică cu produsul. Acest articol va săpa mai adânc, explicând exact cum funcționează aceste teste.

Desigur, nu fiecare test este potrivit pentru fiecare produs. Multe utilități antivirus includ protecția împotriva phishing, dar unele nu. Majoritatea apartamentelor includ filtrarea spamului, dar unele omit această caracteristică, iar unele produse antivirus o adaugă ca bonus. Oricare ar fi caracteristicile oferite de un produs dat, le punem la încercare.

Testarea antivirusului în timp real

Fiecare instrument antivirus cu putere completă include un scaner la cerere pentru a căuta și distruge infestările malware existente și un monitor în timp real pentru a preveni atacurile noi. În trecut, am menținut de fapt o colecție de mașini virtuale infestate cu malware pentru a testa capacitatea fiecărui produs de a elimina malware-ul existent. Avansele codificării programelor malware au făcut ca testarea cu malware să fie prea periculoasă, dar putem totuși exercita protecția în timp real a fiecărui produs.

În fiecare an, la începutul primăverii, când majoritatea vânzătorilor de securitate și-au încheiat ciclul anual de actualizare, adunăm o nouă colecție de probe malware pentru acest test. Începem cu un flux al ultimelor adrese URL de găzduire de malware, descărcăm sute de eșantioane și le redăm până la un număr gestionabil.

Analizăm fiecare eșantion folosind diverse instrumente codate manual. Unele dintre mostre detectează când rulează într-o mașină virtuală și se abțin de la activități rău intenționate; pur și simplu nu le folosim. Căutăm o varietate de tipuri diferite și pentru mostre care fac modificări în sistemul de fișiere și în registru. Cu puțin efort, împărțim colecția la un număr gestionabil și înregistrăm exact ce schimbări de sistem face fiecare probă.

Pentru a testa abilitățile de blocare a malware a unui produs, descărcăm un dosar de eșantioane din stocarea în cloud. Protecția în timp real a unor produse începe imediat, ștergând malware-ul cunoscut. Dacă este necesar pentru a declanșa protecția în timp real, facem un singur clic pe fiecare eșantion sau copiem colecția într-un folder nou. Observăm câte probe elimină la vedere antivirusul.

În continuare, lansăm fiecare eșantion rămas și notăm dacă antivirusul l-a detectat. Înregistrăm procentul total detectat, indiferent de momentul apariției detecției.

Detectarea unui atac malware nu este suficientă; antivirusul trebuie să prevină efectiv atacul. Un mic program intern verifică sistemul pentru a determina dacă malware-ul a reușit să facă vreo modificare a Registrului sau să instaleze vreunul dintre fișierele sale. În cazul fișierelor executabile, verifică, de asemenea, dacă vreunul dintre aceste procese este executat. Și de îndată ce măsurarea este finalizată, oprim mașina virtuală.

Dacă un produs împiedică instalarea tuturor urmelor executabile de către un eșantion malware, acesta câștigă 8, 9 sau 10 puncte, în funcție de cât de bine a împiedicat aglomerarea sistemului cu urme neexecutabile. Detectarea malware-ului, dar nu reușește să împiedice instalarea componentelor executabile, primește jumătate de credit, 5 puncte. În cele din urmă, dacă, în ciuda încercării de protecție a antivirusului, unul sau mai multe procese malware rulează de fapt, asta merită doar 3 puncte. Media tuturor acestor scoruri devine scorul final de blocare a malware-ului produsului.

Testarea blocării URL-urilor dăunătoare

Cel mai bun moment pentru a anihila malware este înainte ca acesta să ajungă vreodată la computer. Multe produse antivirus se integrează cu browserele dvs. și le îndepărta de URL-urile cunoscute de găzduire de malware. Dacă protecția nu este implicată la acest nivel, există întotdeauna oportunitatea de a șterge încărcarea utilă a malware-ului în timpul descărcării sau imediat după descărcare.

În timp ce testul de bază pentru blocarea programelor malware utilizează același set de eșantioane pentru un sezon, URL-urile de găzduire de malware pe care le folosim pentru a testa protecția bazată pe Web sunt diferite de fiecare dată. Obținem un flux al celor mai noi URL-uri rău intenționate de la MRG-Effitas, bazate pe Londra și utilizăm de obicei URL-uri care nu au mai mult de o zi.

Folosind un utilitar construit în scopuri mici, mergem pe listă, lansând pe rând fiecare URL. Renunțăm la orice care nu indică de fapt o descărcare malware și orice mesaj de eroare care returnează. În rest, observăm dacă antivirusul împiedică accesul la adresa URL, șterge descărcarea sau nu face nimic. După înregistrarea rezultatului, utilitarul sare la următoarea adresă URL din listă care nu este la același domeniu. Ignorăm orice fișier mai mare de 5 MB și de asemenea sărim peste fișiere care au apărut deja în același test. Vă păstrăm până când acumulăm date pentru cel puțin 100 de URL-uri verificate de găzduire de malware.

Scorul acestui test este pur și simplu procentul de adrese URL pentru care antivirusul a împiedicat descărcarea de malware, fie prin tăierea accesului la URL complet, fie prin ștergerea fișierului descărcat. Scorurile variază mult, dar cele mai bune instrumente de securitate gestionează 90% sau mai mult.

Testarea detectării phishing

De ce să recurgiți la troieni elaborați care fură date, când puteți păcăli oamenii să renunțe la parolele lor? Aceasta este gândirea maleficilor care creează și gestionează site-uri de phishing. Aceste site-uri frauduloase imită băncile și alte site-uri sensibile. Dacă introduceți datele dvs. de autentificare, tocmai ați dat cheile regatului. Iar phishingul este independent de platformă; funcționează pe orice sistem de operare care acceptă navigarea pe Web.

Aceste site-uri web false apar, de obicei, pe lista neagră nu după mult timp după crearea lor, așa că pentru testare folosim doar cele mai noi URL-uri de phishing. Adunăm acestea de pe site-uri web orientate către phishing, favorizându-le pe cele care au fost raportate ca fraude, dar încă nu au fost verificate. Acest lucru obligă programele de securitate să utilizeze analiza în timp real, mai degrabă decât să se bazeze pe liste negre cu minte simplă.

Pentru acest test folosim patru mașini virtuale, una pe produsul testat și una folosind fiecare protecție împotriva phishing încorporată în Chrome, Firefox și Microsoft Edge. Un mic program de utilitate lansează fiecare adresă URL în cele patru browsere. Dacă oricare dintre ei returnează un mesaj de eroare, aruncăm URL-ul. Dacă pagina rezultată nu încearcă în mod activ să imite un alt site sau nu încearcă să capteze date de utilizator și parolă, o eliminăm. În rest, înregistrăm dacă fiecare produs a detectat sau nu frauda.

În multe cazuri, produsul testat nu poate face nici măcar protecția încorporată într-unul sau mai multe browsere.

Testarea filtrării spam

În aceste zile, conturile de e-mail pentru majoritatea consumatorilor au spam-ul eliminat de către furnizorul de e-mail sau de o utilitate care rulează pe serverul de e-mail. De fapt, nevoia de filtrare a spamului este în continuă scădere. Laboratorul de testare austriac AV-Comparatives a testat funcționalitatea antispam în urmă cu câțiva ani, constatând că chiar și Microsoft Outlook singur bloca aproape 90 la sută din spam, iar majoritatea apartamentelor s-au descurcat mai bine, unele dintre ele mult mai bine. Laboratorul nu promite nici măcar să continue testarea filtrelor de spam care se confruntă cu consumatorii, menționând că „mai mulți vânzători se gândesc să înlăture funcția antispam din produsele lor de securitate pentru consumatori”.

În trecut, am efectuat propriile teste antispam folosind un cont din lumea reală care primește atât spam, cât și mail valid. Procesul de descărcare a mii de mesaje și analiza manuală a conținutului folderului Inbox și spam a necesitat mai mult timp și efort decât oricare dintre celelalte teste hands-on. Depunerea efortului maxim pe o caracteristică de importanță minimă nu mai are sens.

Există încă puncte importante de raportat despre filtrul de spam al unei suite. Ce clienți de e-mail acceptă? Îl poți folosi cu un client neacceptat? Este limitat la conturile de e-mail POP3 sau se ocupă și de e-mail-uri IMAP, Exchange sau chiar Web? Pe viitor, vom analiza cu atenție capacitățile antispam ale fiecărei suite, dar nu vom mai descărca și analiza mii de e-mailuri.

Testarea performanței suitei de securitate

Când suita dvs. de securitate urmărește cu ușurință atacurile malware, se apără de intruziuni în rețea, împiedică browserul dvs. să viziteze site-uri web periculoase și așa mai departe, este clar să folosiți o parte din procesorul sistemului și alte resurse pentru a-și face treaba. În urmă cu câțiva ani, apartamentele de securitate au primit reputația de a aspira atât de mult din resursele sistemului dvs. încât a fost afectată propria utilizare a calculatorului. Lucrurile stau mult mai bine în aceste zile, dar tot vom efectua câteva teste simple pentru a obține o perspectivă asupra efectului fiecărei suite asupra performanței sistemului.

Software-ul de securitate trebuie să se încarce cât mai devreme în procesul de pornire, ca să nu găsească malware deja controlat. Dar utilizatorii nu vor să aștepte mai mult decât este necesar pentru a începe să folosească Windows după o repornire. Scriptul nostru de testare rulează imediat după pornire și începe să ceară Windows să raporteze nivelul de utilizare al procesorului o dată pe secundă. După 10 secunde la rând, cu utilizarea procesorului nu mai mult de 5%, acesta declară sistemul pregătit pentru utilizare. Scăzând începutul procesului de pornire (așa cum este raportat de Windows) știm cât a durat procesul de pornire. Rulăm multe repetări ale acestui test și comparăm media cu cea a multor repetări atunci când nu a fost prezentă nici o suită.

Într-adevăr, probabil repornești cel mult o dată pe zi. O suită de securitate care a încetinit operațiunile de fișiere zilnice poate avea un impact mai important asupra activităților dvs. Pentru a verifica acest tip de încetinire, avem nevoie de un script care mișcă și copiază o colecție mare de fișiere mari până la uriașe între unități. Având în vedere mai multe rulaje fără nici o suită și mai multe rulaje cu suita de securitate activă, putem determina cât de mult a încetinit suita acestor activități de fișiere. Un script similar măsoară efectul suitei asupra unui script care zipează și decuplează aceeași colecție de fișiere.

Încetinirea medie a acestor trei teste de către apartamente cu cea mai ușoară atingere poate fi mai mică de 1%. La celălalt capăt al spectrului, foarte puține apartamente în medie cu 25% sau chiar mai multe. S-ar putea să observați efectiv impactul apartamentelor mai grele.

Testarea protecției firewall

Nu este la fel de ușor să cuantificăm succesul unui firewall, deoarece diferiți furnizori au idei diferite despre ceea ce ar trebui să facă un firewall. Chiar și așa, există o serie de teste pe care le putem aplica majorității.

În mod obișnuit, un firewall are două locuri de muncă, protejând computerul împotriva atacurilor exterioare și asigurând că programele nu utilizează în mod greșit conexiunea de rețea. Pentru a testa protecția împotriva atacului, folosim un computer fizic care se conectează prin portul DMZ al routerului. Acest lucru dă efectul unui computer conectat direct la Internet. Acest lucru este important pentru testare, deoarece un computer conectat printr-un router este eficient invizibil pe Internet în general. Am lovit sistemul de testare cu scanări de porturi și alte teste bazate pe Web. În cele mai multe cazuri, descoperim că firewallul ascunde complet sistemul de testare de aceste atacuri, punând toate porturile în modul stealth.

Firewall-ul Windows încorporat gestionează furturile din toate porturile, deci acest test este doar o bază. Dar chiar și aici, există opinii diferite. Proiectanții Kaspersky nu văd nicio valoare în porturile de furt, atâta timp cât porturile sunt închise și firewallul împiedică activ atacul.

Controlul programului în cele mai timpurii firewall-uri personale a fost extrem de hands-on. De fiecare dată când un program necunoscut a încercat să acceseze rețeaua, firewallul a apărut o interogare prin care a cerut utilizatorului să permită sau nu accesul. Această abordare nu este foarte eficientă, deoarece, în general, habar nu are ce idee este corectă. Majoritatea vor permite totul. Alții vor face clic pe Bloc de fiecare dată, până când vor sparge un program important; după aceea permit totul. Efectuăm o verificare practică a acestei funcționalități folosind un utilitar de browser mic, codat în oră, unul care se va califica întotdeauna ca un program necunoscut.

Unele programe dăunătoare încearcă să ocolească acest tip de control al programelor simple, prin manipularea sau mascherarea ca programe de încredere. Când întâlnim un firewall vechi-școlar, îi testăm abilitățile folosind utilități numite teste de scurgere. Aceste programe folosesc aceleași tehnici pentru a sustrage controlul programului, dar fără nicio încărcare utilă. Găsim tot mai puține teste de scurgere care funcționează în continuare în versiunile moderne de Windows.

La celălalt capăt al spectrului, cele mai bune firewall-uri configurează automat permisiunile de rețea pentru programele bune cunoscute, elimină programele proaste cunoscute și intensifică supravegherea pentru necunoscute. Dacă un program necunoscut încearcă o conexiune suspectă, firewall-ul pornește în acel moment pentru a-l opri.

Software-ul nu este și nu poate fi perfect, așa că oamenii răi muncesc din greu pentru a găsi găuri de securitate în sistemele de operare, browsere și aplicații populare. Ei elaborează exploatări pentru a compromite securitatea sistemului folosind orice vulnerabilități găsite. Desigur, producătorul produsului exploatat emite un plasture de securitate cât mai curând posibil, dar până când aplicați efectiv acel plasture, sunteți vulnerabil.

Cele mai inteligente firewall-uri interceptă aceste atacuri de exploatare la nivelul rețelei, astfel încât niciodată nu ajung la computer. Chiar și pentru cele care nu scanează la nivel de rețea, în multe cazuri componenta antivirus șterge încărcarea utilă a exploit-ului malware. Folosim instrumentul de penetrare CORE Impact pentru a atinge fiecare sistem de testare cu aproximativ 30 de exploatări recente și pentru a înregistra cât de bine le-a protejat produsul de securitate.

În cele din urmă, efectuăm un control sanitar pentru a vedea dacă un codificator malware poate dezactiva cu ușurință protecția de securitate. Căutăm un comutator de pornire / oprire în registru și testăm dacă poate fi folosit pentru a opri protecția (deși au trecut ani de când am găsit un produs vulnerabil la acest atac). Încercăm să încheiem procesele de securitate folosind Task Manager. Și verificăm dacă este posibil să opriți sau să dezactivați serviciile esențiale Windows ale produsului.

Testarea controlului parental

Controlul și monitorizarea părinților acoperă o mare varietate de programe și funcții. Utilitatea tipică de control parental ține copiii departe de site-urile nefavorabile, monitorizează utilizarea lor pe Internet și îi permite părinților să determine când și pentru cât timp li se permite copiilor să folosească internetul în fiecare zi. Alte funcții variază de la limitarea contactelor de chat la patrularea postărilor de pe Facebook pentru subiecte riscante.

Efectuăm întotdeauna o verificare sanitară pentru a ne asigura că funcționează efectiv filtrul de conținut. După cum se dovedește, găsirea de site-uri porno pentru testare este un lucru complicat. Aproape orice adresă URL compusă dintr-un adjectiv de mărime și numele unei părți de corp acoperite în mod normal este deja un site porno. Foarte puține produse nu reușesc acest test.

Folosim un mic utilitar de browser intern pentru a verifica dacă filtrarea conținutului este independentă de browser. Emitem o comandă de rețea cu trei cuvinte (nu, nu o publicăm aici) care dezactivează unele filtre de conținut simple. Și verificăm dacă putem sustrage filtrul folosind un site web proxy anonim.

Impunerea limitelor de timp pe computerul sau utilizarea internetului copiilor este eficientă numai dacă copiii nu pot interfera cu cronometrarea. Verificăm dacă funcția de planificare a timpului funcționează, apoi încercăm să o evadăm resetând data și ora sistemului. Cele mai bune produse nu se bazează pe ceasul sistemului pentru data și ora lor.

După aceea, este pur și simplu o problemă de testare a caracteristicilor pe care programul pretinde că le are. Dacă promite capacitatea de a bloca utilizarea anumitor programe, implicăm această caracteristică și încercăm să o rupem prin mutarea, copierea sau redenumirea programului. Dacă spune că elimină cuvinte greșite din e-mail sau mesagerie instantanee, adăugăm un cuvânt aleatoriu pe lista de blocuri și verificăm că nu este trimis. Dacă pretinde că poate limita contactele de mesagerie instantanee, stabilim o conversație între două dintre conturile noastre și apoi interzicem unul dintre ele. Indiferent de puterea de control sau monitorizare pe care programul o promite, facem tot posibilul să o punem la încercare.

Interpretarea testelor de laborator antivirus

Nu avem resurse pentru a rula genul de teste antivirus exhaustive efectuate de laboratoare independente din întreaga lume, așa că acordăm o atenție deosebită concluziilor lor. Urmează două laboratoare care eliberează certificări și patru laboratoare care eliberează rezultatele testelor obținute în mod regulat, folosind rezultatele lor pentru a ajuta la informarea recenziilor noastre.

Laboratoarele ICSA și West Coast Labs oferă o mare varietate de teste de certificare a securității. Urmărim în mod special certificările lor pentru detectarea malware și pentru eliminarea programelor malware. Vânzătorii de securitate plătesc pentru ca produsele lor să fie testate, iar procesul include ajutor de la laboratoare pentru a remedia orice probleme care împiedică certificarea. Ceea ce ne uităm aici este faptul că laboratorul a găsit produsul suficient de important pentru a fi testat, iar vânzătorul a fost dispus să plătească pentru testare.

Cu sediul în Magdeburg, Germania, AV-Test Institute pune continuu programe antivirus printr-o varietate de teste. Cel pe care ne concentrăm este un test în trei părți care acordă până la 6 puncte în fiecare din cele trei categorii: protecție, performanță și utilizare. Pentru a obține certificarea, un produs trebuie să obțină un număr de 10 puncte fără zero. Cele mai bune produse duc acasă 18 puncte perfecte în acest test.

Pentru a testa protecția, cercetătorii expun fiecare produs la setul de referință AV-Test de peste 100.000 de probe și la câteva mii de probe extrem de răspândite. Produsele obțin credite pentru prevenirea infestării în orice stadiu, fie că blochează accesul la adresa URL de găzduire a programelor malware, detectează programele malware folosind semnături sau împiedică difuzarea malware-ului. Cele mai bune produse ating de cele mai multe ori 100% succes în acest test.

Performanța este importantă - dacă antivirusul influențează vizibil performanțele sistemului, unii utilizatori îl vor opri. Cercetătorii AV-Test măsoară diferența de timp necesară pentru a efectua 13 acțiuni comune ale sistemului cu și fără produsul de securitate prezent. Printre aceste acțiuni se numără descărcarea fișierelor de pe Internet, copierea fișierelor atât pe plan local, cât și prin rețea și rularea programelor comune. Cu ajutorul mai multor rulaje, ei pot identifica cât de mult impact are fiecare produs.

Testul de utilizare nu este neapărat ceea ce ați crede. Nu are nimic de-a face cu ușurința de utilizare sau cu designul interfeței utilizatorului. Mai degrabă, măsoară problemele de uzabilitate care apar atunci când un program antivirus semnalează în mod eronat un program sau un site web legitim ca fiind rău sau suspect. Cercetătorii instalează și rulează activ o colecție în continuă schimbare de programe populare, observând orice comportament ciudat al antivirusului. Un test separat de scanare doar verifică pentru a vă asigura că antivirusul nu identifică niciunul dintre cele peste 600.000 de fișiere legitime drept malware.

Adunăm rezultate din patru (anterior cinci) din numeroasele teste lansate regulat de AV-Comparatives, care are sediul în Austria și lucrează strâns cu Universitatea din Innsbruck. Instrumentele de securitate care trec un test primesc certificare standard; cele care nu reușesc sunt desemnate doar Testate. Dacă un program depășește minimul necesar, poate obține certificare Advanced + Advanced + Advanced.

Testul de detectare a fișierelor AV-Comparatives este un test simplu, static, care verifică fiecare antivirus împotriva a aproximativ 100.000 de probe de malware, cu un test fals pozitiv pentru a asigura exactitatea. Iar testul de performanță, la fel ca AV-Test, măsoară orice impact asupra performanței sistemului. Anterior, am inclus testul euristic / comportamental; acest test a fost abandonat.

Considerăm testul dinamic al produsului integral AV-Comparatives ca fiind cel mai semnificativ. Acest test își propune să simuleze cât mai strâns posibil experiența utilizatorului, permițând tuturor componentelor produsului de securitate să ia măsuri împotriva programelor malware. În cele din urmă, testul de remediere începe cu o colecție de malware, despre care toate produsele testate sunt cunoscute pentru a detecta și contesta produsele de securitate pentru a restabili un sistem infestat, eliminând complet malware.

În cazul în care testele AV și AV-Comparative includ de obicei 20 până la 24 de produse în testare, SE Labs raportează în general la cel mult 10. Acest lucru este în mare parte datorită naturii testului acestui laborator. Cercetătorii captează site-uri web care găzduiesc programe malware din lumea reală și folosesc o tehnică de redare, astfel încât fiecare produs să întâlnească exact aceeași descărcare drive-by sau alt atac bazat pe Web. Este extrem de realist, dar dur.

Un program care blochează total unul dintre aceste atacuri câștigă trei puncte. Dacă a luat măsuri după ce atacul a început, dar a reușit să elimine toate urmele executabile, asta merită două puncte. Și dacă s-a încheiat doar atacul, fără curățare completă, tot va primi un punct. În cazul nefericit în care malware-ul rulează gratuit pe sistemul de testare, produsul testat pierde cinci puncte. Din această cauză, unele produse au marcat efectiv sub zero.

Într-un test separat, cercetătorii evaluează cât de bine fiecare produs se abține să identifice în mod eronat software-ul valabil ca fiind rău, ponderea rezultatelor pe baza prevalenței valabile a fiecărui program și cât de mult ar avea impactul fals fals. Acestea combină rezultatele acestor două teste și certifică produsele la unul dintre cele cinci niveluri: AAA, AA, A, B și C.

• Cele mai bune suite de securitate pentru 2019 Cele mai bune suite de securitate pentru 2019
• Cea mai bună protecție antivirus pentru 2019 Cea mai bună protecție antivirus pentru 2019
• Cea mai bună protecție antivirus gratuită pentru anul 2019 Cea mai bună protecție antivirus gratuită pentru 2019

De ceva timp am folosit un flux de eșantioane furnizate de MRG-Effitas în testul nostru de blocare a adreselor URL rău intenționate. Acest laborator lansează, de asemenea, rezultate trimestriale pentru două teste speciale pe care le urmăm. Testul de evaluare și certificare 360 ​​simulează protecția din lumea reală împotriva malware-ului curent, similar testului din lumea reală utilizat de AV-Comparatives. Un produs care previne complet orice infestare de către setul de probe primește certificarea de nivel 1. Certificarea de nivel 2 înseamnă că cel puțin unele dintre probele de malware au plantat fișiere și alte urme pe sistemul de testare, dar aceste urme au fost eliminate până la următoarea repornire. Certificarea bancară online testează în mod specific protecția împotriva malware-urilor și botnetelor financiare.

Efectuarea unui rezumat general al rezultatelor laboratorului nu este ușoară, deoarece laboratoarele nu testează toate aceeași colecție de programe. Am conceput un sistem care normalizează scorurile fiecărui laborator la o valoare de la 0 la 10. Graficul nostru de rezultate al laboratorului raportează media acestor scoruri, numărul de teste de laborator și numărul de certificări primite. Dacă un singur laborator include un produs în testare, considerăm că acesta este o informație insuficientă pentru un scor total.

Este posibil să fi observat că această listă de metode de testare nu acoperă rețelele private virtuale sau VPN-urile. Testarea unei VPN este foarte diferită de testarea oricărei alte porțiuni dintr-o suită de securitate, așa că am furnizat o explicație separată despre cum testăm serviciile VPN.