Unabhängige Antivirus-Tests 2014: Interessante Ergebnisse!

Wir bei KL bleiben immer am Ball. Wir wollen uns immer weiter verbessern. Unsere Forschungen, unsere Entwicklungen, unsere Partnerschaften, unsere… ja – alles. Aber, um uns laufend zu verbessern – und auch noch in die richtige Richtung –, müssen wir alle in Richtung eines allumfassenden Ziels oder einer Mission streben. Hier kommt unser Motto ins Spiel.

Unsere Aufgabe ist es, die Welt vor Cyber-Bedrohungen aller Art zu retten. Doch wie gut sind wir darin? Immerhin haben viele, wenn nicht sogar alle, Antivirus-Hersteller ähnliche Mottos. Was wir und – noch viel wichtiger – die Anwender wissen müssen, ist, wie gut wir bei unserer Mission sind – verglichen mit all den Anderen…

Dafür werden verschiedene Methoden verwendet. Und eine der wichtigsten sind die Expertentests der Produkt- und Technologiequalität durch unabhängige Testlabors. Das ist eigentlich ganz einfach: Je besser das Ergebnis in diesem oder jenem Bereich – oder in allen Bereichen –, desto besser schlägt sich unsere Technologie bei der Bekämpfung von Cyber-Krankheiten und rettet damit die Welt objektiv besser :-).

Die Frage ist nur, welche der Hunderte von Tests aller weltweit tätigen unabhängigen Testlabors soll man zur Einschätzung verwenden? Ich meine, wie kann man all die Daten sortieren, so dass man harte, bedeutungsvolle sowie leicht zu verstehende und vergleichbare Ergebnisse bekommt? Zudem ist da das Problem, dass es nicht nur Hunderte Testlabors gibt, sondern auch Hunderte von Antivirus-Herstellern. Wie kann man all das aussieben, um die Spreu vom Weizen zu trennen und dann den besten Weizen miteinander zu vergleichen? Es gibt noch ein weiteres Problem (eigentlich kein sehr kompliziertes, versprochen – Sie werden sehen 🙂 ): Das Problem der voreingenommenen oder selektiven Testergebnisse, die kein Gesamtbild zeigen. Das ist der Stoff, aus dem Werbung und Marketing seit dem Jahr Null bestehen.

Vor einigen Jahren haben wir deshalb die folgende, einfache Formel für offene, genaue, ehrliche Antivirus-Bewertungen erstellt: die Top-3-Bewertung.

Wie funktioniert diese Bewertung?

Zunächst müssen wir sicherstellen, dass wir die Ergebnisse der Vergleichstest aller bekannten und renommierten, komplett unabhängigen Testlabors aus einem bestimmten Zeitraum nehmen. Dann müssen wir alle verschiedenen Arten von Tests der ausgewählten Labors für alle teilnehmenden Hersteller mit dazu nehmen. Zuletzt müssen wir noch folgende Punkte bedenken: (I) die Gesamtzahl von Tests, in denen jeder Hersteller teilgenommen hat; (II) der prozentuale Anteil von „Goldmedaillen“; und (III) der prozentuale Anteil von Top-3-Platzierungen.

Damit bekommen wir Einfachheit, Transparenz, bedeutungsvolles Aussieben und kein verzerrtes „Test-Marketing“ (leider gibt es so etwas). Natürlich wäre es möglich, in diese Matrix weitere, sagen wir mal 25.000 Parameter aufzunehmen – für die zusätzlichen 0,025 Prozent an Objektivität. Doch das würde nur die technologischen Narzissten und andere Geek-Nerds befriedigen, und wir würden den normalen Anwender verlieren… und vielleicht auch den ein oder anderen nicht so normalen Anwender.

Um es zusammenzufassen: Wir nehmen einen bestimmten Zeitraum, ziehen alle Tests aller Testlabors – mit allen Herstellern – hinzu und vernachlässigen nichts (auch keine schlechten Resultate in diesem oder jenem Test) – und das gilt natürlich auch für Kaspersky Lab.

Also gut. Das war die Theorie. Bringen wir diese Methode nun in die echte Welt – im Jahr 2014.

Zunächst ein paar technische Details und Hinweise für alle Geeks und Nerds. Das buchstäblich Kleingedruckte:

• Wir haben die Vergleichstests des Jahres 2014 von acht Testlabors (mit jahrelanger Erfahrung, der entsprechenden technischen Ausstattung (die ich selbst gesehen habe), außergewöhnlicher Branchenabdeckung (sowohl von Herstellern als auch unterschiedlicher Schutztechnologien), sowie ausschließlich Mitglieder von AMTSO) berücksichtigt: AV-Comparatives, AV-Test, Anti-Malware, Dennis Technology Labs, MRG EFFITAS, NSS Labs, PC Security Labs und Virus Bulletin. Eine ausführliche Erklärung der Methodologie finden Sie in diesem Video und diesem Dokument.
• Nur Hersteller, die in mindestens 35 Prozent der Tests mitgemacht hatten, wurden berücksichtigt. Ansonsten könnte es passiere, dass ein „Gewinner“ herauskommt, der nur in einigen wenigen Tests gut abgeschnitten hatte, in den meisten anderen aber nicht so gut gewesen wäre – wenn er denn dabei mitgemacht hätte (in diesem Schritt filtern wir das unechte Test-Marketing heraus).

Soooo… wenn man die Testergebnisse des Jahres 2014 analysiert, erhält man……..

….Trommelwirbel startet….

….Münder stehen offen….

….Atem wird angehalten….

….man erhält das hier!:

Auf der X-Achse steht die Zahl der Tests an denen ein Hersteller teilgenommen hat. Auf der Y-Achse steht der Prozentsatz der Top-3-Platzierungen jedes Herstellers in allen Tests. Der Umfang der Kreise zeigt die Zahl der Goldmedaillen.

Nun, nun, nun. Schauen Sie sich das einmal an.

(Kurz noch etwas für die Zyniker: Bevor Sie nun sagen „Ah, aber natürlich…“, möchte ich Sie bitten, sich die oben beschriebene Methodologie noch einmal durchzulesen. Wenn Sie Fragen, Kommentare oder Einsprüche haben, schreiben Sie diese bitte in die Kommentare unten.

Diese Goldmedaillen-Ergebnisse lassen mir nur eines: Unserem Forschungs- und Entwicklungsteam und allen anderen KLern zu gratulieren, die uns dabei geholfen haben, diese Meisterschaft zu gewinnen. Ich möchte auch all unseren Partnern, Kunden, Zulieferern, Freunden, Freundinnen, Familien und Verwandten danken – und auch meinem Produzenten, dem Regisseur und natürlich Gott. Ich gratuliere ihnen allen zu diesem außergewöhnlichen, verdienten und beeindruckenden Sieg! Macht so gut weiter und rettet die Welt! Hurra!

Aber das ist noch nicht alles! Jetzt kommt noch die Nachspeise – für die anspruchsvolleren Kenner der Antivirus-Branche…

Die Methode, die ich oben beschrieben habe, wird schon seit drei Jahren angewandt. Sie funktioniert. Ein Grund dafür ist ihre Fähigkeit, mit dem Kritikpunkt „alle Waschmittel sind gleich“ umzugehen. Ja, ja, es stellt sich heraus, dass alle Antivirus-Programme im Bereich des Schutzes und der Funktionalität ziemlich gleich und immer noch Alive And Kicking sind. Und hier ein paar kuriose Beobachtungen, die aus diesem Vergleich kommen:

• Es gibt heute mehr Tests (im Jahr 2013 nahmen die Hersteller durchschnittlich an 50 Tests teil, im Jahr 2014 waren es 55). Dadurch ist es schwerer, zu gewinnen (die Wahrscheinlichkeit, in die Top 3 der Tests zu fallen reduzierte sich von 32 auf 29 Prozent).
• Drei Hersteller fielen bei der Anzahl der Top-3-Platzierungen zurück: Symantec (-28%), F-Secure (-25%) und Avast (-19%).
• Drei andere Hersteller schafften genau das Gegenteil. Ihre Top-3-Platzierungen wurden zahlreicher: Trend Micro (+16%), ESET (+12%) und Panda (+11%).
• Interessanterweise ändern sich die relativen Positionen der Hersteller zueinander nicht sehr. Nur zwei Hersteller konnten ihre Top-3-Platzierungen um mehr als fünf Prozentpunkte verbessern. Das zeigt, dass die Schutzqualität nicht nur durch Signaturen bestimmt wird, sondern durch die vielen Jahre, in denen sorgfältig investiert und innovative Technologie entwickelt wird; Signaturen von anderen zu stehlen bringt einen Hersteller nirgendwohin.
• Für die wahren AV-Test-Gourmets: Die obersten sieben Top-3-Gewinner haben doppelt so viele Auszeichnungen gewonnen wie die restlichen 13 (240 Top-3-Platzierungen gegenüber 115) und 63 Prozent aller Goldmedaillen eingesackt. Oh, und 19 Prozent aller Goldmedaillen wurden von einem einzigen Hersteller gewonnen – können Sie sich denken, welcher das ist? 🙂

Und… die große Schlussfolgerung:

Tests sind eines der wichtigsten Kriterien bei der Auswahl einer Schutzlösung. Immerhin glauben die meisten Anwender einer amtlichen, unabhängigen Quelle eher als einem schönen Booklet, das – seien wir ehrlich – immer behauptet, das Produkt sei das beste. Alle Hersteller verstehen das sehr gut, doch jeder entscheidet sich aufgrund seiner technologischen Fähigkeiten. Manche tendieren dazu, sich viel um die Qualität zu sorgen und verbessert den Schutz laufend, während andere die Ergebnisse manipulieren: ein einziges Zertifikat pro Jahr, die Medaille fest ans Revers geheftet und schon denken sie, sie sind die großen Herausforderer. Nein. Tut mir leid. Dem ist nicht so. Wir brauchen bitte das Gesamtbild, um nicht nur bestimmte Testergebnisse bewerten zu können, sondern auch die Häufigkeit der Teilnahme.

Deshalb sollten die Anwender die Auswahl nicht auf die leichte Schulter nehmen – und nicht zulassen, hinters Licht geführt zu werden :-).

Das war’s für heute. Viele Grüße!