Malekal's forum

[Sacles]

Bonjour,

virustotal est il vraiment représentatif de l'efficacité des antivirus quand on voit que ce sont de très vieilles versions, kaspersky 4, bitdefender 7, etc, ?

Ce sont surtout les mises à jour des bases virales qui sont importantes.

Ce n'est pas parce qu'un antivirus passe de la version x à la version x + 1 que ses méthodes de scans évoluent.

Salut.

[cpasmafaute]

ok, merci...

[sungyam]

Bonjour, je passe pour la première fois sur ce forum et je dois dire qu'il m'a agréablement surpris.
J'ai par contre les même doutes au sujet des tests. En effet, les derniers antivirus intègrent de plus
en plus de protections qui ne sont pas présentes sur les anciennes versions.
En effet, la base antivirale est peut-être la même. Mais si un antirootkit est intégré à la nouvelle version, ce n'est pas pris en compte dans le test.
Il me semble surtout que ce test ne prend en compte que les versions gratuites des différents éditeurs.
Qu'en est-il d'un investissement dans un antivirus récent??
Et surtout dans une suite complète qui semble être plus à même de répondre aux différents type d'attaques virales.
Je suis de plus en plus dépassé par ces logiciels qui posent de plus en plus de questions auxquelles il est très difficile de répondre sans avoir fait des recherches très poussées. J'ai l'impression qu'il faut être chercheurs pour pouvoir utiliser un ordinateur sans risque.
Salut

[VertigO]

Salut,

Le plus important dans les tests est la base virale de l'antivirus, et non sa version (ce n'est souvent en effet que le changement de l'interface graphique, voir du moteur de recherche heuristique, correction de quelques bugs etc...).

En ce qui concerne les versions payantes, on peut regarder le cas de Norton et de McAfee... Ce ne sont pas les seuls, mais ce sont... des passoires... Disons que ce n'est pas parce que l'on paie que c'est meilleur... (A titre de comparaison: Windows / Linux; Internet Explorer / Mozilla FireFox...)

Pour les suites complètes à acheter... Cela dépend... Je conseillerai plutôt la suite Kaspersky à celle de Norton.

Amicalement,

[Malekal_morte]

Stats mise à jour.

[bab78]

Bonjour,

Je me suis inscris sur ce forum qui m'a été transmis par un ami pour réagir a ce topic.

Je souhaite simplement apporter ma contribution et remettre en cause les conclusions érronés que l'on pourrait faire a la lecture des tests présentés.

Je ne suis pas d'accord sur le fait que peut importe la version que l'on utilise tant que la base virale est à jour, en effet, meme si ce n'est pas toujours le cas les moteurs des editeurs évoluent la plupart du temps avec les nouvelles versions de produits ! Par exemple, si on installe aujourd'hui un antivirus quelconque mais de vielle version et qu'on le mets à jour, il va bien récuperer le fichier de signature mais ne saura pas le traiter son contenu dans son intégralité, lorsque le moteur va vouloir comparer le fichier entrant aux signatures qu'il connait, il ne le fera qu'avec les signatures qu'il est capable de lire

Les editeurs ne s'amusent pas à mettre en ligne un fichier de signature spécifique à chaque version de produits, il en mettent un seul et unique qui sera transmis à tous les produits.

De plus je ne comprends pas pourquoi VirusTotal utilise des versions à jours dans certains cas (genre Kaspersky) et des versions trés obsolétes dans d'autres cas ?

Par exemple, le moteur Bit defender version 7.2 n'incluait pas encore la technologie B-Have (analyse comportementale dans un environnement virtuel), c'est pourtant cette techno qui fais qu'aujourd'hui ce produit est trés bien noté dans les différents comparatifs. De plus les fonctionnalités Anti-Spyware chez BD ne sont arrivés de mémoire qu'a la version 9 ! Autant dire que la version utilisée par VirusTotal (et meme si elle est à jour) est une merde

Je cite Bit-Defender car je connais plus particulierement leurs produits, je suis persuadé que ses conclusions sont applicables a d'autres solutions obsolettes utilisées par Virus-Total.

Comme etre objectif quans à VirusTotal au vu de ses elements ? ca reste un trés bon site d'analyse en ligne (le systéme de passer tous les editeurs c'est bien, c'est un peu le coppernic des scans en lignes) mais il ne faut pas s'appuyer la dessus pour mettre en compétition les différents acteurs du marché !

Voila, je souhaitais apporter mon avis

Bonne continuation

++

[VertigO]

Salut,

Je ne te dirais qu'une chose:

Prends un virus récent connu par le dernier BitDefender. La base virale étant la même pour les différentes versions, ce que je pense est que si tu fais un scan sur le fichier infecté, il sera trouvé par toutes les versions de BitDefender (dont la base virale est à jour) !

Poste ensuite les résultats du test, que l'on puisse juger.

[Malekal_morte]

Au vu de ton post... quelques clarifications s'imposent...
J'essayerai de les reporter sur la page principale.. parce que tu n'es pas le premier à faire cette remarque...

Pour la question, VT est pas à jour blalbla, y a pas de débat VT est à jour au niveau de la définition virale.
C'est un service pour vérifier si le sample envoyé est détecté ou non.

Quel serait l'interêt de proposer un service avec des définitions virales qui ne soient pas à jour ? Aucune.......
Petit rappel Virustotal est utilisé par les éditeurs d'antivirus eux même, des sociétés de sécurités etc...
Donc si VT était pas à jour au niveau des détections, ça se saurait.

Pour moi, il n'y a pas de débat, VirusTotal est à jour et la version de l'AV proposé, on s'en fiche puisque de toute façon le but est de dire oui ou non si le sample proposé est détecté par la definition virale.
Ceux qui blalblaltent sur la définition virale ou pas, c'est que vous avez dû utiliser ce service une fois dans votre vie...
Après, le débat "oui mais certains AV ont des Sandbox" blalblalbla bha ouais.... mais c'est écrit en gros "not found" ça veut pas dire que le fichier n'est PAS infectieux.

Pour revenir à ce comparatif, j'ai jamais prétendu que c'est le test "Ultime", de toute façon, il n'y a pas de test "ultime".
Des comparatifs d'AV, tu peux en faire des milliers avec divers protocoles, les résultats seront différents.
Suffit de voir le comparatif de Clubic, tu prends celui de CastleCops qui se basent sur des scan VT, t'as un autre résultat etc....
Pour moi ce qui est clair, c'est qu'un test avec 95% de résultats, ça n'a aucun interêt, parce que je peux vous dire que pour arrivez à des scans avec des résultats comme ça, le sample il doit être bien vieux.
Je vois passer des scans tous les jours, un high score, c'est 50%, le reste du temps c'est plutôt 30% et déjà 30% t'es content. Pourquoi ? parce que ces fichiers en général, ça fait moins d'une semaine qu'ils sont sur la toile..

Ce test ne teste que la définition virale, avec des fichiers infectieux récents... c'est, je pense, clairement spécifié pour montrer la différence entre certains antivirus est là.

Alors oui il y a d'autres technos de protection, mais elles ont aussi des inconvénients, certaines demandent l'intervention de l'utilisateur, si le gars qui a l'antivirus comprend rien et qu'il fait accepter... ben elle sert à rien.
Après, y a aussi la configuration de la techno... ça joue bcp.

De toute façon, les AV les plus répandus en France, c'est Avast! / McAfee et Norton qui n'ont en général pas ces technos (surtout pour Avast!).
Si l'on prend Avast!, casi tout est basée sur la définition virale.. donc pas détecté = infection, détecté = c'est OK. On voit ce que ça donne sur le terrain.

Tout ça pour dire que y a pas de comparatifs parfaits, on peut tjrs en redire... mais dire que VT n'a pas de définition virale à jour, c'est n'importe quoi, excusez moi.
Ce comparatif, c'est juste pour montrer les détections sur des samples récents, ca n'a pas pour but de comparer toutes les artilleries proposées par les AV, il n'empêche que ce comparatif reflète une certaine réalité du terrain, je peux vous le dire et bien plus qu'un ClubIC avec 90% de détections avec des vers de 2004.

[Diamond]

J'ajouterais également:

Par exemple, le moteur Bit defender version 7.2 n'incluait pas encore la technologie B-Have (analyse comportementale dans un environnement virtuel), c'est pourtant cette techno qui fais qu'aujourd'hui ce produit est trés bien noté dans les différents comparatifs.

Bien sûr, mais l'analyse comportementale analyse le système et son comportement, comme son nom l'indique.
Comment veux-tu qu'il soit possible de déterminer de façon comportementale (j'avais envie de dire comportementalement mais ça existe pas ) si un fichier est infectieux sans l'avoir vu se comporter.
Comme il a déjà été dit, ce sont les signatures qui importent et à partir de là, les antivirus pourront te dire si le fichier leur paraît infectieux ou non.
Bon je repète mais je voulais dire ça.

[Malekal_morte]

Bien sûr, mais l'analyse comportementale analyse le système et son comportement, comme son nom l'indique.
Comment veux-tu qu'il soit possible de déterminer de façon comportementale (j'avais envie de dire comportementalement mais ça existe pas ) si un fichier est infectieux sans l'avoir vu se comporter.

A partir d'évènements.
Style installation d'un driver, ça peut potentiellement être un rootkit kernel
Hook sur tous les processus... ça peut être un keylogger selon quel Hook
Terminer des processus d'un antivirus etc..

C'est ce que font les HIDS.
Le truc.. c'est que tu n'es jamais sûr à 100% donc faut que l'utilisateur tranche, et comme en général, il y connait rien (ce qui est normal), ben voila..
Ensuite ça peut générer pas mal de faux positif, style Kaspersky Internet Security, il en fait pas mal.. avec sa Défense proactive etc... souvent des posts sur les forums.

Le gars qui installe MailSkinner ou le codec porno et qui reçoit une alerte durant l'installation à mon avis, il fait pas forcemment "Refuser".. surtout si l'installation précédente y a un faux positif sur un setup qui est sain.

[VertigO]

Le gars qui installe MailSkinner ou le codec porno et qui reçoit une alerte durant l'installation à mon avis, il fait pas forcemment "Refuser".. surtout si l'installation précédente y a un faux positif sur un setup qui est sain.

Je dirais même qu'il ne clique presque jamais sur "refuser", car dans son esprit, il sait ce qu'il veut, et ce qu'il veut est MailsKinner ou le codec, donc il clique sur "Accepter".

La plupart des gens fonctionnent comme çà avec les PC.

"Je veux çà. Oh t'as vu, y'a l'antivirus qui déconne encore, il met une alerte sur mon mailSkinner."

Jusqu'au moment où ils se rendent compte qu'ils se sont fait avoir. A moyenne comparaison: c'est comme un enfant qui voudra toucher la flamme jusqu'à ce qu'il se soit lui-même brulé. Après il le refait plus. (enfin... on sait tous que la dernière phrase n'est pas toujours vraie, que ce soit pour les virus ou pour la flamme )

[bab78]

Bonjour Vertigo,

Salut,

Je ne te dirais qu'une chose:

Prends un virus récent connu par le dernier BitDefender. La base virale étant la même pour les différentes versions, ce que je pense est que si tu fais un scan sur le fichier infecté, il sera trouvé par toutes les versions de BitDefender (dont la base virale est à jour) !

Poste ensuite les résultats du test, que l'on puisse juger.

Je suis désolé d’insister mais non ! Comme je l’ai écris dans mon 1er Post la base virale d’une solution antivirus utilisée est bien la même d’une version 2003 à une version 2008, là-dessus on est ok, le point sur lequel j’insiste, c’est sur le fait que la version 2003 d’un produit ne saura pas utilisé/lire/déchiffré/comprendre toutes les définitions qui sont dans le dernier fichier de signatures ! Par conséquent il ne sera pas aussi efficace face à un même malware pourtant renseigné dans le fichier de signature !
Je prendrais le temps ce week-end de chez moi de vous démontrer cela par l’exemple ! Pour Bit-Defender, le test serait crédible si la version utilisée était la 8.xxx, c’est à partir de cette version 8 que le moteur a évolué, et effectivement les résultats d’une v8 en analyse a la demande par rapport a une v11 actuelle serait quai similaire !

Bonjour Malekal morte

Pour la question, VT est pas à jour blalbla, y a pas de débat VT est à jour au niveau de la définition virale.

Désolé, mais la réponse est la même que celle faites à Vertigo ! A jour oui, ok ! La base virale de Bd par exemple comptabilise à ce matin 934000 définitions (je viens de mater il est installé sur mon pc au bureau  ) je te certifie que la version 7.2 utilisée par virusTotal ne sera pas en lire plus de 70%, car le moteur utilisé par cette version du produit en est tout simplement incapable !

Quel serait l'interêt de proposer un service avec des définitions virales qui ne soient pas à jour ? Aucune.......

Mais les définitions sont à jour, la dessus y a pas de soucis, c’est le moteur permettant de les traiter qui ne l’est pas ! L’interet d’un tel site est de se faire une autre opinion que celle de son antivirus installé.

Petit rappel Virustotal est utilisé par les éditeurs d'antivirus eux même, des sociétés de sécurités etc...
Donc si VT était pas à jour au niveau des détections, ça se saurait.

Je travaille depuis 8 ans dans l’informatique et plus précisément dans la sécurité (chez différents éditeurs), je tiens à préciser que je n’ai jamais utilisé ou vu quelqu’un du métier s’appuyer sur se site pour analyser quoi que ce soit, certes les éditeurs utilisent parfois les technos concurrentes pour en évaluer les performances, mais ils disposent dans ces cas de machines virtuelles (type VwWare) avec des solutions à jour au niveau moteur et fichier de signatures.

Pour moi, il n'y a pas de débat, VirusTotal est à jour et la version de l'AV proposé, on s'en fiche puisque de toute façon le but est de dire oui ou non si le sample proposé est détecté par la definition virale.
Ceux qui blalblaltent sur la définition virale ou pas, c'est que vous avez dû utiliser ce service une fois dans votre vie...

Je te trouve un peu rapide dans ta conclusion, as-tu toi-même tester sur plusieurs échantillons avec un fichier de signature similaire mais des versions de moteurs différentes pour affirmer cela ?

Pour revenir à ce comparatif, j'ai jamais prétendu que c'est le test "Ultime", de toute façon, il n'y a pas de test "ultime".
Des comparatifs d'AV, tu peux en faire des milliers avec divers protocoles, les résultats seront différents.

Je n’ai jamais prétendu que tu avais di cela non plus, et sur les différences entre les résultats des différents tests, on est 100% d’accord, aucun ne disent la même chose !

Bonjour Diamond,

Tout ça pour dire que y a pas de comparatifs parfaits, on peut tjrs en redire... mais dire que VT n'a pas de définition virale à jour, c'est n'importe quoi, excusez moi.

J’insiste, mais moi non plus je n’ai jamais dis ca ! je parle du moteur !

J'ajouterais également:

Par exemple, le moteur Bit defender version 7.2 n'incluait pas encore la technologie B-Have (analyse comportementale dans un environnement virtuel), c'est pourtant cette techno qui fais qu'aujourd'hui ce produit est trés bien noté dans les différents comparatifs.

Bien sûr, mais l'analyse comportementale analyse le système et son comportement, comme son nom l'indique.
Comment veux-tu qu'il soit possible de déterminer de façon comportementale (j'avais envie de dire comportementalement mais ça existe pas ) si un fichier est infectieux sans l'avoir vu se comporter.
Comme il a déjà été dit, ce sont les signatures qui importent et à partir de là, les antivirus pourront te dire si le fichier leur paraît infectieux ou non.
Bon je repète mais je voulais dire ça.

Tu as tout à fais raison sur ce point, mais je me suis permis d’écrire ça à propos des technos Hips ect.. car elles ont un réel impact sur les résultats d’un antivirus, on parle là sur VirusTotal d’analyse a la demande, mais concrètement ce qui intéresse les utilisateurs d’antivirus, c’est d’être protégé en temps réel, au moment ou le fichier se présente aux porte du pc ! Si ce dernier n’est pas réferencé dans la base virale de l’editeur, c’est bien d’avoir une deuxieme barriére capable d’identifier et de bloquer le fichier en question, après je suis d’accord, ce type de méthodes ne doit pas generer trop de faux positifs ……
Et puis cette remarque me semblait pertinente à la lecture ce cette phrase :

je rappelle que ce sont des statistiques sur des droppers qui sont très récents donc en règle général casi inconnnu, ceci montre donc :
- le temps de réactivité des éditeurs de sécurité
- la qualité de la détection heuristiques et autres techniques utilisés sur les malwares inconnus pour les détecter.

En tout cas merci de vos réponses, je trouve ce forum trés bien et les discussions qui y ont lieu sont trés interessantes Bonne continuation et bonne journée

[Malekal_morte]

Je suis d'accord sur ton raisonnement de moteur/version signatures sur une version grand public.
Sauf que pour VT, il en est autrement.

Es-tu allé voir les posts de scan VT des vers MSN qui sont donnés dans l'article Antivir VS Avast! ?
On voit bien l'évolution des détections jour par jour de fichiers récents... donc ton raisonnement pas dernier moteur, pas dernière définition virale ne tient pas la route, puisqu'on voit bien la détection de nouvelles infections.

Je répète encore et encore, VirusTotal est utilisé entre autre par les éditeurs d'antivirus pour vérifier la détection d'un sample Nouveau.
Concrètement, si demain, une variante ou nouvelle infection sort et qu'il y a 0 détection.. si je l'envoie à BitDefender et que je refais un scan sur VirusTotal on y verra bien l'ajout de cette variante dans la base de définition virale de BitDefender et ceci pour tous les autres antivirus.

Je répète encore et encore, les détections données par VirusTotal reflètent bien la réalité. Je peux comprendre que la version de l'antivirus ça te peut te choquer mais VirusTotal donne bien l'évolution des détections par les définitions virales.
J'ai accès à un forum américain où des entreprises de sécurités vont, des éditeurs antivirus (Panda, Kaspersky, BitDefender, Antivir, Prevx1 etc..).
On y dépose de nouvelles infections scan VirusTotal et on leur envoit où ils viennent les prendre.
Tout est basé sur les détections VirusTotal, si VirusTotal ne reflétait pas la réalité... on l'utiliserait pas...

Si les posts sur Zebulon n'arrivent pas à te convaincre, je peux te faire la démo d'un fichier mal détecté. avec Antivir & Kaspersky (Je suis pas trop en contact avec BitDefender).
Ca t'irait une démonstration détection d'un fichier non détecté, envoie à Antivir & Kaspersky, réponse de leurs parts disant qu'ils ont ajouté dans la def virale, scan VirusTotal derrière pour montrer qu'il est détecté?

Je pourrai t'envoyer le fichier si tu n'as pas confiance pour que tu fasses toi meme le scan sur VirusTotal.

Tiens pendant que je parle... quelqu'un qui post avec un BitDefender v10 pour une infection relativement répandue : viewtopic.php?f=3&t=5727
La techno dont tu parles a failli !
(à prendre au second degré!)

[bab78]

Re bonjour,

Je suis d'accord pour faire le test que tu proposes mais certainement pas avec Kaspersky ou Antivir, les versions utilisés sur ses produits par virustotal sont quasiment les plus récentes, donc mon analyse ne peut pas s'y appliquer, heureusement que Kaspersky derniere version est capable de lire le dernier fichier de signature, ce serait grave sinon !

Faisons ce test avec Bit-Defender, trouve moi une nouvelle souche non détectée par un BD 11, transmets la moi, je la fais rajouter dans le fichier de signature, on refais un scan 48h aprés via virustotal qui prend en compte la mise a jour et tu constateras par toi meme que malgré la mise a jour base virale, le moteur 7.2 passera au travers !

Pour ce qui est de l'infection de la personne qui posséde une BD v10, je n'ai jamais dis que leur produit etait parfait loin de là !

Je dis juste, et j'insiste que sur ce cas précis, une BD 7.2 ne sait pas lire dans son intégralité le dernier fichier de signature BD ! je sais de quoi je parle, je travaille chez eux (j'ai également bossé chez un autre éditeur, et le discours est le meme) ! maintenant je post ici sans aucun parti pris, d'ailleurs normalement je ne devrais pas le faire ! Je m'en fous moi de qui est le meilleur ou pas, c'est pas mon job, mais ce que je dis sur ce produit et les capacités de cette version là (la BD 7.2 qui date de 2003), je l'affirme !

et au fait, ca y est t'en a un de contact chez Bit-Defender ;)

Je vais m'arreter là pour today, j'ai un taf monstrueux qui m'attend, je repasserais ce soir

++

[Malekal_morte]

OK, sachant que le test a par exemple déjà était fait là : http://forum.zebulon.fr/index.php?showtopic=131535
et là sur des variantes de Juillet : http://forum.zebulon.fr/index.php?showtopic=123168
La base s'arrete pas en 2003.
(Tu remarqueras que sur le second lien, Kaspersky était en v4 et pourtant il détectait les nouvelles variantes).

Si le test est négatif, j'enlèverai BitDefender de la liste, ça c'est clair.
M'enfin tester sur un seul exemple c'est pas très parlant (je pense que tu seras d'accord).