Августовское тестирование антивирусных продуктов VirusBulletin100, проводимое одним из авторитетных британских журналов, впервые за свою историю прошло без участия российского антивируса Dr.Web. Вендоры защитного ПО замечают, что методика VirusBulletin100 перестает отвечать требованиям испытания антивирусных продуктов.
Российский Dr.Web отказался проходить августовское тестирование антивирусных программ VirusBulletin100. Это первый случай отказа российского антивирусного производителя от испытания, проводимого одноименным британским журналом
Суть тестирования VB100 заключается в проверке антивирусным модулем коллекций «диких вирусов» (Wildlist) и «чистых файлов» (Clean Sets). Антивирус, не пропустивший ни одного экземпляра из первого списка и не «назвавший» вирусом ни одного файла из второго списка, удостаивается награды VB100%.
Однако, как утверждают независимые вирусные аналитики, в последнее время эта методика сильно устарела и не может считаться адекватной для определения качества антивируса. Это связано с тем, что тестеры не раскрывают состав обоих коллекций, но известно, что Wildlist пополняется крайне медленно и только определенными типами вирусов — под Windows. Претензии со стороны антивирусных вендоров также касаются и количества вирусов в коллекции — апрельский VB100 проходил на 700 вирусах, а августовский увеличился всего лишь на несколько десятков семплов.
Кроме тестирования на Wildlist, специалисты VirusBulletin дополнительно выводят результаты тестирования на собственной подборке вирусов (колонки Worms, File inspectors, Polimorphic и Trojans), которые не влияют на получение награды VB100. По мнению Ивана Стогова, эксперта портала Anti-Malware, антивирусные вендоры выходят из теста Virus Bulletin, так как признают его методику несоответствующей действительности. Эти демарши Trend Micro и Dr.Web (а первый из них совершила Panda Antivirus еще в 2003 г.) являются попыткой показать ущербность VB100 в его настоящем состоянии.
Как отметил Борис Шаров, директор Dr.Web, подборка VirusBulletin покрывает всего лишь 10-15% всего вредоносного ПО: «Основным критерием составления Wildlist является реплицируемость (воспроизводимость) вирусов, поэтому различные полиморфные троянские программы, составляющие до 80% детектируемых вирусов, не входят в нее. По этой причине судить о качестве антивируса по прохождению теста на таком малом количестве материала не приходится».
«Оставшиеся в тесте вендоры, такие как Eset и Symantec (особенно первый) уже исторически строят свою рекламную стратегию на VB100% и специально затачиваются под его прохождение. Критиковать, а тем более выходить из этого теста для них абсолютно невыгодно. Другие же, как «Лаборатория Касперского», понимают, что тест несовершенен, но участвуют в нем по инерции», — добавляет Иван Стогов.
Несколько другой точки зрения придерживается Виталий Янко, коммерческий директор Agnitum: «Несмотря на частично обоснованные заявления о "потере тестом и наградой VB100 веса и авторитета" в резюме последнего отчета VB100, доступного подписчикам, сообщается о значительном пересмотре методик, которые будут отработаны в ходе ближайших тестирований. Там же даны обещания "усложнить жизнь" многим решениям, которые ранее претендовали на награду или получали ее». В своем комментарии CNews, господин Янко, подчеркнул, что отсутствие в VB100 Dr.Web и Trend Micro продиктованы «разными причинами — для одной компании это скорее причины технического характера, а для другой — политического».
Напомним, что компания Trend Micro объявила о своем выходе из тестов VB100 еще в начале июня, критикуя организаторов за недостаточно корректный с точки зрении состояние современных вирусных угроз метод оценки качества антивирусов.
Интересно, что скептически к VB относится и успешно прошедшая тест «Лаборатория Касперского». «Несмотря на то, что мы участвовали в августовском тесте и получили награду VB100%, наше отношение к данному тесту остается неизменным. Мы считаем, что методология теста страдает множеством изъянов, на которые мы не раз указывали. Мы продолжаем участвовать в тестах VB, поскольку, к сожалению, до сих пор многие заказчики воспринимают количество наград VB100% как некий значимый критерий качества антивируса и даже выставляют этот параметр как одно из условий тендеров по выбору антивирусной защиты. Тем не менее, мы рассматриваем возможность выхода из тестов VB, в том случае, если методология тестирования не претерпит изменений», — заявил CNews руководитель отдела стратегического маркетинга «Лаборатории Касперского» в регионе EEMEA Олег Гудилин.
