Секс, ложь и исследования киберпреступлений
Статьи 17 декабря 2012 •  therunet

Секс, ложь и исследования киберпреступлений

17 декабря 2012
Динеи Флоренцо, Кормак Херли Microsoft Research
Main_runet11

Значительный объем информации о киберпреступности основывается на опросах. Но можем ли мы им доверять? В 1983 году в исследовании Федерального Резерва был неправильно записан всего один ответ, что привело к завышению дохода американских домохозяйств на $1 трлн. – более 10% общей величины. В 2006 году из исследования по краже личных данных, проводившегося Федеральной комиссией по торговле США, ответы двух респондентов были исключены из итогов как не соответствующие теме исследования. Если бы их все же включили, итоговый результат увеличился бы на $37,3 млрд. – почти в три раза.

Известный факт: в опросах, исследующих сексуальное поведение, мужчины, как правило, сообщают о большем числе женских сексуальных партнеров, чем женщины – о мужских (что невозможно). Разница в результатах достигает от 300 до 900%. Судя по всему, большинство мужчин немного преувеличивают, а женщины – слегка преуменьшают число партнеров. Итоговый результат мог бы получиться верным, если бы не малое число мужчин (около процента), заявляющих, скажем, о сотне партнеров. Для коррекции одного ответа, удвоившего результат (с 50 до 100) потребовалось бы шестнадцать мужчин, уменьшивших свой ответ вдвое.

Как же так получается? Почему оценка настолько ненадежна, что может исказить картину на огромные величины от одной-единственной ошибки? Все три примера объединяет то, что исследуемый феномен крайне неравномерно распределен по генеральной совокупности (богатство, кража личных данных или число сексуальных партнеров), и небольшое количество выделяющихся случаев сильно влияет на итоги, причем каждый раз в сторону увеличения. Далеко не все понимают, что это также относится и к оценкам ущерба от киберпреступности, а меры, которые бы позволили избежать ошибок, игнорируются.

Общепринятый способ оценки неизвестных величин среди большой генеральной совокупности – опросы. Если исследуемый феномен равномерно распределен среди населения, главной задачей становится достижение репрезентативной выборки: по возрасту, этническому и демографическому составу. Такая задача стоит, например, у исследователей-социологов. Если же нам нужно получить количественную оценку, картина меняется. Во-первых, многие величины, такие как доход, например, неравномерно распределены, и репрезентативная выборка населения не будет репрезентативной картиной его дохода. В США на верхний 1% и нижние 90% приходится примерно одинаковая доля национального богатства. В выборке из тысячи человек будет всего десять представителей «богачей». Даже одного случая ошибки в записи результатов, преувеличения, лжи со стороны респондента будет достаточно для искажения итогов. Более того, самостоятельные оценки респондентов имеют тенденцию к завышению результатов. Наконец если мы исследуем редкий феномен, то может быть значительное количество не ответивших на вопросы, с одной стороны, и преувеличенных или лживых ответов – с другой. То есть соотношение сигнал/шум таково, что точная оценка не может быть получена при любом размере выборки.

Все эти ошибки присущи исследованиям о киберпреступности. Ущерб от них сконцентрирован, так что репрезентативная выборка не дает подлинной картины. Достаточно малое количество субъектов сталкиваются с киберпреступностью. Сообщаемые данные никак не защищены от преувеличений и их сложно проверить: в случае с сексуальными партнерами мы хотя бы можем опросить другую сторону!

Sex, Lies and Cyber-crime Surveys

В криминалистике известно, что доля ответивших респондентов – жертв преступлений – значительно выше или ниже обычного, в зависимости от природы преступления. То есть итоговая выборка будет значительно искажена.

Множество показателей неравномерно распределено среди населения. Некоторые, например рост или вес, подчиняются нормальному распределению – с поправкой на то, что они не могут быть отрицательными и стремиться к бесконечности. Разница вдвое для роста уже выходит за рамки. А вот доходы, например, концентрируются в руках небольшого числа людей и лучше описываются такими распределениями, как Парето (80% богатств сконцентрировано в руках 20% населения). В таком распределении средняя величина значительно выше медианы. Концентрация ведет к тому, что получить действительную оценку сложно, только если не проводить соответствующий масштабный опрос, а результаты, как мы уже упоминали выше, легко подвергаются искажению. Трудность в измерении таких феноменов известна: так, американское исследование потребительских финансов использует многослойную выборку. Сначала опрашиваются представители почти четырех тысяч домохозяйств, отобранных репрезентативно от всего населения США, на втором этапе – пятьсот домохозяйств из двух наиболее высоких групп по доходам (выше $50 млн. и выше $300 млн.). Подобный подход позволяет получить гораздо более точную картину «тяжелого хвоста». Значительные усилия также принимаются к сокращению доли отказов (богачи реже соглашаются участвовать в опросах, что не удивительно).

Концентрация в опросах по киберпреступности неслучайна. Так, в исследовании Gartner от 2007 года по фишингу средние убытки составили $857, но медиана – всего $200. Распределение Парето с такими величинами было бы эквивалентно тому, что 59% убытков пришлось на 1% опрошенных. В исследовании IC3 2010 года на 1% приходилось бы уже 78% убытков. Бюро статистики Министерства Юстиции США выпускает данные по краже личных данных дважды в год, в них разница между средним и медианным значением убытков обычно десятикратная. Необходимо понимать, что этот 1% вполне может оказаться всего лишь одним респондентом. К сожалению, большинство исследований сообщают только средние значения, затрудняя дальнейший анализ результатов.

Если бы мы могли доверять ответам респондентов, ошибки в методике исследования было бы не так сложно исправить. К сожалению, самостоятельные оценки респондентов, как правило, не отличаются точностью. К примеру, люди слишком оптимистичны в оценке количества потребляемых калорий и физической активности (примерно на 50%). Причины таких расхождений бывают разными. Так, в нескольких опросах по киберпреступности респонденты оценивали, сколько получил вор (а не убыток жертвы). Поскольку людей просили оценить то, чего они не знают точно сами, они обычно преувеличивают. Расплывчатые и неточные формулировки подталкивают людей к включению в оценку нерелевантных факторов. Например, отнесение к сетевому мошенничеству отрицательного опыта покупки на EBay или воображаемого убытка от «кражи интеллектуальной собственности». Жертвы могут быть обозлены и в таких случаях особенно склонны преувеличивать ущерб. Наконец, заметная доля опрашиваемых просто выдумщики или лжецы.

Богатство концентрируется у небольшой доли населения, но, по крайней мере, любого человека можно использовать в соответствующем опросе. Если же явление (такое, как киберпреступность) затрагивает лишь небольшую долю людей, скажем 5%, то 95% для опроса бесполезны, более того – могут исказить картину ложью. В исследовании Gartner лишь 3,2% опрошенных сталкивались с фишингом, в исследовании Javelin – 1,7%! Данные по ущербу в них буквально зависели от ответов пары человек.

При проведении подобных исследований нас часто интересует не только средняя, но и общая величина. Если мы проводим опрос среди тысячи человек для страны с населением в 200 млн., каждый доллар, названный респондентом, транслируется в $200 тысяч. Респондент, заявивший о $50 тысячах ущерба от кражи личных данных, добавит $10 млрд. убытка по стране. Разнобой в данных отчетов встречается часто. Исследование Федеральной комиссии по торговле США говорит о $47 млрд. ущерба в 2004-м, $15,6 млрд. в 2006-м и $54 млрд. в 2008 г. Или в 2006 году по какой-то причине произошел резкий спад числа киберпреступлений, или же оценка никуда не годится. За последние пару лет встречались оценки убытков от киберпреступности в диапазоне от $560 млн. (Cisco) до $1 трлн. (AT&T).

На что обращать внимание, решая, доверять ли результатам? Во-первых, разумеется, на отсутствие подробной методологии. Во-вторых, на соотношение между средним значением и медианой. Для распределения богатства в США оно равно 4,12 – и уже при таком значении требуются дополнительные выборки. Если соотношение еще больше, то для получения надежных результатов требуется огромная выборка. Например, в исследовании Министерства Юстиции США от 2008 года участвовало 56,5 тысячи человек. Кража или копирование кредитных карт часто не требует высоких технических навыков и затрагивает заметную долю населения (до 5%). В то же время лишь 0,2% респондентов сталкивались с фишингом, то есть для достижения одинаковой точности потребовалось бы опросить более миллиона человек. Оценки, не сообщающие медианное значение или меру концентрации, также могут быть отброшены. Сокрытие меры концентрации – такой же вопиющий факт, как сокрытие размера выборки.

Наше мнение о качестве исследований по киберпреступности таково: они настолько скомпрометированы и предвзяты, что их результатам нельзя верить. Мы не одиноки в такой оценке: большинство ученых, знакомых с данными исследований, пришли к таким же негативным выводам. Существует не только недостаток надежной статистики, но значительная часть данных собирается заинтересованными сторонами: провайдерами услуг по информационной безопасности и правоохранительными органами. Наука опросов сложна. Ошибки могут быть сделаны даже опытными исследователями, а для концентрированного и редкого явления, такого как киберпреступность, нужна особая осторожность в обращении с данными, ибо каждая даже небольшая ошибка усиливается многократно.

Источник: Sex, Lies and Cyber-crime Surveys

Комментарии 0
Зарегистрируйтесь или , чтобы оставлять комментарии.
Войти с помощью: