Статистический первопост.

+167
cthulhu314в блоге IT Pony!24 апреля 2013, 00:16
Всем привет!
Мне стало интересно, а какие же в среднем пользователи составляют Табун. Конечно же, статистика лжёт, но хоть какое представление получить можно. Собирал данные по возрасту, полу и карме.
Для этой цели была написана мелкая программа на F#, если кому интересно, то код можно найти здесь. Исходные данные в формате csv можно найти тут

Сразу предупреждаю, что я не специалист в области анализа данных и толком не разбираюсь в матстате, так что буду благодарен оставленным замечаниям и указанием на ошибки. И буду рад увидеть чью-нибудь ещё аналитику по этим данным. И да, извините за сумбурную манеру изложения, у меня сегодня был долгий и нервный день. Сама статистика под катом.


Теперь можно посмотреть и результаты. В данном исследовании рассматривались только те, кто указал одновременно возраст и пол.

Всего таких пользователей оказалось: 2064 из 10720.
Из них 1431 парней и 529 девушек.

Средний общий возраст Табуна составил 18.9 лет. Но эта цифра не очень точна, т.к. учитывались пользователи с откровенно нереальными датами рождения. Например, существует пик примерно в 50 пользователей на возрасте в 73 года, и очень не вероятно, что это их реальные данные. И если выделить нормальные возраста, то средний уже составляет 19.7
Так же интересно существование пользователей рекордсменов: 1017 летняя девушка и -7978 (!) летний юноша. Было бы интересно, если бы они пришли в комментарии и рассказали бы о том, как живется в прошлом и будущем.
Из-за таких результатов было решено разделить пользователей на три группы и рассматривать остальные данные внутри их: от 6 до 17 лет, от 18 до 49, от 50 до 120. Так как возрасты основной массы брони лежат именно в этих промежутках, остальных я пока откинул в силу из малочисленности.

Распределение людей по группам:
От 6 до 17: 703
От 18 до 49: 1257
От 50 до 120: 97
Вне этих групп всего 7 человек.

Вот гистограммы распределений возрастов в этих группах:
6 — 17

18 — 49

В предыдущих гистограммах интерес вызывает только пик пользователей на 14 годах. Причём он является модой данного распределения. Мне кажется, что он может объясняться тем, что MLP первоначально рассчитано, в том числе и а такую аудиторию.

50 — 120

Далее меня заинтересовало, есть ли разница в возрасте в зависимости от пола.
Средний возраст юношей: 20.6
Средний возраст девушек: 17.1
Эти результаты вполне предсказуемые и не вызывают особого удивления.

А теперь снова идут гистограммы, только теперь отдельно для разных полов и групп:

м. 6 — 17

ж. 6 — 17

Сравнивая две предыдущих гистограммы можно опять явно выделить ЦА MLP. Но вот пик именно на 14 годах меня очень интересует. Может кто-то сможет объяснить, почему он такой резкий?

м. 18 — 49

ж. 18 — 49

Эти гистограммы показывают обычную правую часть нормального распределения. Видно, что большинство юношей сосредоточены именно в этой области и центр распределения сдвинут к ~20 годам, а у девушек он находится левее. Так что даже ничего интересного, но зато чувствуется реальность полученных данных.

м. 50 — 120

ж. 50 — 120

А вот тут интересны пики на возрасте в ~ 50 лет и на 73 годах, причём если первый наблюдается только у юношей, то второй и у девушек тоже. Его разве можно попробовать объяснить тем, что 1940 — это красивое число.

Далее можно рассмотреть статистику по карме.

Распределение средней кармы по группам:
Средняя карма по группам: 434
Средняя карма по 6 — 17: 161
Средняя карма по 18 — 49: 587
Средняя карма по 50 — 120: 65

Такую низкую среднюю карму у людей с большим возрастом можно объяснить тем, что фейковый возраст часто ставят себе именно желающие потроллить.

Гистограммы средней кармы по возрастам:

6 — 17

18 — 49

50 — 120

Вот что интересно: нет тут ни одного нормального распределения. Видимо карма подчиняется каким-то своим законам :3

м. 6 — 17

ж. 6 — 17

Любопытно, что в этих группах у юношей средняя карма растёт с возрастом, а вот у девушек карма ведёт себя не столь очевидно.

м. 18 — 49

ж. 18 — 49

А вот тут уже растёт с возрастом карма у девушек. Справедливость восторжествовала :3

м. 50 — 120

ж. 50 — 120

А вот тут карма колеблется около и нижу нуля в большинстве случаев. Как я и говорил, троллей здесь много.

Спасибо за внимание! Надеюсь, что моя эрзац-аналитика хоть кому-то была интересна. В дальнейших планах хочу продолжить эту статью. У меня есть некоторая гипотеза, которая позволит объяснить, почему MLP стал таким популярным в аудитории зрителей старше 20 лет и я хочу её статистически проверить.

43 комментария

гипотеза, которая позволит объяснить, почему MLP стал таким популярным в аудитории зрителей старше 20 лет и я хочу её статистически проверить

Боюсь, это будет бессмысленно, потому как под эту гипотезу точно подойдет некоторое количество откровенно провального контента.
GlennWitcher
0
Эта гипотеза затрагивает R34 лишь косвенно, если это то, что ты имел в виду.
cthulhu314
+1
Нет, я об ошибке выжившего. Мало рассматривать только успешный проект. Нужно еще учесть имеющие те же признаки, но провальные.
GlennWitcher
0
Логичное замечание. Только проблема в том, что сложно собрать статистику исключительно по понихейтерам или тем, кто к ним относится нейтрально. Придется что-то хитрое придумать, чтобы её заполучить.
cthulhu314
0
Бгг, закинуть темку в первую попавшуюся контактовскую группу для маладых и цыничных. На выходе — химически чистый биоматериал для анализа.
GlennWitcher
+3
Хорошая идея. Так и сделаю. Только вот фейк заведу в вк и сразу в бой.
cthulhu314
0
Но это же жестоко…
Krim
0
It's SCIENCE!
BlackJay
+4
It's SCIENCE! [2] (и да, мне нравится троллить таких «людей»)
AndrewTheHarya
0
Карма Глена выбила статистику из нормального распределения =\
Athlete
+2
Не-а, даже не помогла. Если, конечно, учитывался именно возраст, а не год рождения.
GlennWitcher
0
Браво! Надеюсь попадет на главную!
arhiDavid
0
Спасибо за поддержку! Но я думаю, что раз вчера не попала, так и сегодня не попадёт, увы.
cthulhu314
0
Личные блоги на главную не попадают.
GlennWitcher
0
Кстати, а возможно перенести пост из одного блога в другой?
cthulhu314
0
Вполне. Вступаешь в нужный блог, редактируешь пост и выбираешь нужный блог из доступных.
GlennWitcher
0
Спасибо за помощь. Как-то сразу не догадался до этого.
cthulhu314
0
Нема за шо.
GlennWitcher
0
Во-первых, сразу плюс за тот язык на котором ты прогаешь. Это труЪ. Надо бы самому его учит пока не забыл вышку полностью
Но вот не хватает общей гистограммы с обрезанными пиками.
HerbSmoker
0
Да ладно, F# не настолько и труЪ. Вот хаскель — это труЪ, но его портят абсолютно безумно написанные библиотеки, поэтому на нём я такие вещи и не пишу.
cthulhu314
+1
Его разве можно попробовать объяснить тем, что 1940 — это красивое число.

Просто скорее всего старики могли поставить не меньше 1940 года включительно, сейчас вроде поменяли предел…
1sk-Flex
+1
Я что-то такое и предполагал, но доказать не мог, в силу того, что сейчас-то того предела нет.
cthulhu314
0
Рукоплещу человеку, занимающемуся статистикой, однако не могу спросить: а в чем состояла собственно цель данного исследования? И каковы выводы? Я видел заметку про анализ, но в любом случае что-то вы да вынесли.
Dimone
0
Целей несколько:
1. Простое любопытство. Я видел, что на Табуне есть люди разных возростов, но интересно же на это посмотреть количественно.
2. У меня есть одна гипотеза, которая может объяснить то, что MLP набрал популярность в среде мужчин старше 18 лет. Я хочу проверить её статистически, но для этого нужно будет собрать статистику с ещё пары ресурсов.

Вывод можно сделать, но он будет достаточно предсказуемый и всем известный:
Наряду с исходной ЦА сериала, существует ещё ЦА, состоящая из мужчин старше 18, причем они являются наиболее активной частью фэндома. Эти выводы и так известны, но приятно увидеть, что статистика их подтверждает, по крайней мере на этом ресурсе.
cthulhu314
+1
Ну, это только вершина айсберга. Причины популярности, эта статистика не открывает.
Athlete
+1
А можешь делать статистику по посещаемости сайта за все время его существования (динамику регистраций, количества постов)? Так можно проследить когда был пик популярности поней. Чет у меня руки до этого не доходят.
Buzz
0
Кстати, хорошая идея. Тогда доделаю парсер, когда будет время, и пройдусь по сайту ещё раз.
cthulhu314
0
Zayka
+2
Старая инфа
Buzz
0
Лучше чем ничего если уж интересно, к тому же это статистика за 70% времени существования табуна.
Zayka
0
Я хотел посмотреть динамику изменений за 3 сезона. Там же начало 2 сезона и как раз перед скачком популярности.
Buzz
0
Да, неплохо бы заняться.
Zayka
0
Кстати, а сколько у тебя занял по времени сам процесс сбора данных?
cthulhu314
0
Часов 10, но довольно неторопливо в 1 поток все скачивалось.
Zayka
0
О! Хороший пост.
А исходных данных не осталось случайно ли? Было бы интересно взглянуть.
cthulhu314
+1
Остался текстовый файл на 250мегов yadi.sk/d/F9tGUH4t4KJLc с постами+коментами+юзерами в таком формате:
Посты
количество постов (31324)
потом так:
Спойлерblog
id
rank
date
link
numComments


Комментарии
количество ~1 500 000
Спойлерid
rank
date
blog
link
autor
postLink


Пользователи
количество (3932)
Спойлерname
id
rating
strength
date
link
numcomments
numposts


дата у пользователей — дата регистрации
Zayka
+1
О! Спасибо большое. Не ожидал, что так много весить будет.
cthulhu314
0
Годный первопост!
Sylar
+1
Спасибо за такую оценку! :3
cthulhu314
+1
лучшеб порнушный датамайнинг сделал, поцакам такое нравится больше
Hibonicus
0
А вот такое я уже делал. Только это было исследование данбуры в поисках аниме-персонажа с самым большим соотношением хентайных артов к обычным.
cthulhu314
0
Лучшеб ты длину членов измерял бы
Hibonicus
0
Это уже до меня делали. Ссылку сейчас не приведу, т.к. не помню, но я видел такое исследование.
cthulhu314
+1
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.