kurgus: (Default)
Tao Ding et al. Social Media-based Substance Use Prediction. arXiv:1705.05633v2
Опубликовано в разделе Computer Science > Computation and Language

Вообще-то с растущим объемом машинносчитываемого нарратива в соцсетях работы по корпусной лингвистике с социолингвоуклоном стали гораздо менее трудоемкими и посему привлекательны.
А чтобы не заморачиваться со скучной самостоятельной обработкой данных и их же анализом - спихнуть это дело на противоестественный искуственный интеллект. В лице machine learning.
Что, во-первых, модно, и, во вторых, позволяет не напрягаться еще более снижает трудоемкость.

Естественно, возникает искушение наложить это дело на какую-нибудь эпидемиологию - что и было сделано в данной публикации.

Итак, как это было сделано.
Товарищи попрыгали на плечах гигантов (С) взяли dataset из проекта
myPersonality, собранные одноименным Facebook-приложением в рамках заговора обленившихся психологов[1].
В этом приложении, маскирующемся под набор психометрических тестов, Facebook users отвечают на кучу вопросов, в т.ч. и о частоте употребления табака, алкоголя и прочих нехороших субстанций.

После чего Tao Ding et al. занялись чистой корпусной лингвистикой с социоуклоном взяли эти датасеты, и выбросили из них для простоты обработки них неанглоязычных субъектов:
final dataset includes 106,509 users with 21 million posts. After filtering out low frequency words (those appear less than 50 times in our corpus), the vocabulary size of the status update dataset is 73,935
И натравили на датасет группу алгоритмов на предмет выявления, употребление (или лайканье) каких сем[2] коррелирует с употреблением нехорошего. И каких - наоборот.

Получилось вот так:

Что означает сема focuspast, единственная с сильной отрицательной корелляцией (по drugs) - я не понял.
Зато если алкоголики-наркоманы шибео озабочены насчет money, то курильщики следуют заветам Pink Floyd "money it's a gas". В смысле it's a smoke.
И вообще, курильщики, судя по этой фигуре, неозабоченные пофигисты - сильных корреляций не обнаружено.

Но больше всего умилила Table 6: Topics Most Significantly Correlated with Substance Use.
Оказывается, если кто-то пишет и лайкает посты со словами tonight, night, free, party, tickets, bar, saturday, friday, dj, drink, club, show, beer, ladi - то он любит алкоголь.
И при этом, оказывается, он не пишет и не лайкает посты со словами class, history, paper, math, science, writing, essay, finished, study, test, final, exam
Какое тонкое наблюдение - ежели человек зависает по клубам, то он там, наверное, пьет. И в это время он же почему-то не готовится к экзамену по матанализу :)
Насчет именно такого поведенческого паттерна все очень просто: средний возраст по выборке - 23 года :)

Жалко только, что авторы не запубликовали половых распределений: в отобранном ими массиве среди субъектов с нехорошими привычками оказалось 63% девиц и 37% юношей.
Что кагбэ намекает на дельнейшие исследования: действительно ли носители дефективной Y-хромосомы оказались высокоморальны - или они усиленно скрывают свои порочные наклонности?

1. Michal Kosinski et al. Facebook as a research tool for the social sciences: Opportunities, challenges, ethical considerations, and practical guidelines. American Psychologist 70(6):543, 2015.
2. значений, соответствующих наборам синонимов/гипонимов, например femail = (woman, girl, lady, doll, ...), body = (head, legs, hands, ...).
kurgus: (Flammable)
Один из самых первых, если не первый, скандал с подтасовками демографической статистики описан в Библии:
И восстал сатана на Израиля, и возбудил Давида сделать счисление Израильтян
(1-я Паралипоменон 21:1)

Насчет роли Сатаны - это уже post factum интерполяция начальства тогдашнего Израильстата, факты же таковы.

Read more... )

А также сподвигло Давида, в назидание потомкам, на объявление символом Израиля двух втыкающихся друг в друга додемпереходных половозрастных пирамид.
Каковой символ известен ныне как Звезда Давида:


kurgus: (Flammable)
Экспорт Крыма:
первый квартал 2015: $25 199.30
первый квартал 2016: $7 466.20
Экспорт Крыма без учета экспорта в Украину  ($5 616.4) в Q1 2015 - $19 582.90

Почему-то в 2016 г. из статистики исчез Главный Партнер Крыма - Панама, на которую в Q1 2016 приходилось 29.5% экспорта :)

Зато с начала 2015 г. Крым - свободная экономическая зона. Подписано лично Путиным.

P.S. По ссылкам вверху - географическая структура (по 2015 - географ. + товарная).
Нынешняя товарная структура: QI 2016
По сравнению с прошлогодней - Крымстат убрал детализацию, свернув товарные коды в большие группы.
kurgus: (Flammable)
Коэффициенты смертности (на 1000):
 - Донецкая область, за 2013 - 15.9 (оф. данные облстата отсюда, ист. №1)
 - ДНР, за 2015 - 12.5 (данные ДНР-Стата отсюда, ист. №2)

Напрямую наблюдаемый показатель - число зарегистрированных смертей.
Коэффициенты смертности считаются по наличному населению – "населению, которое на момент переписи населения находилось на данной территории, с учетом временно проживающих на данной территории на момент переписи (при условии их отсутствия в постоянном месте проживания не более 12 месяцев)".

Что-то сомневаюсь, что война способствует уменьшению смертности на 17.5%.

IMHO завышено наличное население.
Что косвенно подтверждается уменьшением числа зарегистрированных в ДНР смертей на 21.5% в 2015 по сравнению с 2014:
 - 2014 - 37342 смерти
 - 2015 - 29300 смерти
И падением числа новорожденных на 47.7%:
 - 2014 - 17531 родившихся
 - 2015 - 9162 родившихся
(данные ДНР-Стата отсюда, ист. №3)

Особенно это красиво выглядит на фоне заявления ист. №3 о миграционном сокращении населения за 2015 г. аж на 55 (пятьдесят пять) человек при наличной численности в 2 335 267 чел.

Зато по этому _типа_ снижению смертности можно прикинуть миграцию из ДНР.
kurgus: (Flammable)
...и люблю Backblaze - так это за то, что первые не публикуют статистику отказов жестких дисков, а Backblaze - публикует.
Хоть и выборочно, но с 2013 г. и по работающей базе в несколько десятков тысяч HDD (61 тыс. в Q1 2016).

Вот интересный пример из их старенького (2013): Enterprise Drives: Fact or Fiction?




Enterprise Drives



Consumer Drives



Drive-Years of Service
368 14719



Number of Failures
17 613



Annual Failure Rate
4.6% 4.2%
kurgus: (Flammable)
Три разных минздрав+росстат документа:
1. "Доклад" из предыдущено поста
2. Заболеваемость населения социально-значимыми болезнями (14.12.2015)
3. Здравоохранение в России. Росстат, 2015

Онкозаболеваемость, 2013, на 100 тыс. населения, № пункта в соответствии с № документа выше:
№1, новообразования - 435
№2, злокачественные новообразования - 337.5 (Взято на учет больных с впервые в жизни установленным диагнозом)
№3, Заболеваемость населения злокачественными новообразованиями - 373.4 (на стр. 37)

То же, 2014:
№2 - 349.5
№3 - 388.1

ТО же самое, но в абсолютных цифрах - тыс. человек
№1, 2013 - 484.4, 2014 - 510.5
№2, 2013 - 535.9, 2014 - 567.0
kurgus: (Flammable)
Документ Минздрава РФ Доклад о состоянии здоровья населения и организации здравоохранения по итогам деятельности органов исполнительной власти субъектов Российской Федерации за 2013 год

И там фраза "Значительно реже стали регистрироваться симптомы, признаки и отклонения от нормы, выявленные при клинических и лабораторных исследованиях (-31,4%)"?

То есть зарегистрированная заболеваемость с 2008 по 2013 выросла на 3.3% (нормально, при улучшении диагностики так и должно быть), но отклонений и патологий выявлено на 31% меньше.
Первое, что пришло в голову - больше стали профилактически обследовать здоровых и выявленной фигни на 100 тыс. обследованных стало меньше.
Типа ура, диспансеризация заработала.

Но дальше там табличка с абсолютными показателями выявленных отклонений на 100 тыс. - и как оказалось, не обследованных, а населения:
2008 - 1500.9
2012 - 1092.0
2013 - 1030.2

И как это понимать?
kurgus: (Flammable)
Краткое Summary ВОЗ Health effects of the Chernobyl accident: an overview // WHO, April 2006
В отличие от СМИ-публикаций - никакого нагнетания, чисто медицинские данные. Несколько неожиданный и не появившийся в СМИ вывод - что "ядерный стресс" и фобии + трансформационный стресс после развала СССР вызвал "высокий уровень медицински необъясняемой симптоматики", т.е. психофизиологических расстройств. Спасибо СМИ и их культом "чернобыльского ужаса".
И там же абзац об РФ-выводах, что у ликвидаторов повышенный риск помереть от сердечно-сосудистых заболеваниях. Вообще-то такая смертность коррелирует с алкоголизмом и стрессом - вспомним "хороша "Столичная" от стронция" и культ ужаса.
Там же табличка кумулятивных 20-летних доз по категориям и для сравнения того же для Natural background'а плюс дозы по типичным рентгенологическим обследованиям.

Большой аннекс UNSCEAR 2006 г. по медпоследствиям - то же, но детально.

Апдейт ВОЗ этого года к Summary 2006 г. Новых цифр и данных нет.

UPD от[livejournal.com profile] nibope - совсем свежая статья Y.Socol Reconsidering health consequences of the Chernobyl accident
И там прямо-таки ода диспансеризации:
There has in reality been a modest but steady increase in reported congenital malformations in Belarus since 1986.
However, this increase occurred in both contaminated and uncontaminated areas! This is most probably the result of increased registration, rather than being radiation-related
kurgus: (Flammable)
Крымстат, Географическая структура внешней торговли товарами Республики Крым с основными странами-партнерами в 2015 году:
Крымский экспорт в Украину - 31.2%
Крымский экспорт в Панаму - 30.7%
Так что Панама - самый патриотичный оффшор, раз его выбирает Крымначальство.

P.S. В сентябре, в посте Внешняя торговля Крыма в 2009-2015 я поэкстраполировал экспорт/импорт Крыма в 2015 по полугодовым данным, получилось $90 млн. и $111 млн. соответственно.
Факт, по Крымстату - $79 млн. и $100 млн. соответственно.
Для инфо: экспорт в революционно-бардачно-переходном 2014 г. был $185 млн., т.е. падение после наведения Русского Порядка на 43%.

P.P.S. Щас прибежит [livejournal.com profile] asharky и объяснит, что за счет падения курса рубля никакого падения экспорта нет, а есть стремительно-непокобелимый его рост :)
kurgus: (Flammable)
Крымстат выкатил данные за 2015 г.
Смертность, на 1000 человек:Кроме роста смертности (на 12.4%) впечатляет рассогласование по 2014 г. в отчетах с годовым интервалом.

Крымздрав, как обычно, статистику не выкладывает, последнее - микроотчет за январь-июнь 2015 года.
kurgus: (Flammable)
Керченский горсовет опубликовал проект Subj
Посмотрел и порылся по архивам:
1. Горбюджет 2013 - 418,6 млн. грн. или, по тогдашнему курсу, $52 млн
2. Горбюджет 2015 - 1 989 млн руб, по тогдашнему курсу - $38 млн
3. Горбюджет 2015 - 2 115 млн руб, по текущему курсу - $30.2 млн
P.S. Все курсы - по дню публикации бюджетов
kurgus: (Flammable)
Керчь.ФМ, сегодня В Крыму проведут перепись мигрантов из Украины:
Аксенов сосчитал понаехавших: У нас на территории республики, по предварительным оценкам, до 250 тысяч граждан Украины – часть из них бежали от войны или по другим объективным причинам приехали. Это нагрузка на все наши объекты инфраструктуры, на систему здравоохранения, образования

А теперь данные Крымстата, миграция СНГ-миграция в Крым / из него (Украина считается как СНГ):
2014:
приехало: 9166
уехало: 1510
Итого понаехало: 7656
2015, январь-сентябрь:
приехало: 13294
уехало: 113
Итого понаехало: 13181

Таким образом, за 2014 и 2015 из СНГ в Крым понаехало 20837 человека. Это по обработанным Крымстатом данным погранцов и ФМС.
Но Аксеновcкая арифметика круче арифметики федералов - при сложении двух цифир у него получается в 12 раз больше.
Так, наверное, его учили в симферопольском политучилище - или за это выгнали без диплома из оного - кто знает?

Между протчим - что-то народ начал валить из Крыма в Россию: если за весь прошлый год в Россию сбежали 386 человек, то за 3 квартала этого года - 11 012 челов.
Дезертиры, адназначна, испужавшиеся мелких затруднений переходного периода (ТМ).

Для справки: нетто-понаехавшие из России:
2014 - 8557 чел.
2015, январь-сентябрь - 208 чел.
kurgus: (Flammable)
Номер раз:
КСН, 7.11.2015: Официально: в Крыму алкоголиков больше, чем в среднем по России
Министр здравоохранки Голенко на пресс-конференции заявил, что На данный момент в Крыму заболеваемость алкоголизмом выше, чем в среднем по России
Без конкретных цифр. На сайте КрымЗдрава их тоже нет.
А еше он пошутить изволил: «Зато молодежь у нас здоровее и женщины красивее. А раз женщины красивее, то и рождаемость должна повышаться»

Номер два:
Кубань 24, 2.05.2014: В Крыму стало меньше алкоголиков после присоединения к РФ
Правда, там главнарколог сразу же объяснила, что снижение на 3% - "за счет оптимизации: убрали из списков тех, кто на территории республики длительное время отсутствует"
Да, для прояснения ситуации - алкоголиком в медстатистике считается лицо, состоящее на учете в наркодиспансере.
Она же озвучила и цифры: Сейчас на учете находятся 22 тыс. 127 человек.

Номер три:
Росстат, заболеваемость алкоголизмом, число состоящих на учете, 2013 г. - 1807.9 тыс. чел.

И здесь становится непонятно: доля крым-алкоголиков-2014 от (ру-алкоголики-2013 + крым-алкоголики-2014) = 1.25%.
Доля крымчан в ру-населении - 1.35%

В общем, какой-то не пасаран получается: то ли соврамши главнарколог в 2014, то ли Голенко сейчас, то ли алкоголиков в Крыму стали массово ставить на учет, то ли в остальной РФ их же массово с учета снимать...

И на закуску немного свежеопубликованной медстатистики.
Отчет Крымздрава январь-июнь 2015 года, изменения коэффициентов смертности по основным
причинам/диагнозам:
Болезни системы кровообращения: +2.7
Новообразования: +7.6%
Воздействия внешней среды: +7.6%
Болезни органов пищеварения: +23%
Болезни органов дыхания: +27.2%
Туберкулез: -9%
Вышеперечисленные диагнозы дают вклад в коэффициент смертности в 15.18 из 15.9 общего - и их рост и обеспечил рост коэффициента смертности в 2015 по сравнению с 2014.

Коэффициенты смертности:
2013 - 13.7
2014 - 14.9
2015 - 15.9
kurgus: (Flammable)
В продолжение предыдущего поста:

Сделал по данным Крымстата, взятым отсюда.
Данные за 2014 - только за апрель-декабрь, поэтому умножил на 1.25.
Данные за 2015 - за январь-июнь, поэтому умножил на 2.

P.S. В бюджете Керчи в 2015 г. суммарные доходы 1 988 750.8 тыс руб., из них подаяние дотации из федбюджета - 1 742 404.8 тыс. руб., т.е. 87.6%.
kurgus: (Flammable)
Керчь.ФМ, сегодня: Аксёнов уверен, что в Крыму за две недели исчезнет украинская продукция.
И комментарий к этой новости там же:
Не секрет, что большое количество фур, вёзшее в Крым российские товары, обратно на материк вывозили украинскую продукцию. Поэтому они транзитом проезжали Керчь, разгружались на складах Симферополя и затаривались поблизости в районе Воинки.
Теперь, когда наши друзья с той стороны границы, помогающие бороться с коррупцией и контрабандой, перекрыли возможности для серых схем, ожидается, что фурам, если уж им суждено возвращаться на материк пустыми, выгоднее разгрузиться в Керчи и спешить обратно на паром.
С точки зрения керченского эгоизма это прекрасно и для ценообразования в городе, и для развития складского хозяйства, оптовых баз и т.д.Пора поблагодарить правый сектор?

Это с одной стороны.
Действительно, если раньше на трассе Феодосия-Керчь было свободно и приятно, то ныне :(
В том числе и из-за загруженных под завязку фур, тащащихся на переправу. Особенно неприятно это вечером, когда стемнеет (и я не подозревал, что в России так много развалин с европейских автосвалок, еле разгоняющихся до 40 км/час).

С другой стороны, если заглянуть в июльский выпуск Крымстата по внешней торговле за янвать-июнь 2015, то можно увидеть, что:
Импорт из Украины - 35.4% от всего импорта, экспорт в нее же - 28.6% от того же. Но это абстракция, которую трудно сопоставить с непосредственными ощущениями.
Но вот при посмотре абсолютных значений - импорт в $19.69 млн - у меня случился полный когнитивный диссонанс.
Поскольку если поделить эту цифру на ~2 млн. крымчан и на 6 месяцев, то получается $1.64 укр. товаров на человека в месяц - что совсем не соответствует ассортименту на магазинных полках и, главное, супермаркетным (Фуршет и АТБ) покупкам.
А если учесть и базарные покупки, где колбасы-куры-сыр почти исключительно украинские, то совсем не пасаран получается.
Это что же? - то ли Керчь - атипичный город, то ли семейные покупки атипичны?
Или Крымстат таки того?
Или контрабанда? - но как же тогда доблестная российская таможня? - и как считается (если считается) транзит еды из Крыма через переправу?

В общем, в полном недоумении.
kurgus: (Flammable)
Рекорд, однако: статотчет "Валовой региональный продукт" от 27.03.2015 уместился всего в 4 строки:
Согласно Производственному плану работ Росстата на 2015 год
показатель «Валовой региональный продукт» Республики Крым будет
рассчитан и опубликован (после утверждения данных Росстатом)
в марте 2016 года за 2014 год.
kurgus: (Flammable)
Министр сельского хозяйства Крыма Полищук отчитался на очередной пресс-конференции о полном процветании - и в том числе, что производство молока в Крыму выросло в на 146% 199% - так сказать, в три раза.
А унылый Крымстат в это же время отчитался, что производство этого же самого молока за январь-июнь этого года (по сравнению с аналогичным периодом прошлого) упало на 15.7% (мяса на 18.4%).

Пытаюсь понять методу пересчета крымстатных данных в пресс-конференсную...

Profile

kurgus: (Default)
kurgus

June 2017

S M T W T F S
    123
45678910
111213 14151617
18192021222324
252627282930 

Syndicate

RSS Atom

Page Summary

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 23rd, 2017 02:13 am
Powered by Dreamwidth Studios