banner banner banner
Аналитика и Data Science. Для не-аналитиков и даже 100% гуманитариев…
Аналитика и Data Science. Для не-аналитиков и даже 100% гуманитариев…
Оценить:
Рейтинг: 0

Полная версия:

Аналитика и Data Science. Для не-аналитиков и даже 100% гуманитариев…

скачать книгу бесплатно


Следующий уровень – инсайты – это не отдельные методы, а способность организации собирать данные из разных систем и источников в едином информационном поле. По сути, наличие корпоративного хранилища данных, из которого можно извлекать данные и используя все те же описательные статистики обнаруживать находки/инсайты не всегда видны в рамках одной системы с данными одной направленности. В книге я покажу как с использованием прикладных функций Excel соединить данные из разных источников, а также приведу менеджмент-кейсы с инсайтами при использовании простых описательных статистик. Но в книге не будет о том, как отстроить этот уровень зрелости в организации.

И последний уровень – прогностическая аналитика – это способность компании строить предиктивные (предсказательные) модели, базирующиеся на скрытых закономерностях и неочевидных взаимосвязях во всех имеющихся у нее данных. Это уже применение новомодных систем искусственного интеллекта (AI). В данной книге будут изложены методы аналитической статистики (корреляции, регрессии, факторный и кластерный анализ и т.д.), которые прочитавший профессионал сможет сразу использовать в своей работе. Но здесь не будет о том, как и с помощью каких систем вывести компанию на такой уровень зрелости.

Но в последнее время многие консультанты говорят, что есть еще один некий уровень для организации, который интересует именно высшее руководство компаний – прескриптивная аналитика (еще Вы могли слышать на конференциях или от консультантов «нормативная» или «предписательная» аналитика).

Чем интересен ТОР’ам этот уровень и чем же он отличается от тех уровней, на которых работает описательная статистика и прогоностическая аналитика? Если описательная статистика отвечает на вопрос «что было?», а прогностическая аналитика «что будет?» – то прескриптивная аналитика пытается ответить на вопрос «а что кому и где делать?» + «к чему приведут те или иные действия?».

Но, в отличие от описательной и аналитической статистики, прескриптивная аналитика – это не отдельная областьзнаний, со своей методологией, специфическими методами или понятиями. Это смесь прогностических методов (базируется на них), автоматизации процессов, бизнес-правил и автоматизированных управленческих предписаний к исполнению.

Прескриптивная аналитика: рассматривать ли как уровень?

Т.е, это скорее попытка автоматизации управленческих решений и воздействий. Повторю: прескриптивная аналитика – это «смесь» из использования методов прогностической аналитики, математических бизнес-моделей, бизнес-правил, алгоритмов, автоматизированных процессов и управленческих решений и т.д., чтобы оценить возможные будущие исходы (последствия) действий компании. Это искусство конкретной компании использовать вышеперечисленное для моделирования возможных вариантов будущего и автоматического принятия управленческих решений и воздействий.

Но я персонально не расцениваю этот уровень как часть уровня зрелости аналитической функции. Не потому, что тут нет отдельного предмета, методологии, методов и т. д. Ведь на уровне «Инсайтов» их также нет. Но уровень инсайтов/находок базируется на описательной статистике, со своим предметом, задачами, методологией и методами – т.е., все еще лежит в границах аналитической дисциплины. А на уровне прескриптивной аналитики переплетается и автоматизация, и системы управления, и собственно аналитическая функция. Т.е., это более широкая и мультифункциональная область.

Ну и еще мне на сегодня прескриптивная аналитика выглядит (пока что) созданной консультантами «упаковкой под продажу» аналитических систем в крупные корпорации.

Оговорки сказал. А если подытожить предмет книги, то данная книга (как и одноименный онлайн курс на UDEMY) – это то, что сфокусировано на методах поиска инсайтов и прогностической аналитики, но не сборник рассказов о том, как «подтягивать» уровень зрелости аналитических функций компаний.

Книга о поиска инсайтов и методах прогностической аналитики

Но в любом случае, если Вы хотите разобраться в методах и попробовать как аналитика работает «вживую» для решения бизнес-задач независимо от уровня Вашей должности – данная книга безусловно будет Вам полезна.

Особенности социально-экономической реальности

В последнее время везде пишут о том, как важно нести гуманитарные и социально-экономические знания (бизнес, коммуникации, менеджмент, предпринимательство и т.д.) в технические направления.

Мне, наряду с необходимостью нести «гуманитарно-социально-экономический свет» инженерам-технарям, не менее важным видится нести технические навыки гуманитариям. Чтобы последние могли более системно принимать решения и опираться в своих концепциях на более твердый фундамент, а не собственные размышления и суждения, подкрепленные только навыками убеждения и лидерско-харизматическими приемами.

Отдельная интересная тема для русской науки и ее масштабирования в век капитализма – это «нести» навыки бизнеса и менеджмента непосредственно в научную среду. Неимоверное количество знаний и открытий умирают в стенах НИИ только потому, что их создатели ограничиваются в лучшем случае разговорами с такими же учеными-экспертами или публикацией в журнале, который читают такие же ученые-эксперты.

Одни не считают нужным (да и ниже их уровня) популяризировать свои открытия. Другие может и хотели бы добиться практического использования продукта их труда (знаний и открытий), но понятия не имеют какими методами и как этим управлять в эпоху капитализма. Но на этой теме я останавливаться в книге не буду.

К социально-экономическим наукам относятся науки, которые оперируют не естественными физическими законами и закономерностями (гравитация, время, пространство, масса, рост, вес, скорость света, давление и т.д.), а такими вещами как восприятие, поведение, мнения, отношения, качества, установки и все порождаемые ими социально-экономические явления.

Любая организация, общество, рынок… – это в первую очередь социально-экономические системы. Для анализа данных в этих системах используются те же методы, что и в технических науках, но есть несколько главных особенностей, которые необходимо помнить.

Аналитика в социально-экономических науках (в противовес с естественно-инженерными) сталкивается с пятью главными особенностями – рис. 2.

Рис. 2. Особенности аналитики в социально-экономической реальности

Теперь разберем этот рисунок.

Во-первых, социально-экономическая система – это очень изменчивая система.

Скорость падения яблока прогнозируема – сколько и где-бы Вы это не повторяли. А деньги, трафик, усилия для результата или популярность (то, что изучается в социально-экономических системах) – совершенно нет.

Т.е., если переменные имеют физические ограничения, препятствующие большому разбросу или смещению размеров – и вероятность случая, кардинально отличающегося от основной массы, крайне низка: это одно. Но измерьте, например, корреляции на фондовом рынке за разные периоды – и коэффициенты будут резко меняться от периода к периоду.

А я часто встречаю, как гуманитарии выдают обнаруженные в социально-экономической реальности корреляции как некие реальные «материальные» зависимости (еще и позиционируют эти статистические взаимосвязи как причинно-следственные). Но вот что-то никто ни разу не предсказал по ним поведение фондового рынка…

Или возьмите компанию – измерьте удовлетворенность персонала, внедрите программу улучшений (даже сделайте что-то небольшое) – и у Вас эффект! Но через год Вы заметите как удовлетворенность сползает вниз… Что повлияло? Почему? Новые люди пришли? Старые привыкли?

Во-вторых, здесь не работаетзакон нормального распределения.

В социально-экономических дисциплинах закон нормального распределения – это непозволительная роскошь. Но многим менеджерам и гуманитариям он почему-то кем-то крепко «вбит в головы»…

Если мерять рост или вес – да, будет работать закон нормального распределения. Но в социально-экономических системах чаще всего наоборот – мы не будем наблюдать красивую симметрию нормальной кривой. Скорее будет обратная картинка: смещение в одну или в другую сторону.

Так, в конкретно взятой стране 2% людей могут владеть 60—90% капитала.

На любом рынке есть несколько игроков, занимающих 60—90% доли рынка.

Несколько рок-исполнителей или авторов книг забирают на себя 90% популярности и продаж.

Из 100 кандидатов в президенты 5% заберут 95% голосов. И т. д.

Да та же удовлетворенность сотрудников работой в компании будет давать смещение или в одну, или во вторую сторону – и в придачу влиять на другие аспекты работы (это так проявляется способность удовлетворенности, как базовой эмоции, к генерализации).

В-третьих, важность выборки случаев / объектов / наблюдений для применения их ко всей популяции (вся популяция объектов называется «генеральная совокупность»), которую Вы исследуете.

Измерив какие-то физические величины в одном месте, Вы скорее всего получите ± те же самые в другом – ну или с минимальной вариативностью.

Но измерив, например, отношение к кандидату в президенты или расовым вопросам в регионе, Вы точно не получите их ± такими же в другом. Или, замерив удовлетворенность работой в одной компании, Вы не получите тот же результат в другой компании.

И, в-четвертых, важно понимать, что одно-единственное социально-экономическое явление может перевернуть все Ваши представления и закономерности вверх дном. В естественно-технических системах каждый один уникальный случай не ведет к глобальным изменениям.

И пятое – наличие модели для анализа в социально-экономических дисциплинах критически важно.

Модель (Ваше представление, набор предположений об исследуемом объекте) должна предшествовать анализу (кроме случаев, когда у Вас поисковый анализ, цель которого изобрести новые или уточнить существующие модели – но в бизнесе таким вряд ли Вы будете заниматься).

Только по модели Вы можете описать, измерить и прогнозировать поведение / развитие какого-то события или объекта. О важности моделей поговорим отдельно в следующей главе.

Модель

Раздел обязателен к прочтению, даже тем, кому он кажется философским и далеким от аналитики.

Под моделью не имеются ввиду статистические алгоритмы и методы обработки данных.

Словом «модель» обозначается некое представление исследуемого объекта, процесса, явления.

Модель – это набор увязанных между собой предположений и понятий, выстраивающий определенный взгляд на объективную реальность.

На рис. 3 изображены несколько наиболее известных моделей – Солнечная система, ДНК, молекула…

Рис. 3. Несколько наиболее известных моделей

Например, элементы ДНК – пары нуклеотидов имеют 4 компонента АТГЦ (аденин, тимин, гуанин и цитозин), которые имеют взаимосвязь А с Т и Г с Ц.

Конечно же, модель строится на основании ограниченного множества известных нам данных (элементов, компонентов, свойств и взаимосвязей) об оригинале (реальном объекте объективной реальности).

Самим оригиналом (объектом объективной реальности) модель не является и на объективную реальность (окружающий мир, явление, протекающие процессы и т.д.) она никоим образом не влияет.

Зато она влияет на наше понимание и отношение к этой реальности.

Только модель любого объекта позволяет нам:

· формально его описать

· делать измерения и интерпретацию полученных результатов

· спрогнозировать его поведение / развитие в будущем

· а также понять его историю в прошлом.

Кроме того, модель позволяет постоянно обучаться, уточнять и добавлять взаимосвязи между ее элементами и компонентами – и, возможно даже, накопленные знания со временем изменят само наше представление о модели. Схематически это все изображено на рис. 4.

Рис. 4. Динамика взаимосвязей модели и реальности

Вспомните, как развивались представления (модели) о Земле по мере накопления знаний и установления новых взаимосвязей: от плоскости на китах и черепахах до Земли-центра и до того, что она крутится вокруг Солнца (рис. 5).

Рис. 5. Изменение представлений о модели Земли по мере накопления данных и знаний

С моей т.з. наличие некой общей модели особенно важно для социальных, экономических и бизнес-дисциплин, где представление о реальности (модель) на порядок важнее чем для той же биологии, геологии, физики, астрономии и т.д., базирующихся на фундаментальных естественных законах.

А люди часто брезгуют моделями, считая их уделом ученых-теоретиков, отдавая предпочтение инструментам / методам… Но эффективность применения инструмента крайне зависит от того, для чего и применительно к какой реальности (объекту, событию, процессу и т.д.) мы его используем.

Я сам не раз наблюдал как менеджеры, профессионалы и даже ученые использовали аналитический инструментарий для прогнозов, но без понимания модели результаты этих попыток предсказаний были аналогичны гаданию на картах Таро.

Даже если рассматривать бизнес и организацию, которые являются социально-экономическими системами. Любой бизнес, любая организация внутри себя также может быть представлена простой операционной моделью как набором элементов и компонентов со взаимосвязями (на рис. 6 авторское представление).

Рис. 6. Базовое представление операционной модели предприятия

Если посмотреть шире (рис. 7) – то организация является открытой системой и неразрывно связана с внутренней и внешней средой.

Если посмотреть еще шире, детализируя окружение компании: клиенты, конкуренты, продукт, процессы, структура, культура и сотрудники компании, ее поставщики и вся экономика – все это уже элементы большой бизнес-модели.

Соответственно на базе моделей аналитику можно очень успешно применять в бизнесе для принятия более взвешенных бизнес-решений, особенно в условиях неопределенности.

Рис. 7. Связь операционной модели с внешней и внутренней средой

Модель – одна из важнейших вещей в аналитике. Именно модель исследуемого объекта / явления / процесса позволяет правильно осуществить анализ: от того какие данные собирать и до того как правильно интерпретировать полученные данные.

Интуиция или аналитика?

Среди людей есть те, кто верит цифрам, а есть те, кто полагается на «чуйку» и интуицию. И это также выражено в бизнесе и менеджменте.

Многие полагают, что достаточно только чутья, бизнес-интуиции и имеющегося опыта – и приводят в пример ряд успешных проектов или решений, принятых вопреки статистике, исследованиям и аналитике.

Например, некоторые приводят Генри Форда, который когда-то сказал, что если бы он полагался на исследование мнений клиентов, то ему бы пришлось заниматься выведением более быстрых пород лошадей, а не автомобилями.

Лукавят, потому что с одной стороны речь тут о технологии, а с другой стороны Г. Форд на самом деле никогда не брезговал аналитикой в управлении предприятием.

Более того, только аналитика позволяет накапливать знания, наращивать и объяснять опыт, усиливать практическую интуицию, а в самом идеальном варианте – возвести к понимаю неких концептуальных моделей.

Я говорю об интуиции и опыте в связке, потому что для меня интуиция – не что иное как «свернутый опыт» человека. Например, говорят, что опытный механик «по звуку машины» может определить проблемы. На самом деле он улавливает ряд мельчайших моментов (данных) в работе авто, но просто уже делает их интерпретацию на таком уровне автоматизма, что не способен объяснить на что именно он обращал внимание, когда поставил «точный диагноз».

Дискуссия о том, что важнее – опыт / интуиция или аналитика несостоятельна в принципе. Вообще ИЛИ здесь неуместно – более целесообразно использовать И.

Ведь сама по себе ни статистическая информация, ни ее анализ, ни обнаруженные статистические значимые взаимосвязи действительно не дают автоматических ответов на вопросы – поэтому модель, интуиция, размышления и воображение (творческий подход) имеют очень большое значение.

Схематически дополняемость аналитики и опыта друг-другом можно представить так (рис. 8):

Рис. 8. Дополняемость опыта и интуиции аналитикой

Немного объяснений к картинке. Сначала мы снимаем / регистрируем / собираем / получаем из реальности некие данные (причем данные в широком смысле слова и в любом виде).

Далее данные превращаются в знания, которые потом объединяются какими-то связями (вот это событие произошло потому, что было вот то-то и то-то) на основании нашего взаимодействия с реальностью. Знаниями и опытом мы уже можем делиться с другими.

Аналитика может нам помочь уточнить наши взаимосвязи: как опровергнуть их наличие в реальности, так и обрисовать скрытые взаимосвязи, которых мы сами не замечали. Это формирует более целостную картину.

В итоге при взаимодействии данных, знаний, опыта и аналитической проверки у нас может родиться некое концептуальное представление реальности (какого-то объекта, процесса, явления, случая и т.д.) – модель.

Это не сама реальность – это только ее модель, наше представление о ней. Но на базе этой модели мы уже можем более эффективно обмениваться пониманием реальности с другими людьми, а также постоянно его уточнять, приращивая новые знания и устраняя пробелы.

Есть еще, конечно, креативная отсебятина (кстати, очень часто встречаемая в менеджменте, социально-экономических и гуманитарных направлениях). Когда человек что-то увидел, чего-то нахватался – и из этого породил в голове какую-то ерунду и, уверовав в нее, обозвал некой моделью (рис. 9).

Рис. 9. Модели без опыта и аналитики зачастую имеют очень отдаленные связи с реальностью

Иногда, конечно, бывает, что из такого креатива рождаются ± верные модели. Но они все равно проверяются только опытом, аналитикой и самой реальностью.

Какая лучшая программа для анализа данных?

Существует ряд программ для анализа данных. От всем уже привычного Excel, до коммерческих продуктов типа SPSS, Statistica, OCA и вплоть до отдельного языка программирования R, созданного специально под аналитику. Есть и бесплатные аналоги дорогостоящего коммерческого программного обеспечения – например, программа PSPP как аналог SPSS.

В интернете есть ряд официальных инструкций, курсов, книг и самоучителей по той или иной аналитической программной среде (какие кнопки нажимать, где находится та или иная функция, где смотреть вывод результатов и т.д.).

Но главное – понимать, что все эти программы не заменители «головы» аналитика.

Это всего лишь инструментарий. Но, невзирая вроде на эту понятную истину, постоянно разворачиваются баталии на тему «какая программа лучше». Всегда хочется спросить о критерии «лучшести» – ведь каждая программа имеет свои плюсы и минусы, возможности и ограничения.

Решение об использовании той или иной программной среды – это на самом деле исключительно вопрос профессиональных и личных предпочтений.

Я, например, в своей практике использую несколько инструментов: подавляющая часть того, что я делаю, сделана в SPSS, ОСА и Excel.

SPSS и ОСА – поскольку привык ими пользоваться. Excel – потому, что удобен для бизнеса и его может открыть, просмотреть и отследить логику формул любой бизнес-пользователь.

Для некоторых задач использую R. Но с языков программирования я бы не рекомендовал начинать не-техническим профессионалам. Это дольше, сложнее, да и вряд ли Вы в своей работе столкнетесь с настолько емкими задачами, чтобы не решить их более простым способом.