скачать книгу бесплатно
Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Монография. Том 1
Александр Юрьевич Чесалов
Работа раскрывает классические подходы к проектированию распределенных сетевых структур на основе представленной методики анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных и низкоскоростных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования. В результате проведенных исследований сформирована алгоритмическая и методологическая основа.
Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры
Монография. Том 1
Александр Юрьевич Чесалов
Дизайнер обложки Александр Юрьевич Чесалов
Редактор Александр Юрьевич Чесалов
Иллюстратор Freepik
© Александр Юрьевич Чесалов, 2023
© Александр Юрьевич Чесалов, дизайн обложки, 2023
© Freepik, иллюстрации, 2023
ISBN 978-5-0060-1444-2 (т. 1)
ISBN 978-5-0060-1445-9
Создано в интеллектуальной издательской системе Ridero
Посвящение
Книга посвящается человеку, который оказал влияние на всю мою жизнь – моему Учителю, научному руководителю, заведующему кафедрой «Информационные системы» с 1994 года и по настоящее время Тверского государственного технического университета, заслуженному работнику высшей школы Российской Федерации, доктору технических наук, профессору Борису Васильевичу Палюху. Благодаря ему я смог сделать главный выбор в свей жизни – стать специалистом в области информационных систем.
Предисловие
Александр Юрьевич Чесалов
Член экспертной группы по вопросам цифровизации деятельности Уполномоченного по правам человека в Российской Федерации.
Член Экспертного совета при Комитете Государственной Думы по науке и высшему образованию по вопросам развития информационных технологий в сфере образования и науки.
Разработчик программы Центра искусственного интеллекта МГТУ им. Н. Э. Баумана, программы «Искусственный интеллект» и «Глубокая аналитика» проекта «Приоритет 2030» МГТУ им. Н. Э. Баумана в 2021—2022 годах.
Сертифицированный специалист: IBM Professional certificate foundations of AI, IBM Professional certificate Essential Technologies for Business и др.
Добрый день, дорогие друзья и коллеги!
Представляю вам свою научно-исследовательскую работу на тему «Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Монография. Том 1».
В 2003 году в Тверском государственном техническом университете я защитил кандидатскую диссертацию по теме «Анализ и выбор рациональной структуры региональных распределенных сетей передачи, обработки и хранения данных» по специальности 05.13.01 – Системный анализ, управление и обработка информации (в промышленности). На сегодняшний день – это специальность 2.3.1. «Системный анализ, управление и обработка информации, статистика».
В честь двадцатилетия с момента написания своей первой научной работы я принял решение опубликовать накопившийся у меня за последние годы значительный объем материалов, который будет издан в двух книгах:
Том 1. Раскрывает классические подходы к проектированию распределенных сетевых структур на основе разработанной методики анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных и низкоскоростных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования. Основная работа по данному направлению выполнялась в период с 2000 по 2003 годы.
Том 2. Значительно дополняет содержанием том первый и раскрывает новые подходы к проектированию региональных распределенных сетей передачи, обработки и хранения данных на основе технологий следующего поколения – NGN (Next Generation Network), которые, в последствии, позволили перейти к «сетям будущего» (см. стандарты и рекомендации Международного союза электросвязи), функционирующих на основе технологий машинного обучения и искусственного интеллекта. Основная работа по данному направлению выполнялась в период с 2009 по 2011 годы.
На первый взгляд читателю может показаться, что информация в обеих книгах значительно устарела, а подходы и результаты нельзя применить в современной практике. Я и сам так долго думал до того момента, как в 2021 году меня не пригласили в МГТУ им. Н. Э. Баумана принять участие в создании Центра сильного и прикладного искусственного интеллекта.
Оглядываясь на свою практическую работу за последние двадцать лет я понял, что мои наработки пригодились мне в жизни не один раз, а результаты научно-исследовательских работ и общие подходы к проектированию сетевых инфраструктур передачи, обработки и хранения данных, которые изложены в данной книге, мною были апробированы на практике неоднократно в разные периоды времени и в разных проектах.
К значимым достижениям, основанных на моей работе, можно отнести следующие:
2003 год
Предложенный в работе методологический подход к определению загрузки и производительности сервера центра обработки информации, совместные работы, выполненные в соавторстве с д. т. н. Б.В. Палюхом и к. т. н. С.Л. Федченко, а также разработанная на его основе программа оценки соответствия производительности многопроцессорных ЭВМ числу решаемых задач были реализованы в проекте, выполненным ФГУП «Государственный испытательный центр программных средств и вычислительной техники» (город Тверь) для Центробанка Российской Федерации.
В дополнение к этому, результаты работы были использованы в:
– Администрации Тверской области, при проектировании региональной вычислительной сети обработки социально-экономической информации и при реализации проекта целевой программы информатизации – «Создание опорных пунктов информатизации в районных (городских) администрациях и муниципальных образованьях и отработка функционирования системы взаимодействия на базе внедрения электронного документооборота».
– Компании «ЛУКойл-Арктик-Танкер» при разработке сетевого проекта построения распределенной системы электронного документооборота компании на базе СУБД Lotus Domino R5.
2005 год
В период с 2005 до 2008 годы в компании «Сетевые системы» под моим непосредственным руководством проводились научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области информационных технологий и сетевой безопасности.
Одним из основных результатов НИОКР стало создание встраиваемой сетевой операционной системы «PyrOS» для устройств сетевой безопасности: аппаратных файрволлов (firewall), систем обнаружения и предотвращения вторжений (Intrusion Detection Systems – IDS и Intrusion Prevention System, IPS) управляемых коммутаторов и других.
Операционная система «PyrOS» ничего общего не имела с клонированием Linux. Наш опыт в создании собственной системы базировался на знаниях FreeBSD и QNX. Первый прототип был создан на основе FreeBSD и промышленного сервера Advantech FWA-3140. В последующем ядро, драйвера и код были полностью переработаны. Был создан свой перечень управляющих команд и командный интерпретатор (как бы сейчас сказали: «свой язык программирования и управления сетевыми устройствами»).
В последствии данная разработка была высоко оценена на международной выставке CeBIT 2007, как техническое решение, специалистами компаний Intel, Cisco и тогда еще никому не известной компании Huawei.
Подробнее об этой разработке можно узнать из моей книги «Разработка встраиваемой сетевой операционной системы PyrOS»[1 - Чесалов А. Ю. Разработка встраиваемой сетевой операционной системы PyrOS / А. Ю. Чесалов. – 1-е изд. – Москва: Ridero, 2023. – 220 с. – URL: https://ridero.ru/books/razrabotka_vstraivaemoi_setevoi_operacionnoi_sistemy_pyros/ (https://ridero.ru/link/avCPvfZA1v3qP904CHgpb) (дата обращения: 31.05.2023). – Текст: электронный.].
2011 год
Написана диссертация на соискание ученой степени доктора технических наук на тему: «Методология определения операционных характеристик и рациональной структуры региональных распределенных сервисных сетей передачи, обработки и хранения данных». Специальность 05.13.10 – Управление в социальных и экономических системах.
Работа посвящена развитию технологий сетей Next Generation Network (NGN) и применения их для построения региональных распределенных сетей.
Диссертация защищена в Межотраслевом центре эргономических исследований и разработок в военной технике (Тверское отделение (40-я лаборатория) НИИ авиационного оборудования) – филиала Центрального научно-исследовательского института экономики и конверсии (ЦНИЭК).
В том же году в компании «МТС» внедрена, разработанная нами система централизованного хранения, обработки и защиты конфиденциальной информации, расположенной в распределенных центрах обработки информации компании, на удаленных автоматизированных рабочих местах и терминалах – «Atlansys Atlansys Enterprise Security System» (https://atlansys.tech/atlansysess/). Система была установлена на 12 000 рабочих местах [2 - Свидетельство об официальной регистрации программы для ЭВМ №2008613871. Atlansys Enterprise Security System / С. В. Луньков, А. Ю. Чесалов. – 14.08.2008 г. – М.: Роспатент, 2008.].
2021 год
1. Написана Программа центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана по теме: «Создание платформы машинного обучения для автоматизации интеллектуальных сетей передачи, обработки и хранения гетерогенных данных на основе технологий доверенного искусственного интеллекта». По направлению: «Межотраслевые технологии искусственного интеллекта и искусственный интеллект для иных приоритетных отраслей экономики и социальной сферы».
Основная цель программы Центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана – создание специализированного программного комплекса – платформы машинного обучения для автоматизации обеспечения бесперебойной работы и улучшения качества услуг интеллектуальных сетей передачи, обработки и хранения гетерогенных данных (включая поддержку работы с широкополосными сетями передачи данных, сетями Wi-Fi, сети IoT и д.р.) на основе технологий доверенного искусственного интеллекта, а также:
– работу в распределенных облачных инфраструктурах для решения широкого круга межотраслевых задач индустриальных партнеров;
– создание и тестирование новых алгоритмов обучения нейронных сетей, которые могут применяться в широком спектре кросс-отраслевых прикладных решений;
– сделать существенных шаг для последующих исследованиях в направлении Сильного искусственного интеллекта.
Очень важным аспектом работы данной платформы является реализация задачи поддержания наиболее эффективной нагрузки на сеть по критерию производительности в условиях интенсивной маршрутизации обмена сообщениями. На основании исходных данных платформа может моделировать и прогнозировать поведение сети, информируя оператора о причинах сбоев или снижения эффективности работы сети, или помогая делать прогнозы по улучшению обслуживания сети, а также решать задачи по ее оптимизации.
Созданная «умная» платформа сможет также применяться крупными производственными компаниями при переводе производственных и технологических процессов на уровень «Индустрия 4.0» и промышленного Интернета вещей, для решения задач автоматизации обмена данными о процессах и автоматической реконфигурации без непосредственного участия человека.
Применение машинного обучения и искусственного интеллекта для решения подобных задач автоматизации и оптимизации сетевых параметров интеллектуальных сетей в ближайшем будущем позволит нам перейти к созданию новых сетевых систем – сетей будущего, которые способны автоматически решать сложные оптимизационные задачи и строить самостоятельно алгоритмы построения и развития сетей, что немаловажно, они смогут выполнять оптимизационные задачи быстрее и качественнее человека, что в будущем будет возможно с появлением сильного искусственного, который позволит создавать самоорганизующиеся сети передачи данных, объединяющие в себе сотовые сети, широкополосные сети, сети Wi-Fi, сети Интернета вещей, сети промышленного Интернета и другие сети специального назначения,[3 - ITU-T Y.3170. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Requirements for machine learning-based quality of service assurance for the IMT-2020 network: дата введ. 2018—09. ITU-T, 2018. 18 с.],[4 - ITU-T Y.3172. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for machine learning in future networks including IMT-2020: дата введ. 2019—06. ITU-T, 2019. 34 с.],[5 - ITU-T Y.3174. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Framework for data handling to enable machine learning in future networks including IMT-2020: дата введ. 2020—02. ITU-T, 2020. 36 с.],[6 - ITU-T Y.3175. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Functional architecture of machine learning-based quality of service assurance for the IMT-2020 network: дата введ. 2020—04. ITU-T, 2020. 20 с.],[7 - ITU-T Y.3177. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for artificial intelligence-based network automation for resource and fault management in future networks including IMT-2020: дата введ. 2020—04. ITU-T, 2020. 24 с.],[8 - ITU-T Y.3179. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for machine learning model serving in future networks including IMT-2020: дата введ. 2020—04. ITU-T, 2020. 44 с.],[9 - ITU-T Y.3531. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Cloud computing – Functional requirements for machine learning as a service: дата введ. 2020—09. ITU-T, 2020. 40 с.],[10 - ITU-T Y.4470. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Internet of things and smart cities and communities – Frameworks, architectures and protocols. Reference architecture of artificial intelligence service exposure for smart sustainable cities: дата введ. 2020—08. ITU-T, 2020. 32 с.].
Совместно компанией «ЭР-Телеком Холдинг» – индустриальным партнером Центра разработано Техническое задание, которое позволит решить следующие основные задачи на базе создаваемой платформы:
1. Разработка подсистемы улучшения эффективной нагрузки и контроля качества эксплуатации интеллектуальной сети (инфокоммуникационной сети и сервисов).
2. Разработка подсистемы предиктивной аналитики для поддержки системы-принятия решений по эксплуатации сети.
3. Разработка подсистемы сбора и глубокого анализа данных сети IoT, с целью формирования специализированных баз данных, для дальнейшего создания, внедрения и предоставления платных сервисов клиентам (заказчикам, потребителям услуг).
Работа по написанию Программы центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана выполнена в рамках конкурса проведенного в 2021 году Аналитическим Центром при Правительстве России по отбору получателей поддержки исследовательских центров в сфере искусственного интеллекта, в том числе в области «сильного» искусственного интеллекта, систем доверенного искусственного интеллекта и этических аспектов применения искусственного интеллекта. Программа высоко оценена независимыми экспертами.
Об этом проекте и его результатах я подробно рассказываю в книге «Как создать Центр искусственного интеллекта за 100 дней».[11 - Чесалов А. Ю. Как создать Центр искусственного интеллекта за 100 дней / А. Ю. Чесалов. – 1-е изд. – Москва: Ridero, 2021. – 314 с. – URL: https://ridero.ru/books/kak_sozdat_centr_iskusstvennogo_intellekta_za_100_dnei/ (https://ridero.ru/link/TaDyck3sja1ZIv5l-K6KI) (дата обращения: 21.05.2023). – Текст: электронный.]
2. Подготовлен Отчет о научно-исследовательской работе МГТУ им. Н. Э. Баумана за 2021 год по теме: «Разработка методологии построения интеллектуальных сетей, определение их структуры и архитектуры, параметров функционирования с целью повышения производительности работы системы и пропускной способности каналов передачи данных с учетом возможности использования технологий машинного обучения и искусственного интеллекта». Работа выполнена в рамках конкурса «Приоритет-2030»: «Искусственный интеллект как сервис», проведённого Министерством науки и высшего образования Российской Федерации.
2023 год
Разработана электронная универсальная система машинного обучения «Atlansys EUS» (Electronic Universal System, EUS).
Название платформы выбрано не случайно и является отсылкой к 80-м и 90-м годам двадцатого века, к эпохе зарождения и развития компьютерных технологий, автоматизированных и экспертных систем.
Платформа «Atlansys EUS» создана для разработчиков и пользователей сервисов искусственного интеллекта. Она предоставляет цифровые сервисы, необходимые для разработки, развертывания и запуска приложений, использующих технологии машинного обучения и искусственного интеллекта в распределенных облачных средах для решения научных и бизнес-задач заказчиков.
Концепция «Atlansys EUS» – это автоматизированная реализация процесса «Data Mining -> Data Science -> Data Analysis -> Artificial Intelligence -> Machine Learning -> Value» через цифровые сервисы.
Как вы можете видеть, научно-исследовательская работа, представленная в первом томе, прошла красной нитью через многие из моих проектов, выполненных за последние двадцать лет в области информационных технологий. Я надеюсь она сможет быть полезной и вам в вашей работе.
Эта книга, как и мои многие другие, является исключительно личным опытом и проектом автора, а также абсолютно свободным к распространению документом. Вы можете использовать эту книгу и представленную в ней информацию по-своему усмотрению, но ссылка на нее обязательна.
Приятного Вам чтения и продуктивной работы!
Ваш, Александр Чесалов.
Сайт: chesalov.com
E-mail: aleksander.chesalov@yandex.ru
01.06.2023
Благодарность
Выражаю глубокую благодарность всем тем людям, которые помогли мене поверить в свои силы, провести работу над накопленным за последние двадцать лет материалом и издать эту книгу в двух томах.
Особую благодарность выражаю Директору Научно-исследовательского института энергетического машиностроения МГТУ им. Н. Э. Баумана, к.т. н. Крылову Владимиру Ивановичу, Заместителю директора Научно-исследовательского института энергетического машиностроения МГТУ им. Н. Э. Баумана, к.т. н. Французову Максиму Сергеевичу и Руководителю департамента искусственного интеллекта НОЦ «Технологии искусственного интеллекта» МГТУ им. Н. Э. Баумана, к.т. н. Тынченко Вадиму Сергеевичу.
Выражаю благодарность всем ученым, которые поддержали меня в моей инициативе опубликовать монографию, нашли время на ознакомление с данной работой и подготовили на нее свои рецензии, а именно:
– Ректору Ульяновского государственного технического университета, Почетному работнику высшего профессионального образования РФ, Заслуженному профессору УлГТУ, заместителю председателя Общественного экспертного совета по развитию информационных технологий при Губернаторе Ульяновской области, доктору технических наук, профессору кафедры «Информационные системы», Надежде Глебовне Ярушкиной.
– Руководителю научно-учебного комплекса «Информатика и системы управления» МГТУ им. Н. Э. Баумана, доктору технических наук, профессору Андрею Викторовичу Пролетарскому.
– Доктору технических наук, профессору кафедры системного анализа и исследования операций Института информатики и телекоммуникаций Сибирского государственного университета науки и технологий им. Н. Ф. Решетнева Алене Александровне Ступиной.
– Ведущему научному сотруднику лаборатории проблем компьютерной безопасности Санкт-Петербуржского Федерального исследовательского центра Российской Академии наук, доктору технических наук, профессору Игорю Борисовичу Саенко.
– Заведующему лаборатории искусственного интеллекта, профессору кафедры информатики Института космических и информационных технологий Сибирского федерального университета, доктору технических наук Олеславу Александровичу Антамошкину.
– Заместителю генерального директора по науке ООО «НТЦ АРГУС», доктору технических наук, профессору Борису Соломоновичу Гольдштейну.
Рецензии на монографию
Рецензия Ректора Ульяновского государственного технического университета, д.т.н., профессора кафедры «Информационные системы» Н. Г. Ярушкиной
Рецензия Руководителя научно-учебного комплекса «Информатика и системы управления» МГТУ им. Н. Э. Баумана, д.т.н., профессора А. В. Пролетарского
Современные тенденции развития региональных систем управления предопределяют необходимость наличия соответствующих сетевых технологий сбора обработки и хранения информации, важное значение в которых играют новые современные технологии четвертой промышленной революции. В интересах решения подобных задач субъектами Российской Федерации строятся распределенные сети сбора, обработки и хранения информации, в которых в качестве узлов сети рассматриваются отдельные хозяйствующие субъекты, органы управления и социального обеспечения, включая региональные центры управления регионом.
В целом указанные источники разнородны данных, имея собственную сеть обмена информации в единой региональной сети передачи, хранения и обработки данных (РССХД) должны быть агрегированы. Сложность решения этой задачи во многом определяется разнородностью их программно-аппаратного обеспечения, удаленностью их географического положения и разнородностью параметров связи. При наличии ограниченных ресурсов решение такой задачи становится еще более сложной и требует разработки специализированных методических подходов.
Именно решению этой научной проблемы посвящена работа. Как следует из монографии, автор достаточно подробно дает анализ существующих методов и методик оптимизации сети, начиная от ее топологического синтеза, оптимизации операционных характеристик и выбора параметров сети информационного обмена.
Автор дает критический анализ существующих методик проектирования региональных сервисных сетей передачи обработки и хранения данных (РССХД), указывает на существенные недостатки в выборе топологии сетей, системы информационного обмена и модельного обеспечения функционирования сетей в целом. В частности, следует согласится с автором, что существующие методы топологического выбора сетей не учитывают информационную взаимосвязанность узлов, их иерархическую соподчиненность по агрегируемой информации.
Кроме этого, справедливо указывается необходимость отдельного учета в выборе технических средств и программного обеспечения сетей информационного обмена, предполагая их необходимую иерархическую взаимосвязанность узлов сети по характеру обрабатываемой информации. Также следует считать справедливым указание автора на то, что в вопросах топологического анализа узлов сети на современных системах не учитывается их кластерный характер взаимосвязанности в обработке и агрегировании информации.
В целом выполненный анализ позволил автору сделать необходимые выводы о доработке существующих методик, определить научную проблему, цель и задачи исследования, изложенные в первом и втором томах монографии.
В работе лично автором получены следующие научные результаты:
1. Модель функционирования региональной сети, учитывающая структуру сети, операционные характеристики сети хранения информации и системы информационного обмена, топологию и характеристики сети связи;
2. Комплекс методик выработки альтернативных вариантов организации региональной сети передачи, обработки и хранения данных, в рамках которого разработаны:
· методики вертикальной и горизонтальной структуризации узлов сети на основе обработки матрицы необходимой связности;
· методика интегральной оценки связности узлов сети с учетом их необходимого информационного взаимодействия, связности решаемых задач и параметров каналов связи.
3. Комплекс методик выбора рациональной структуры сети передачи, обработки и хранения данных, в рамках которого разработаны:
