Архитектура хранилищ данных: традиционная и облачная

Введение

CFIHOS – Capital Facilities HandOver Specification. Дословно переводится как инструкция или стандарт по передаче данных объектов капитального строительства. Это промышленный стандарт, разработанный для улучшения того, как информация передается между компаниями, которые владеют, эксплуатируют, возводят установки для перерабатывающей (непрерывное производство) и энергетической отраслей. Является практическим применением ISO15926-4.

Разработка стандарта начиналась с классификации наименования оборудования и вспомогательных спецификаций. В итоге целью стало создание общего языка обмена информацией в указанных выше секторах.

Актуальная версия стандарта 1.4. Разработчик – организация USPI, учрежденная компанией Shell в 2012 году. В состав USPI входит более 70 международных инжиниринговых и софтверных компаний.

В основе CFIHOS лежит так называемая библиотека справочных данных – RDL, определяющая в качестве стандарта правила наименования оборудования, его атрибутов, дисциплин и документов. Версия 1.4 включает:

• Перечень классов для тэгов и оборудования (что оборудование из себя представляет и что осуществляет)

• Перечень свойств (атрибуты, характеристики, измерения)

• Перечень требований по классам (требования к данным и документам)

• Стандарт уникальной кодификации данных для облегчения цифрового проектирования и других работ

• Перечень типов документов

• Перечень дисциплин

В настоящее время CFIHOS покрывает только обмен структурированной информацией и документами.

Xiaomi Mi 11i

Этот субфлагман недавно дебютировал на Али, и мы уже рассказывали, почему он крут. По сути это тот же популярнейший Poco F3, но с мощнейшим процем Snapdragon 888 и 108-мегапиксельным основным объективом. А остальные спеки те же: 120-герцовый OLED-дисплей, классные стереодинамики, влагозащита IP53 и батарея на 4520 mAh с поддержкой быстрой зарядки на 33 Вт.

Кажется, что аппарат должен быть лучшим камерофоном в классе, но ему мешает один недостаток — отсутствие оптической стабилизации. Если часто снимаете видосы, рекомендуем присмотреться к жутко подешевевшему OnePlus 8T или новому 9R. Это устройства-близнецы с единственным отличием: у R-версии более продвинутый чип Snapdragon 870. Главное, что у них есть оптостаб, поэтому видео получаются очень плавными.

Но Mi 11i подойдет тем, кому нужен сбалансированный фотофлагман именно от Xiaomi. В любом случае, линки на все гаджеты оставим ниже.

• Xiaomi Mi 11i на 128 ГБ от 42 косарей на Маркете.
• Xiaomi Mi 11i на 128 Гбайт от 29 кэсов на Али (+1800 рублей в качестве таможенного взноса) с учетом промокода BEACH.
• Xiaomi Mi 11i на 256 гигов от 43 850 рублей на Маркете.
• Xiaomi Mi 11i на 256 ГБ от 33,3К на Али (+2400 рублей в качестве таможенной пошлины) с учетом промо BEACH.
• OnePlus 8T на 8/128 Гбайт от 33,8 тысяч.
• OnePlus 8T на 12/256 гигов от 38,3К.
• OnePlus 9R на 8/128 ГБ от 35,5 штук.
• OnePlus 9R на 8/256 Гбайт от 37 310 рублей.

Что такое мастермайнд

Мастермайнд —  это групповой формат близких по духу людей, которые регулярно встречаются вместе, чтобы поддерживать друг друга и помогать с личными и профессиональными проблемами.

Например, если вы потеряли работу, участники группы помогут составить новое резюме, поделятся контактами и порекомендуют вас знакомым.

Здесь вы можете поделиться личными проблемами и мыслями, которые не хотите обсуждать с родственниками или друзьями. Вас поддержат, примут и предложат помощь в ненасильственной форме. При этом того же будут ждать от вас. Мастермайнд — это группа взаимного совершенствования.

Некоторые группы собирают для решения конкретной проблемы. Например, вы запускаете новый проект. Подбираете людей с позитивным опытом, которые помогут не допустить ошибок и довести проект до запуска. После решения проблемы такие группы распускают.

Члены «Мафии» профинансировали или возглавили несколько крупнейших мировых технологических компаний. Fleximize подробно рассказали о составе PayPal Mafia и их взаимосвязях

Другие мастермайнд-группы поддерживают друг друга постоянно. В таких группах люди работают над своими целями в коллективе. Каждый вкладывается в успех других участников, поддерживает, делится опытом и ресурсами.

Например, PayPal Mafia — объединение бывших учредителей и сотрудников компании PayPal, среди которых основатель SpaceX и Tesla Motors Илон Маск, президент Clarium Питер Тиль, сооснователь LinkedIn Рид Хоффман.

Идею мастермайнд предложил Наполеон Хилл. Он изучил успешных американцев: Генри Форда, Томаса Эдисона, Теодора Рузвельта и опросил более 500 человек, чтобы найти секрет успеха. В своих книгах «Закон успеха» и «Думай и богатей» Наполеон Хилл описал идею сотрудничества группы людей для помощи и поддержки друг друга. Современные историки критикуют Хилла за обман и мошенничество, а в 2019 году Gizmodo назвал его «величайшим мошенником всех времен». При этом концепция мастермайнд-групп оказалась рабочей и прижилась во многих странах.

Хилл описал концепцию мастермайнд-группы в 1928 году, но такие группы существовали раньше. В 1727 году Бенджамин Франклин организовал Junto Club из 12 человек. Участники клуба собирались по пятницами, чтобы поделиться своими открытиями, обсудить политику, вопросы морали и философии.

Чем тщательнее сформулированы цели участников, тем проще подобрать форматы для поддержки этих целей. Например, приглашать эксперта или пользоваться мозговым штурмом

(Фото: Наталья Ядренцева)

Мастермайнд-группа — ваш «личный совет директоров», который поможет достичь своих целей, получить новый опыт и поддержку в трудные моменты. Вот чем он будет полезен:

• Взаимная поддержка. Участники группы поддержат вас, несмотря на провалы, не будут смеяться или принижать значимость проблем. Поддержка, безопасность и понимание в группе строится на взаимности всех участников, поэтому от вас будут ждать того же.
• Другие точки зрения. Разные точки зрения участников мастермайнд-группы помогут увидеть проблемы, которые вы не замечали раньше. Обратная связь других людей может не понравиться, но даст новое видение ситуации и возможностей.
• Ресурсы. У каждого участника группы будет разный набор навыков и контактов. Обращаясь за помощью, вы можете найти подходящие компетенции у других людей, чтобы решить свои проблемы. И наоборот, предложить свои навыки, опыт и связи для помощи остальным участникам группы.
• Нетворкинг и продвижение. Вы познакомитесь с новыми людьми и получите полезные контакты, которые помогут развить бизнес, найти новую работу или единомышленников. Сможете продвигать проекты и профили друг друга. Например, участники группы расскажут о вашем блоге или продукте в своих соцсетях, а вы о них.

Клиентский балансировщик, Предохранитель и Http-клиент

Следующий набор инструментов тоже разработан в Netflix и нативно интегрирован в Spring Cloud. Все они работают совместно и используются в микросервисах, которым нужно общаться с внешним миром или внутренней инфраструктурой.

Ribbon

Ribbon — это client-side балансировщик. По сравнению с традиционным, здесь запросы проходят напрямую по нужному адресу, что исключает лишний узел при вызове. Из коробки он интегрирован с механизмом Service Discovery, который предоставляет динамический список доступных инстансов для балансировки между ними.

Feign

Feign — простой и гибкий http-клиент, который нативно интегрирован с Ribbon и Hystrix. Проще говоря, имея в класспасе зависимость и активировав клиент аннотацией , вы получаете полный набор из балансировщика, предохранителя и клиента, готовый к бою с разумной дефолтной конфигурацией.
Вот пример из Account Service:

• Все что нужно — объявить интерфейс
• Как обычно, мы просто указываем имя сервиса (благодаря механизму Service Discovery), но конечно можно обращаться и к произвольному url
• вместе с содержимым можно оставлять единой для и в Spring MVC

Пример №3. Увольнение

Сотрудник компании, находящийся в группе риска, а именно с известной датой увольнения, решил, что надо для нового места работы захватить с собой что-нибудь полезное.

Замысел он решил воплотить в жизнь в свой последний рабочий день, перед тем как забрать трудовую книжку. Так как основные каналы утечки у него уже были заблокированы по  корпоративным правилам для увольняющихся сотрудников за несколько дней до этого, оставался один из возможных способов — отправить документы на печать.

Сотрудник безопасности, работающий в этом же офисе, сразу после получения уведомления о распечатке конфиденциального документа сотрудником, находящемся в группе риска, направился к нему и, можно сказать, поймал за руку, т. к. тот уже вынес документ и положил себе в автомобиль, а обходной лист со стороны СБ уже был согласован до факта печати.

До чего простой способ кражи информации! Но для успешного пресечения таких действий важен комплекс мер — предварительная работа по профилированию групп риска, способность DLP-системы в реальном времени фиксировать события, а также оперативная реакция офицера  безопасности. В таких случаях счет идет на минуты.

Что нам стоит SOC построить

Чем выше бюджет проекта, чем больше проект политизирован, тем сложнее изменить его вводные. Но для решения вопросов безопасности тоже действует принцип Парето. Добивать самые трудоёмкие 1-5-10% договора, которые не будут заметны в общем результате, не выгодно ни одной из его сторон. Проект лучше разбивать на этапы, а не гнаться за постройкой условного SOC с нуля. Это позволит учесть опыт предыдущих стадий и минимизировать риски по реализации нереализуемого, а часто и не нужного.

Итоговые цели нужно как ставить, так и пересматривать. А когда они зафиксированы в договоре, это практически невозможно. Например, база данных, с которой по грандиозному плану будут собираться события аудита, упадёт под дополнительной нагрузкой, вызванной этим самым аудитом. Но в техническое задание уже заложено требование по написанию ранбука на основе данных источника и реализации его в IRP. Переходим к правкам по ходу пьесы?

Декомпозицию на этапы можно производить вплоть до подключения «вот этих 5 видов источников» или создания «вот этих 10 сценариев и ранбуков к ним». Главное – это не полнота внедрения, а полнота использования того, что внедрено. Обосновать модернизацию эффективного решения проще, чем того, которое всплывает два раза в год в негативном контексте и стоит в десять раз дороже.

Если не знаете, что точно хотите и можете получить от автоматизации – просите пилотный проект. Но если не понимаете, что вам надо «без автоматизации» – от кого будете защищаться, куда и как ему было бы интересно проникнуть, что вам с этим делать – преимуществ от пилота будет мало. В технической части вы, вероятно, совершите скачок. Но подходит ли вам конкретный продукт – сказать будет сложно. Тут нужен консалтинг, а не внедрение технических решений. Пока вы не определитесь, что хотите автоматизировать, выбор конкретной системы не будет обоснованным. То, что показалось достаточным в ходе сегодняшнего пилота, завтра придётся подпирать костылями.

Пилот должен проводиться в рамках разумного. Я знаю организацию, которая столкнулась с невозможностью масштабирования после закупки. Не первый раз просят пилот, в котором у SIEM 30 графических панелей, 40 видов источников, 50 правил корреляции и 60 отчётов. Сделайте, а мы подумаем, покупать или обойдёмся. Интересы сторон должны сходиться. В той же части масштабирования можно согласовать решение с производителем и, например, заручиться от него гарантийным письмом.

Тестовый стенд

Процессор	AMD Ryzen 7 5800X
Материнская плата	ASRock B550 Taichi Razer Edition
Видеокарта	Sapphire AMD Radeon RX 6800 XT 16Gb
Термоинтерфейс	Arctic MX-2
Оперативная память	G.Skill Trident Z Royal DDR4-4266 16Gb (2*8Gb)
Накопитель	M.2 SSD Samsung 970 Pro 512 Гб
Блок питания	Corsair RM850x мощностью 850 Вт
Корпус	Открытый стенд
Монитор	ASUS PB298Q, 29″, 2560×1080, IPS
Операционная система	Windows 10 Pro 64-bit 20H2

Материнская плата тестировалась с 8-ядерным процессором AMD Ryzen 7 5800X и одноранговым комплектом памяти G.Skill Trident Z Royal DDR4-4266. Место графического адаптера в системе заняла видеокарта Sapphire AMD Radeon RX 6800 XT в референсном исполнении.

Система была собрана в виде открытого стенда и выглядела следующим образом.

Как организовать мастермайнд удаленно

Глава практики «Розница» российского офиса компании Spencer Stuart Юлия Садовникова считает, что мастермайнд работает лучше, когда участники общаются лично. Из-за пандемии мы не знаем, когда вернемся к безопасным личным встречам

При этом важно меняться именно сейчас, чтобы выйти на новый виток развития и выиграть после пика кризиса. Формат мастермайнд-группы помогает генерировать идеи для этих изменений, поэтому важно эффективно адаптировать его к новой реальности

Юлия поделилась алгоритмом и ключевыми принципами организации удаленной мастермайнд-группы, который они разработали и используют вместе с коллегами.

Семь раз проверь…свой канал связи. Неправильные инструменты связи и медленный канал соединения — очевидные, но часто мешающие эффективному групповому общению вещи. Убедитесь, что выбрали удобный и защищенный канал связи. Попробуйте несколько сервисов и программ для видеосвязи заранее вместе с другими участниками.

Видеть друг друга — критично

В текущих условиях важно проводить видеовстречи, а не звонки
Люди рассредоточены физически, подвержены стрессу, их внимание рассеяно. Без камеры фокус внимания будет размываться еще сильнее
Чтобы удаленные встречи приносили пользу, договоритесь со своей группой пользоваться камерами.

Встречают по одежке

Этот принцип остается актуальным — люди составляют о вас мнение по внешнему виду. Формальная одежда помогает держать себя в тонусе и вносить вклад в работу мастермайнд-группы. Если вы одеты совсем расслабленно, будет труднее. Не нужно надевать костюмы, но примерно одинаковый стиль business casual важен. Наденьте брюки, рубашку или простой свитер без принтов, этого будет достаточно.

«Сколько вешать в граммах?» Четкость повестки и плана действий очень важна. Тщательно готовьте темы и вопросы, продумывайте возможные возражения и конфликтные точки, провоцируйте корректные споры. Именно полярность мнений и уважительные споры рождают новые смыслы в мастермайнд-группе.

Фасилитация. Посвятите время пониманию, где вы находитесь с группой сейчас, что получили, чего достигли, что не получилось. Это поможет находить решения быстрее, а все участники группы будут в одинаковом когнитивном и эмоциональном состоянии. Не додумывайте за кого-то, уточняйте всё. Лучше переобщаться, чем недообщаться.

Делайте «чек-ин» и «чек-аут» при встрече с группой. Люди могут оставаться вне встречи вниманием и эмоциями, поэтому в любой разговор нужно себя «приводить». Перед началом встречи сделайте «чек-ин», не бросайтесь в мозговой штурм на важные темы сразу. Спросите участников группы, как они себя чувствуют, на чем сфокусировано их внимание в принципе. Похоже выглядит «чек-аут» в конце встречи. Узнайте у каждого участника: с чем он уходит со встречи, какие идеи, шаги и действия берет в работу до следующего раза.

Мы с тобой одной крови. Участники должны понимать, зачем они в группе, почему выделяют время на встречи и следуют общепринятым правилам. Важны равноценный уровень людей в группе и примерно одинаковые сроки нахождения в соответствующих ролях. Например, Юлия с коллегами часто организуют мастермайнд-группы из СЕО крупнейших компаний в разных индустриях. В таких группах участники должны быть из компаний, близких по размеру, сложности бизнеса и контексту. При этом длительность работы в роли СЕО не должна различаться в несколько раз.

SIEM

Переход от LM к системам класса Security Information and Event Management требуется в двух случаях:

1. Необходимо оповещение операторов о подозрениях на инциденты (далее — инциденты) в режиме близком к реальному времени. К этой опции должны прилагаться сотрудники, работающие в том же режиме — 24х7.

   

   

   

   

   

   

   

   

   

   

2. Необходимо выявление последовательностей разнородных событий. Это уже не просто фильтрация и агрегация, как в LM или Sigma (на текущий момент).

Дополнительно вы получите:

1. Правила «из коробки», которые хороши в качестве примеров или отправной точки. Или после глубокой доработки и настройки.

2. Историческую корреляцию, совмещающую преимущества SIEM (структура корреляционного запроса) и LM (работа с данными на всю глубину). Быстрое тестирование нового правила на исторических данных, проверка только что пришедшего IOC, который обнаружен две недели назад, запуск правил с большими временными окнами в неурочное время – всё это применения данной функции. Она может быть частью базового решения, требовать отдельных лицензий или вовсе отсутствовать.

3. Второстепенные для одних, но критичные для других функции. Иное представление данных на дашбордах, отправка отчётов в мессенджер, гибкое управление хранением событий и т.д. Производитель стремится оправдать скачок цены от LM к SIEM.

Задачи на этом этапе следующие:

Создание логики детектирования всех интересных вам инцидентов. Без автоматизации вам приходилось выбирать только самые критичные

Сейчас можно учесть всё действительно важное. Главный вопрос – как на таком потоке выстроить реагирование.
Уменьшение ЛПС и ЛОС путём обогащения данных – добавления информации из внешних справочников, изменения пороговых значений, дробления правил по сегментам, группам пользователей и т.д

Возросший объём статистики по работе сценариев улучшает качество их анализа.

Обе задачи решаем итерационно. Хороший показатель – 15 инцидентов на смену аналитика. Достигли его – закручиваем гайки дальше.

Начинаем оценивать эффективность расследования – время на приём в работу инцидента, время на реагирование, время на устранение последствий и т.д. И пытаться этой эффективностью управлять – что мешает работать быстрее, где основные задержки?

Результаты использования SIEM:

Выявление инцидентов происходит в автоматическом режиме, возможно обнаружение и корреляция цепочек разнородных событий.
Рост числа типов инцидентов

Аналитик переключает внимание с обнаружения на расследование и реагирование. При этом не стоит забывать про Threat Hunting – этот метод остаётся лучшим для определения новых для вас угроз.

Какой шаг сделать дальше? Тут лучших практик нет. Следующие этапы могут идти последовательно в любом порядке, параллельно или вовсе отсутствовать.

Запуск

Если вы дочитали до этого места, возможно вам будет интересно запустить все это своими руками. Хочу отметить, что инфраструктура состоит из 8 Spring Boot приложений, 4 инстансов MongoDB и одного RabbitMQ. Убедитесь, что в системе доступны 3-4 Гб памяти. Всегда можно запустить ограничиться самым необходимым функционалом — отказаться от Statistics service, Notification Service и Monitoring.

Production mode

В этом режиме все предварительно собранные образы загружаются из центрального репозитория (в данном случае Docker Hub), порты проброшены наружу докера только для API Gateway, Service Discovery, Monitoring и RabbitMQ management. Все что вам понадобится — это docker-compose файл и команда .

Development mode

В режиме разработки предполагается строить образы, а не забирать их из репозитория. Все контейнеры выставлены наружу для удобного дебага. Эта конфигурация наследуется от приведенной выше, перезаписывая и расширяя указанные моменты. Запускается командой

Примечания

Всем Spring Boot приложениям в этом проекте для старта необходим доступный Config Server. Благодаря опции в каждого приложения и опции restart: always в докере, контейнеры можно запускать одновременно (они будут автоматически продолжать попытки старта, пока не поднимется Config Server).
Механизм Service Discovery так же требует некоторого времени для начала полноценной работы. Сервис не доступен для вызова, пока он сам, Eureka и клиент не имеют одну и ту же мета-информацию у себя локально — на это требуется 3 хартбита. По умолчанию период времени между хартбитами составляет 30 секунд.

Создание концепции 7С

Уровень менеджмента является важной составляющей успеха любой компании. Ведущие консультационные и рейтинговые организации обычно оценивают его в соответствии с так называемой концепцией 7С

Такое название концепция получила потому, что все семь входящих в нее базовых элемента – стратегия, структура, система и процедура работы, стиль, состав персонала, сумма навыков и совместно разделяемые ценности – начинаются с буквы «С».

Эта модель еще имеет название «Счастливый атом». Она была разработана в 80-е годы в консультационной фирме «McKinsey». Ее авторы – американские ученые-экономисты Томас Питер и Роберт Уотерман, которые написали известную книгу «В поисках эффективного управления» и Ричард Паскаль и Энтони Атос, создавшие не менее известную работу «Искусство японского управления: пособие для американских управляющих». Эта модель не просто систематизировала традиционные взгляды на структуру, управление, разделение власти, отношение к внедрению перемен, конфликты и другие общие организационные проблемы. Она указала на взаимосвязь, которая существует между производственными процессами и теми, кто их осуществляет.

Поведение комплекса RTDS, а также устройств SEL и AREVA при изменении признаков данных GOOSE-сообщения

В ходе проверки осуществлялось формирование GOOSE-сообщения от комплекса RTDS с установленным признаком тестирования Test; при этом в модели устанавливалось КЗ на линии, защита которой обеспечивалась двумя имеющимися устройствами РЗА. Рис. 6 иллюстрирует результат опыта моделирования однофазного КЗ на землю. Черные шлейфы “GOOSEIN” – сигналы от устройств SEL и AREVA, передаваемые посредством GOOSE-сообщений. Красный шлейф “BI1GT” показывает состояние признака режима тестирования для каждого из 16 виртуальных входов (“GOOSEIN”). Черный шлейф №0 – сигнал отключения по фазе А; шлейф №3 – разрешающий сигнал, передаваемый устройством SEL. Черный шлейф №8 визуализирует сигнал отключения по фазе А, шлейф №13 визуализирует разрешающий сигнал, передаваемый устройством AREVA в защиту, установленную на противоположном конце ВЛ. Для GOOSE-сообщения, публикуемого устройством AREVA, был выбран режим с разрешением изменения состояний элементов набора данных и с трансляцией установленного признака режима тестирования Test. Красные шлейфы с №8 по №15 отражают факт идентификации модулем GTNET признака режима тестирования, установленного в GOOSE-сообщении, поступаемом от устройства AREVA. Для предотвращения отключения выключателя при приеме GOOSE-сообщения с установленным признаком режима тестирования Testнеобходимо использовать функции гибкой логики. Утверждение об этом можно найти и в разделе 15.2.3.8 стандарта МЭК 61850-7-2 (редакция 1): «Значение ИСТИНА признака режима тестирования должно указывать на то, что данные, передаваемые посредством сообщения, не должны использоваться при выполнении устройством своих функций».

Рис. 6. Моделирование режима КЗ при установленном в устройстве P444 признаке режима тестирования Test.

Публикация комплексом RTDS GOOSE-сообщения, содержащего информацию о положении выключателя и готовности привода с установленным признаком режима тестирования, привела к его игнорированию как устройством SEL, так и устройством AREVA, поскольку в конфигурации последнего для параметра “Игнорирование признака режима тестирования” было задано значение “Нет”.  Из рис. 7 видно как устройства, установленные по концам линии, ликвидируют КЗ фазы А на землю, но после этого не происходит АПВ. 

Рис. 7. GOOSE-сообщение от комплекса RTDS с установленным признаком режима тестирования.

На рис. 8 показаны осциллограммы токов и напряжений фазы А для случая публикации комплексом RTDS GOOSE-сообщения с установленным признаком режима тестирования Test. Фазное напряжение не восстанавливается по причине того, что не происходит АПВ из-за получения устройствами сигнала готовности привода с установленным признаком режима тестирования.

Рис. 8. Отключение фазы A без АПВ.

Итоги

GIGABYTE GA-Z97X-SOC – самобытная модель на Intel Z97 с расширенным набором инструментов для тонкого тюнинга системы. Некоторые фирменные решения значительно упростят поиск предельных мегагерцев. Очевидно, что рассмотренная плата оптимизирована для энтузиастов, серьезно увлекающихся разгоном системы. Для многих пользователей впечатляющий набор дополнительных приспособлений для экспериментов  на открытом стенде покажется избыточным. С другой стороны, дополнительные функции добавлены не в ущерб базовых компонентов. Как знать, может быть со временем дух технического авантюризма возьмет верх и вам захочется, кроме стабильной работы в штатном режиме, получить от своей системы чего-то большего. Если при выборе платформы вы оставляете место для такой возможности, GIGABYTE GA-X97X-SOC будет интересным выбором.

+ Интересный внешний дизайн

+ Качественная элементная база

+ Поддержка связок 4-Way CrossFire и 2-Way SLI

+ Две микросхемы BIOS

+ Расширенный набор приспособлений для разгона системы

+ Хороший потенциал для форсирования

+ Умеренная цена (~$215)

— Возможны нюансы при установке кулеров с широким радиаторным блоком