Преимущества анализа приложений 7 уровня в межсетевых экранах. часть 1. основы / хабр

Что умеет NAS?

Хранение данных и доступ к ним

Основная функция NAS заключается в хранении файлов и обеспечении доступа к ним. И самые простые NAS ничего другого не умеют. Здесь никаких «подводных камней» нет: достаточно выбрать нужный массив дисков (о чем мы поговорим ниже), создать том, после чего можно приступать к добавлению сетевых папок. Чаще всего доступ к папкам и файлам на сетевом хранилище осуществляется по привычному стандарту Windows (SMB), но поддерживаются и другие протоколы.

NAS поддерживают создание пользователей, что позволяет удобно управлять доступом к сетевым ресурсам.

Сетевое хранилище поддерживает пользователей и группы, что позволяет ограничить доступ к папкам только определенным пользователям. Также можно выставлять доступ, например, на чтение. Поддерживаются квоты, ограничивающие доступное пространство для того или иного пользователя.

Весьма удобной функцией является общая корзина. Так, при удалении файлов на сетевом ресурсе NAS они будут храниться в корзине какое-то время, их можно восстановить. Что помогает, если пользователь удалил файлы случайно.

С помощью NAS можно предоставить доступ к выбранной сетевой папке через Интернет, например, друзьям, чтобы поделиться фотографиями из прошлого отпуска. Или выдать коллегам рабочие файлы проекта.

Преимущество хранения файлов на NAS заключается и в их централизованном резервировании. Администратор NAS может задать расписание, по которому будут создаваться резервные копии или моментальные снимки (снапшоты). Поддерживается и сохранение нескольких версий файлов. Поэтому если в документ были внесены какие-либо ошибочные изменения, можно будет вернуться к предыдущей версии.

Пакеты приложений — расширение возможностей NAS

Сетевые хранилища сегодня превратились в домашние серверы, выполняющие огромный спектр задач. Как и случае ПК под управлением Windows, набор возможностей здесь определяется установленными приложениями. Применительно к NAS они называются пакетами. И если нужно добавить к сетевому хранилищу ту или иную функцию, то достаточно установить требуемый пакет. Большинство приведенных в статье возможностей NAS реализуются путем добавления пакетов. Список доступных пакетов для NAS Synology можно посмотреть здесь.

Пакеты обеспечивают практически безграничное расширение возможностей NAS

Механизмы Leaky Bucket и Token Bucket

Алгоритм Token Bucket

Собственно ограничение скорости путём отбрасывания лишних пакетов на основе очень простого условия. Выполняется на чипах коммутации.
Создание этого простого условия, которым занимается более сложный (более специализированный) чип, ведущий счёт времени.

Single Rate — Two Color Marking

CIR — Committed Information RateCBS — Committed Burst SizeBcTcCSingle Rate — Two ColorSingle RateTwo Color

Если количество доступных монет (бит) в ведре C больше, чем количество бит, которые нужно пропустить в данный момент, пакет красится в зелёный цвет — низкая вероятность отбрасывания в дальнейшем. Монеты изымаются из ведра.
Иначе, пакет красится в красный — высокая вероятность дропа (либо, чаще, сиюминутное отбрасывание). Монеты при этом из ведра С не изымаются.

Single Rate — Three Color Marking

sr-TCMSingle Rate — Three Color MarkingECEEBS — Excess Burst SizeTeEB

Если монет в ведре C хватает, пакет красится в зелёный и пропускается. Из ведра C вынимается B монет (Остаётся: Tc — B).
Если монет в ведре C не хватает, проверяется ведро E. Если в нём монет хватает, пакет красится в жёлтый (средняя вероятность дропа), из ведра E вынимается B монет.
Если и в ведре E не хватает монет, то пакет красится в красный, монеты не вынимаются ниоткуда.

не суммируютсяCECECERFC 2697

Two Rate — Three Color Marking

Tr-TCMPCIRCBSCPIREBSPCPB

Если монет в ведре P не хватает — пакет помечается красным. Монеты не выниваются. Иначе:
Если монет в ведре C не хватает — пакет помечается жёлтым, и из ведра P вынимаются B монет. Иначе:
Пакет помечается зелёным и из обоих вёдер вынимаются B монет.

CPCPPCRFC 2698

Шейпинг входящего трафика

До этого речь была только про исходящий трафик. Но входящий трафик тоже нужно шейпить. Для входящего трафика мы используем точно такой же подход, как для исходящего. Отличие состоит лишь в том, что сетевые дисциплины и фильтр с BPF программой настраиваются не на сетевом интерфейсе, а на виртуальном интерфейсе ifbX, создаваемом модулем ifb, на который переадресуются входящие пакеты.

Входящий и исходящий трафик шейпятся отдельными BPF программами, алгоритм max-min fair share и статистика по ним считаются независимо.

Не обошлось без подводных камней – после включения шейпинга входящего трафика перестала работать синхронизация времени через ntpd. Как выяснилось, реализация протокола NTP использует поле и не очень хорошо относится к его модификации. В BPF программу была добавлена проверка, чтобы не менять tstamp пакетов, относящихся к NTP (UDP пакеты с src и dst портом 123). После чего синхронизация снова заработала.

Symantec

DLP-система Symantec выполняет 3 основные функции: контроль действий пользователей, мониторинг перемещения секретных данных по сетевым каналам связи, сканирование локальной сети на предмет неупорядоченного хранения важных документов.

Функции и фичи

Обнаружение конфиденциальной информации в открытом доступе, в системах документооборота, почтового обмена, базах данных, на серверах и файловых хранилищах.
Отслеживание и блокировка перемещения информации внутри корпоративной сети и за ее пределы.
Контроль веб-сервисов и облачных хранилищ, мобильных приложений, входящих и исходящих сообщений электронной почты на мобильных устройствах.

Удобство в использовании

Удобный интерфейс, понятный на интуитивном уровне функционал управления политиками безопасности и инцидентами. Явных минусов не обнаружено.

Цена

Ситуация повторяется: на официальном сайте стоимость услуг мы не нашли. В других открытых источниках прайс тоже можно получить по запросу. Поэтому делаем выводы: дорого.

Выводы

DLP-система Symantec — продукт корпоративного класса с удобным интерфейсом, широкими возможностями контроля и аналитическими функциями. Компания Symantec является мировым лидером в разработке и внедрении DLP систем и уже давно зарекомендовала себя на этом рынке и в России.

Выбор СХД для видеонаблюдения

Особенности ввода/вывода для видеонаблюдения

Каждая IP-камера создаёт свой последовательный поток данных для записи в хранилище видеоархива. В результате формируется серьёзная многопоточная нагрузка на запись.
При просмотре видео из архива осуществляются последовательные операции чтения, состоящие из одного или нескольких потоков.

Проблема выбора

Есть вендоры, которые занимаются только хранением данных, и СХД являются их основными или единственными продуктами.
Есть гиганты ИТ-индустрии, которые делают всевозможное оборудование и ПО, при этом поддерживают и развивают собственные линейки СХД и решений для хранения.
Многие крупные производители ПО и железа для видеонаблюдения предлагают свои хранилки.

Брeндовые хранилки. Другими словами, СХД от производителей класса «А» или премиум-сегмент. Они крутые, надежные, у них хороший сервис. Ценник у них весьма недешёвый, даже на модели начального уровня, а серьёзные производительные модели стоят как самолёт. Самое обидное, что зачастую в них нельзя ставить произвольные винты (HDD), нормально в них воткнутся, станут работать и не лишат гарантии на железо только «родные» диски вендора СХД. По факту, это будут те же серверные винты от производителей, которые выпускают жесткие диски, но с фирменными салазками и фирменной наклейкой производителя СХД, только стоить они будут в разы дороже. Собственно, с винтами для брендовых серверов дела обстоят так же. Для проектов по видеонаблюдению, где люди привыкли считать деньги и не хотят переплачивать в разы за бренд, эти решения не подходят. Конечно, если заказчик «сидит на трубе» – это его случай, может себе позволить.
Бюджетные решения. Это готовые хранилки от «народных» СХД-вендоров либо сборные решения на недорогом стандартном (commodity) серверном оборудовании и программных СХД (SDS), платных или бесплатных. Сюда относятся и продукты от вендоров видеонаблюдения. Цены приятные, винты можно ставить любые, но могут возникнуть проблемы с надежностью, производительностью и сервисом. Такое решение подходит для небольших и некритичных проектов в условиях ограниченного бюджета. Для серьёзных систем, где нужна гарантированная надежность, производительность, отказоустойчивость и сервис, такие решения неприемлемы, это нужно понимать.

Требования к сетевому шейперу

Мы хотим, чтобы задержка prod задачи как можно меньше зависела от наличия других задач на том же хосте – prod или nonprod.

Для выполнения этих требований нам нужны следующие возможности по управлению трафиком:

Приоритезация – prod получает ресурс сетевой карты до nonprod.
Квотирование (rate limit) – трафик каждой prod задачи можно ограничить сверху. Это означает, что на сервере с 10 Гбит/с свободной полосы можно разместить 10 prod задач с квотой 1 Гбит/с так, чтобы они не мешали друг другу.
Разделение полосы (link sharing) – у каждой nonprod задачи есть вес, который определяет в какой пропорции она получает свободную полосу трафика, не использованную prod задачами.

RAIDIX для видеонаблюдения

Основные преимущества

Быстрые последовательные (потоковые) операции для обработки данных с большого числа IP-камер. Например, сотни и тысячи камер с разрешением FullHD и выше, частотой 25 к/с, средней или высокой сложностью сцены.
Большая полезная ёмкость за счет возможности эффективно работать с большими RAID-группами на 12-24 диска, обеспечивающими отработку одновременного отказа до двух и более дисков. При этом могут успешно использоваться диски большого объёма — 6-10ТБ.
Отсутствие просадки производительности при вылетании дисков за счет мощи процессоров Xeon и эффективного подхода к использованию их инструкций. Данные с отказавших винтов очень быстро и незаметно для конечных потребителей ресурсов СХД вычисляются из контрольных сумм.
Поддержка двухконтроллерной конфигурации СХД, исключающей наличие единых точек отказа.

Дополнительные возможности

Помимо стандартных уровней RAID 10, 5, 6 поддерживаются RAID 7.3 и N+M, которые обеспечивают отработку отказов до трех (RAID-7.3) и более (RAID-N+M, N дисков — полезный объем, M дисков — могут вылетать) дисков разом.
Возможность восстановления скрытых повреждений данных на дисках — защита от silent data corruption.
Упреждающая реконструкция. СХД отслеживает производительность всех дисков. Отдельные диски в случае неисправностей могут продолжать работать, но тормозить настолько, что восстановление их данных из контрольных сумм происходит быстрее чтения с этих дисков. В таком случае запись останется без изменений, но вместо чтения с проблемных дисков данные будут принудительно вычисляться из контрольных сумм массива для получения оптимальной производительности.
Частичная реконструкция. При временном отключении диска после его повторного подключения будет восстанавливаться лишь недостающая часть данных. Это может быть полезно при отключении дисков по ошибке, потере соединения дисков, перемещении дисков между полками, отключении полок целиком на время проведения обслуживания (при соответствующем числе полок и распределении RAID-групп по ним).

Gigabyte GA-Z270-HD3P: оснащение

Тот, кто хочет самостоятельно собрать себе новый настольный ПК, должен подумать не только про CPU, GPU и RAM. Прежде всего материнская плата определяет те характеристики, которыми будет обладать ваш будущий компьютер. Gigabyte GA-Z270-HD3P базируется на сокете LGA1151 и предназначается для установки процессоров серии Skylake и Kaby Lake, выпускаемых компанией Intel.

CPU будет работать в паре с оперативной памятью стандарта DDR4 (старый стандарт RAM DDR3 больше не поддерживается). Помимо уже упомянутых портов USB 3-й версии, плата предлагает несколько интерфейсов USB 2.0 (включая 4 внутренних), которые можно использовать, например, для подключения различных устройств ввода.

Для подключения таких носителей информации, как жесткие диски и SSD-накопители, в вашем распоряжении следующие интерфейсы: 4x SATA, 1x SATA Express, 1x M.2. Внешних решений для работы с сетью и звуком здесь не понадобится: на материнской плате уже есть гигабитный сетевой чип Intel I219-V и звуковая карта Realtek ALC887.

Если кто-то не захочет устанавливать выделенную графическую карту, то можно будет воспользоваться возможностями интегрированной графической подсистемы Intel и снимать видеосигнал с одного из выходов, расположенных на задней панели платы: D-Sub, DVI, HDMI. Для получения полного перечня оснащения данной материнской платы мы рекомендуем вам заглянуть в наш соответствующий рейтинг.

Создание гибридного DLP-решения с помощью EtherSensor и endpoint-компонентов DeviceLock DLP

Совместное использование агентов DeviceLock DLP, обеспечивающих полнофункциональный DLP-контроль рабочих станций, и сервера перехвата и анализа сетевого трафика DeviceLock EtherSensor, позволяет построить уникальную гибридную DLP-систему в организации любого масштаба. Благодаря сочетанию двух различных DLP-архитектур (сетевой и агентской) для контроля сетевого трафика службы информационной безопасности получают возможность обеспечить DLP-контроль корпоративной информации в различных сценариях, создавая гибкие DLP-политики с различными уровнями контроля и реакции на события, повысить надежность DLP-системы при решении задачи предотвращения и выявления утечек информации. Единая база данных событийного протоколирования и теневого копирования, наполняемая событиями и данными, полученными при перехвате трафика с уровня сети и в результате контроля сетевых коммуникаций и устройств на рабочих станциях, позволяет выявлять инциденты информационной безопасности для широчайшего спектра потенциальных каналов утечки данных.

Гибридная DLP-система эффективно решает сразу несколько проблем и задач, стоящих перед службами информационной безопасности – мониторинга сетевого трафика с компьютеров и мобильных устройств, на которых по техническим причинам невозможно установить или эксплуатировать DLP-агент, либо снижения нагрузки на рабочие станции пользователей за счет раздельного контроля различных сетевых сервисов и протоколов на разных уровнях. Автоматическое переключение различных комбинаций DLP-политик для контроля сетевого трафика в агенте DeviceLock DLP в зависимости от наличия подключения к корпоративной сети и/или корпоративным серверам позволяет обеспечить чрезвычайно гибкий контроль пользователей, когда, например, на уровне агента при нахождении лэптопа в офисе сохраняется контроль устройств, принтеров и особо критичных сетевых приложений и сервисов, в том числе с применением контентной фильтрации в режиме реального времени, а контроль и инспекция других сетевых протоколов и сервисов возлагается на модуль EtherSensor.

Что может PT Network Attack Discovery

Изучив «вживую» продукт и его документацию, мы обратили внимание на следующие особенности PT NAD:

Видит активность злоумышленников даже в зашифрованном трафике. Этого удаётся достичь с помощью пассивного метода анализа через побочные каналы. Признаки вредоносной активности выявляются благодаря анализу длин пакетов и порядка их следования, которые затем сопоставляются с закономерностями, выявленными аналитиками при исследовании определённых инструментов.
Выявляет модифицированные вредоносные программы. Одно правило срабатывает на целое семейство вредоносных образцов, с учётом модификации, повторной сборки и переупаковки.
Хранит записи трафика. Это позволяет понять контекст атаки для её расследования, выстроить процесс проактивного поиска угроз (Threat Hunting), собрать доказательную базу.
Выявляет отклонения от нормативных требований (нарушения сетевого комплаенса). Система обнаруживает использование протоколов удалённого администрирования, анонимайзеров и других стандартов обмена данными, которые могут являться нелегитимными в рамках политики безопасности конкретной организации. Также PT NAD отслеживает использование открытых протоколов (LDAP, HTTP, SMTP и т. п.) и отображает все учётные данные, которые передаются по ним.
Помогает выполнить требования к защите информации, в том числе к безопасности объектов критической информационной инфраструктуры (Федеральный закон № 187-ФЗ).

Таблица 1. Функциональные возможности PT NAD

Функция	Характеристики PT NAD
Основные возможности
Захват и хранение необработанного трафика	Пропускная способность от 100 Мбит/с до 10 Гбит/с
Обнаружение угроз	Сигнатурный, эвристический и поведенческий методы анализа позволяют выявить подозрительную и вредоносную активность, применение хакерского инструментария, эксплуатацию уязвимостей, угрозы в зашифрованном трафике, попытки сокрытия активности хакеров от средств защиты
Реконструкция сессий. Извлечение метаданных	Сетевые протоколы (например, IPv4, IPv6, ICMP, TCP, UDP, HTTP, DNS, NTP, FTP, TFTP), извлечение их метаданных
Извлечение и хранение файлов	Извлечение объектов, передаваемых на прикладном уровне (например, через HTTP, FTP, POP3, SMTP, SMB, NFS), их дальнейшее сохранение
Визуализация данных	Возможность не только использовать встроенные панели мониторинга («дашборды»), но и подключить Grafana
Дополнительные возможности
Ретроспективный анализ	Автоматическая проверка проиндексированного трафика с учётом новых индикаторов компрометации
Поддержка открытого HTTP API	Подключение сторонних приложений
Отправка данных в SIEM	Передача в MaxPatrol SIEM или через syslog в сторонние системы анализа событий ИБ
Интеграция с PT MultiScanner и песочницей	Для передачи извлечённых файлов на антивирусную проверку

PT NAD не только умеет взаимодействовать с продуктами Positive Technologies, но и поддерживает интеграцию со средствами мониторинга сети, построения графиков и анализа метрик:

взаимодействие с Graphite и Grafana может добавить возможность обрабатывать и визуализировать статистические данные от компонентов компьютерных систем. В данной схеме Grafana используется вместо стандартного графического интерфейса Graphite;
интеграция с Zabbix позволяет обеспечить прозрачный мониторинг с гибкой визуализацией состояния компонентов PT NAD.

Сетевые коммуникации, контролируемые DeviceLock EtherSensor

Электронная почта: выделение из трафика методом пассивного перехвата сообщений электронной почты, передаваемых по протоколам SMTP, POP3 и IMAP4.

Протоколы и службы передачи файлов: выделение из трафика методом пассивного перехвата файлов, передаваемых по протоколам HTTP, FTP, SMB/CIFS и WebDAV.

Сервисы мгновенных сообщений: выделение из трафика методом пассивного перехвата сообщений, отправляемых и получаемых через службы мгновенных сообщений, такие как Skype (включая MS Lync/Skype for Business), ICQ, Google Hangout, Mail.ru Агент и прочие сервисы, работающие по протоколам IRC, MSN, XMPP/Jabber, Yahoo и OSCAR.

Входящая и исходящая веб-почта: выделение из трафика методом пассивного перехвата входящих и исходящих сообщений служб веб-почты: Mail.RU, Yandex.RU, Pochta.RU, GMail и т.п.(40+ доменов), а также сервисов на популярных webmail-движках.

Сервисы поиска работы: выделение из трафика методом пассивного перехвата сообщений, вакансий, откликов и других событий сервисов вакансий и поиска работы, таких как HH.ru, SuperJob.ru, Job.ru и т.п. (150+ доменов).

Почтовая служба IBM (Lotus) Notes: выделение из трафика методом пассивного перехвата сообщений системы Lotus Notes (сейчас IBM Notes). В том случае, если применяется шифрование трафика, сообщения могут извлекаться из Lotus Notes Transaction Log (данный метод никак не влияет на работу Lotus Notes).

Заключение

Базовая задача сетевого хранилища — хранение пользовательских данных и обеспечение доступа к ним. Но, как мы показали в статье, возможности современных NAS намного шире. Благодаря установке пакетов сетевое хранилище превращается в мультимедийный сервер, станцию видеонаблюдения, частное облако, средство коллективной работы и т.д. NAS обеспечивает комплекс услуг, которые оказываются весьма полезны в условиях как дома, так и малого офиса.

Мы рассмотрели и характеристики, на которые следует обращать внимание при выборе NAS: число отсеков и емкость дисков, производительность, интерфейсы, подключение к локальной сети, оптимальные жесткие диски, энергопотребление. Будем надеяться, что наша статья поможет выбрать наиболее подходящее сетевое хранилище для ваших задач

Ниже мы приведем две рекомендации, в зависимости от доступного бюджета. Они не являются исчерпывающими, поскольку на рынке есть и другие весьма достойные модели NAS

Будем надеяться, что наша статья поможет выбрать наиболее подходящее сетевое хранилище для ваших задач. Ниже мы приведем две рекомендации, в зависимости от доступного бюджета. Они не являются исчерпывающими, поскольку на рынке есть и другие весьма достойные модели NAS.

Базовый уровень. Synology DS420j (четыре отсека) или DS220j (два отсека). Два бюджетных NAS на 4-ядерном процессоре ARM. Имеют всего 512 Мбайт/1 Гбайт памяти без возможности расширения. Можно покупать, если планируется только хранение файлов и пара дополнительных сервисов. Производительность чтения/записи будет файлов на уровне интерфейса 1 Гбит/с, но дополнительные сервисы уже могут «подтормаживать».

Короткий итог по ограничению скорости

С одним ведром — Single Rate — Two Color Marking. Позволяет допустимые всплески.
С двумя вёдрами — Single Rate — Three Color Marking (sr-TCM). Излишки из ведра C (CBS) пересыпаются в ведро E. Позволяет допустимые и избыточные всплески.
С двумя вёдрами — Two Rate — Three Color Marking (tr-TCM). Вёдра C и P (PBS) пополняются независимо с разными скоростями. Позволяет пиковую скорость и допустимые и избыточные всплески.

тут

9. Аппаратная реализация QoS

Добавляйте в комментарии названия для других вендоров — я дополню.предыдущей статье

Сигнал попадает на физический входной интерфейс и его чип (PIC). Из него вналивается битовый поток и потом пакет со всеми заголовками.
Далее на входной чип коммутации (FE), где заголовки отделяются от тела пакета. Происходит классификация и определяется, куда пакет нужно отправить дальше.
Далее во входную очередь (TM/VOQ). Уже здесь пакеты раскладываются в разные очереди на основе своего класса.
Далее на фабрику коммутации (если она есть).
Далее в выходную очередь (TM).
Далее в выходной чип коммутации (FE), где навешиваются новые заголовки.
Далее в выходной интерфейс (возможно, через ещё одну очередь) (PIC).

Классификация
Полисинг
Перемаркировка

Предотвращение перегрузок
Управление перегрузками
Шейпинг

здесьCoPP — Control Plane Protection

Полезные ссылки

Лучшая книга по теории и философии QoS: QOS-Enabled Networks: Tools and Foundations.
Некоторые отрывки из неё можно почитать тут, однако я бы рекомендовал читать её от и до, не размениваясь.
На удивление обстоятельная и хорошо написанная книга про QoS от Huawei: Special Edition QoS(v6.0). Очень плотно разбирается архитектура оборудования и работа PHB на разных платах.
Очень подробное сравнение sr-TCM и tr-TCM от Айни: Understanding Single-Rate and Dual-Rate Traffic Policing.
Про VOQ: What is VOQ and why you should care?
Про QoS в MPLS: MPLS and Quality of Service.
Относительно краткий бриф по QoS на примере Juniper: Juniper CoS notes.
Практически весь QoS так или иначе ориентирован на специфику TCP и UDP. Не лишним будет досконально разобраться в них: The TCP/IP Guide
Ну а для тех, кто не чувствует в себе силы одолеть весь этот труд, Лохматый Мамонт для вас написал отдельную заметку: В поисках утерянного гигабита или немного про окна в TCP.
На этой странице сложно, но подробно описано как работают механизмы группы FQ: Queuing and Scheduling.
А если подняться на уровень выше, то откроется масштабный открытый документ, называющийся An Introduction to Computer Networks, вгоняющий краску, потому что настолько мощный Introduction, что я там половину не знаю. Даже самому захотелось почитать.
Про WFQ очень научно, но при должно интеллекте, коим, очевидно, я не обладаю, понятно и в цветах: Weighted Fair Queueing: a packetized approximation for FFS/GP.
Есть ещё механизм LFI, который я затрагивать не стал, потому что сложно и в наших реалиях стогигиабитных интерфейсов не очень актуально, однако ознакомиться может быть интересно: Link Fragmentation and Interleaving.