synology.forum архив спільноти · 2005–2022
ai.synology.forum →
ГлавнаяBackup/Restore › Резервирование данных на внешние источники хранения

Резервирование данных на внешние источники хранения

mrrc · 28.08.2021

Хочу решить, как резервировать хранимые рабочие данные из шар с сени на внешние источники хранения на случай проблем с самой платформой, чтобы в случае чего иметь возможность быстро поднять информацию и получить доступ к данным.
Т.к. второго NASа у меня нет, вариантов в рамках физического размещения в сети, в т.ч. территориально разнесенной, вижу два - подключение к сени внешнего USB достаточной емкости, либо копирование на файл-сервер.
С USB более менее ясно, посредством Hyper Backup выполнять копирование достаточной глубиной хранения и в случае чего перекинув USB-накопитель на windows-машину получать доступ к данным с помощью HyperBackupExplorer. Либо USB Copy с копированием данных на внешний носитель сразу в доступном виде, правда без сжатия данных.
С выполнением резервирования на внешний сетевой ресурс (Windows Server) пока понимания нет, нужного функционала в Active Backup for Business не обнаружил, там все собирается в обратном направлении в NAS, а не с него. Hyper Backup же предлагает rsync и WebDAV в качестве отправки на файловые сервера, если честно, ни первый, ни второй в своей практике не раскручивал (может пора?).
Как вариант, можно было бы через File Station подключить удаленную шару как локальную папку на сени и использовать ее в качестве места назначения для хранения архивов Hyper Backup-а, но последний не позволяет выбрать такую папку как место хранения (или я не разобрался).
Но может есть реализации в пакетах, в т.ч. сторонних производителей, с функционалом использования сразу внешнего сетевого ресурса в качестве места назначения? И в т.ч. с возможностью создания обычных архивов данных без проприетарного варианта HB? Какова практика?

Alexei2020Oct · 30.08.2021
В 28.08.2021 в 20:00, mrrc сказал:

Hyper Backup же предлагает rsync и WebDAV в качестве отправки на файловые сервера

Я для себя пока ничего лучше первого варианта не нашел. Исходные файлы находятся на рабочем Synology, backup на старом Synology. Вероятно скрытые настройки rsync в Synology хорошо вылизаны. И даже есть возможность автовыключения дополнительного NAS с последкющим включением WOL.

1. Порывался поставить rsync сервер на ПК, но нет уверенности в их доделанности таких вариантов.

2. Создание архива на USB диске оставило вопросы. Например, как проверить архив без распаковки и весь подключенный USB диск?

mrrc · 31.08.2021
19 часов назад, Alexei2020Oct сказал:

Исходные файлы находятся на рабочем Synology, backup на старом Synology.

Так вариант резервирования Synology -Synology самый козырный и тут все работает из коробки, как говорится. Только у меня он в одном экземпляре пока что)
 

19 часов назад, Alexei2020Oct сказал:

2. Создание архива на USB диске оставило вопросы. Например, как проверить архив без распаковки и весь подключенный USB диск?

Может стандартными средствами восстановления HyperBackup пробегаться, ну или периодически забирать по шаре архивы на рабочую станцию и там смотреть HyperBackupExplorer. Состояние USB-диска вроде кто-то описывал как тестить средствами сени. В общем можно USB Copy использовать, он копирует все как есть, только глубину архивирования длинную не сделать по причине отсутствия упаковки исходной информации..

Alexei2020Oct · 31.08.2021
2 часа назад, mrrc сказал:

Так вариант резервирования Synology -Synology самый козырный и тут все работает из коробки, как говорится. Только у меня он в одном экземпляре пока что)

Скорость копирования данных в старый NAS DS115 через rsync при создании архива порядка 20 МБайт/с. А скорость извлечения данных 30 MBps. И я склоняюсь обновить однодисковый NAS поиску альтернативы, поскольку сейчас сравнительно новый диск внутри DS115 много дороже старого NAS.

1. SMART USB диска доступен без его отсоединения, но для chkdsk вероятно придется его присоединять к другой машине.

2. Довольно сложно в единственном NAS отделить владельца backup от администраторов. Всегда приходится что то делать из ПК в NAS с администраторскими правами. В NAS, предназначенный для backup, что либо делать приходится редко. А доступ через сетевое окружение ПК можно вообще исключить, оставив ftp доступ сторонней программой.

3. В вашем случае наверняка можно подыскать редко используемую машинку с rsync сервером. И проверить, как обстоят дела с поддержкой кодировок в названиях файлов? Когда я работал только с локальными данными в ПК, а Synology использовал в основном для синхронизации между домом и работой, то изредка натыкался на невозможность распаковать единичные письма из-за ограничений длины имен между разными ОС. Т.е. что делать, когда в оригинальном хранилище случай но попортил данные при редактировании?  В случае работы с данными прямо в Synologe я без раздумий имею точную ночную копию в архиве.

mrrc · 01.09.2021
19 часов назад, Alexei2020Oct сказал:

при создании архива порядка 20 МБайт/с. А скорость извлечения данных 30 MBps

В ночное время не столько принципиально, я думаю, с учетом методики создания HB последующих архивов не целиком, а только с измененными данными.

19 часов назад, Alexei2020Oct сказал:

В вашем случае наверняка можно подыскать редко используемую машинку с rsync сервером

С UNIX-средой нет у меня там. Конечно можно замутить на центральном сервере поднять на Hyper-V с какой-то средой и реализацией rsync под задачи резервирования данных с сени, но сам сервер не резиновый.
На данный момент будет в наличие половинчатый по объему от массива самого сени внешний USB, на него и буду бэкапить, может быть даже средствами того же USB Copy, посмотрим по объемам самих данных, ну и периодически раз в неделю снимать с него копии на удаленный файловый сервер. Наряду с использованием Snapshot-ов на паре ключевых шар, может и приемлемо будет по общей отказоустойчивости. Последним инструментарием пользуетесь, кстати?

Alexei2020Oct · 01.09.2021
2 часа назад, mrrc сказал:

В ночное время не столько принципиально, я думаю, с учетом методики создания HB последующих архивов не целиком, а только с измененными данными.

Обновление backup даже для слабого железа rsync сервера занимает малое время. Большие видео файлы между рабочим NAS1 и архивным NAS2 я синхронизирую вручную и хотел бы еще иметь возможность их протестировать быстро прямо в NAS2 через ssh, поскольку SMB доступ в архивный NAS2 открывать не хочу. Здесь даже не "защита от дурака", а боязнь вирусов. NAS2, упирающийся в ограничение гигабитной LAN, скорее вопрос комфорта. По деньгам однодисковый NAS (достаточен для моих данных) равен серверному HDD, в вашем случае (вероятно многодискового хранилища для данных) сама коробка хранилища с ОС дешевле дисков.

2 часа назад, mrrc сказал:

внешний USB, на него и буду бэкапить

Я привел только одно возражение против одного (основного) backup на USB диске. Допуск шифровальшиков меняет стратегию пользователей с администратвными правами, такие пользователи тоже нужны в домашнем ПК. Если не думать о шифровальшиках или изредка делать еще backup, то вариант USB диска мне поначалу показался привлекательным.

2 часа назад, mrrc сказал:

Последним инструментарием пользуетесь, кстати?

Я не любитель свежего софта. DSM 6.2 ставил на новый NAS в прошлом году, тогда же на ту же версию перевел DSM в DS115 (много лет была DSM5) ради совместимости. Можно прямо в NAS2 извлекать файлы из архива без привлечения дополнительных инструментов в ПК. Если рабочий NAS1 вдруг отказывается работать, данные будут извлечены из NAS2 в NAS2, его можно назначить рабочим NAS.

mrrc · 02.09.2021
12 часов назад, Alexei2020Oct сказал:

Я привел только одно возражение против одного (основного) backup на USB диске. Допуск шифровальшиков

Можно не расшаривать дисковое пространство внешнего носителя USB или для мониторинга и дальнейшей работы с архивами предоставлять права только на чтение. Не вижу проблему с шифровальщиками в данном случае.

13 часов назад, Alexei2020Oct сказал:

Я не любитель свежего софта.

Функционал выполнения Snapshot-ов прерогатива используемой файловой системы btrfs, если не ошибаюсь, сама реализация вроде же не совсем нова. Другое дело, что начальные модели DS не имеют ее в своем распоряжении. А так и 6-я версия и 7-я DMS должны поддерживать снимки. Только они как раз в большей степени защищают относительно в реальном времени от потенциальных шифровальщиков и ошибочных действий пользователей, а резервирование данных на внешнее физическое устройство от краха и выхода из строя самих файловой системы и оборудования сени.

В сухом остатке, для полной автоматизации и относительной взаимозаменяемости нужно минимум два DS для подстраховки друг друга. Все остальное - немного костыльно, но что делать.

Alexei2020Oct · 02.09.2021
48 минут назад, mrrc сказал:

Можно не расшаривать дисковое пространство внешнего носителя USB или для мониторинга и дальнейшей работы с архивами предоставлять права только на чтение. Не вижу проблему с шифровальщиками в данном случае.

Помимо шифровальшиков, есть компрометация паролей. В офисном NAS вы изначально занимаетесь несколькими пользователями и разграничением доступа. Домашний NAS для выполнения программ используется редко, данные пользователя в нем важнее ОС, плодить нового пользователя NAS может оказаться нецелесообразно. Администратор NAS обращает внимание в логах на подключения администраторов, других устройств к сети, на компрометацию пользователей внимания не оставляет.

1 час назад, mrrc сказал:

Функционал выполнения Snapshot-ов прерогатива используемой файловой системы btrfs

Когда я случайно удалил кусок файла в текстовом редакторе, оценил количество изменений и предпочел восстановиться из ночного backup. Основной редактор, кроме истории исправлений, сам делает backup копию при сохранении файла. Защиту от случайного удаления дает корзина.

Интересная деталь. По умолчанию пользователь администратор имеет доступ к корзине, т.к. корзина на томе только одна. Если следовать логике Synology, для данных надо создать учетную запись пользователя и полезно делать snapshort. А потом в снимках состояния системы надо не запутаться.

1 час назад, mrrc сказал:

В сухом остатке, для полной автоматизации и относительной взаимозаменяемости нужно минимум два DS для подстраховки друг друга.

Во первых, приобретение второго NAS никогда не горит.

Во вторых, лучше попробовать разные варианты.

В вашем случае вероятно для backup требуется объем. Вероятно выйдете на маломощное двухдисковое хранилище. Сначала надо убедиться, что пользователи могут без проблем работать по LAN прямо с данными в новом NAS.

mrrc · 02.09.2021
2 часа назад, Alexei2020Oct сказал:

Помимо шифровальшиков, есть компрометация паролей.

В случае с доступом к хранилищу и интрасетей предприятия, пускай в ином случае и территориально распределенных, компрометация не страшна, это уже вопрос в плоскости общей информационной безопасности и гигиены, на мой взгляд. Но, все от масштабов использования NAS зависит и иерархии доступов, конечно. Административный доступ по мне так только из веб-интерфейса, для доступа к шарам он избыточен за исключением особых случаев.

2 часа назад, Alexei2020Oct сказал:

Когда я случайно удалил кусок файла в текстовом редакторе, оценил количество изменений и предпочел восстановиться из ночного backup. Основной редактор, кроме истории исправлений, сам делает backup копию при сохранении файла. Защиту от случайного удаления дает корзина.

Либо из снимков, если они настроены с почасовым интервалом в рабочие часы организации. Все зависит от конкретной ситуации. Корзина да, обязательно.

2 часа назад, Alexei2020Oct сказал:

А потом в снимках состояния системы надо не запутаться.

Снимки делаются по отдельности для каждой шары, как я помню. Где-то они вообще ни к чему, где-то вполне разумны к применению.

2 часа назад, Alexei2020Oct сказал:

Вероятно выйдете на маломощное двухдисковое хранилище.

Да-да, вполне вероятно.

2 часа назад, Alexei2020Oct сказал:

Сначала надо убедиться, что пользователи могут без проблем работать по LAN прямо с данными в новом NAS.

Именно так. С какими проблема сталкивались на практике кроме длины путей к файлам?

Alexei2020Oct · 02.09.2021
1 час назад, mrrc сказал:

компрометация не страшна,

Опасность компрометации пароля пользователя зависит от ценности данных этого пользователя.

1 час назад, mrrc сказал:

только из веб-интерфейса, для доступа к шарам он избыточен за исключением особых случаев.

1. Я использую NAS для сбора статистики средствами ОС, открывать файлы удобно в компьютере. Кроме того, имею в NAS двух пользователей для камеры и ТВ шлюза. При подключении по sms администратором получаю доступ ко всей информации. В противном случае в ПК придется сохранять еще пользователей с паролями.

2. Скорость удаленного доступа к файлам через web и sftp существенно разная. К тому же при использовании firewall Synology отличает локальную сеть от подсети туннеля. И если все заранее все не проверить, можно вдали от дома обнаружить отсутствие доступа к NAS через web. К тому же не из всех провайдеров интернета можно получить доступ в сеть.

1 час назад, mrrc сказал:

Либо из снимков, если они настроены с почасовым интервалом в рабочие часы организации.

Слишком частые снимки по мне тоже плохо. Надо помнить, когда какие файлы сохранял.

1 час назад, mrrc сказал:

С какими проблема сталкивались на практике кроме длины путей к файлам?

Минусы. Медленная загрузка многочисленных мелких файлов из NAS в некоторый софт ПК из-за гигабитной сети.

Плюсы. Если самые свежие данные поддерживать в NAS, синхронизовать заранее ничего не надо. И работать на зеркале в NAS спокойнее. И наконец HyperBackup из NAS управляется хорошо.

mrrc · 02.09.2021
2 часа назад, Alexei2020Oct сказал:

Слишком частые снимки по мне тоже плохо. Надо помнить, когда какие файлы сохранял.

Присмотрелся, предварительно предполагаю выполнение ежедневно в рабочем интервале времени с интервалом в час, глубина хранения - 1 день (получаем наличие снимков за последние два дня).

2 часа назад, Alexei2020Oct сказал:

Минусы. Медленная загрузка многочисленных мелких файлов из NAS в некоторый софт ПК из-за гигабитной сети.

1С базы, базы данных? Может все же из-за скорости чтения-записи дисковой подсистемы NAS, особенно на мелких файлах, так то пропускной способности гигабитной сети по идее должно хватить под большинство задач.

2 часа назад, Alexei2020Oct сказал:

И работать на зеркале в NAS спокойнее

В части выхода из строя диска - да. Но бэкапы и еще раз бекапы, как локальные, так и на внешние носители на случай поломки самой платформы.

Alexei2020Oct · 02.09.2021
8 минут назад, mrrc сказал:

Присмотрелся, предварительно предполагаю выполнение ежедневно в рабочем интервале времени с интервалом в час, глубина хранения - 1 день (получаем наличие снимков за последние два дня).

Мой backup с историей для ежедневного выполнения включает все данные, включая софт. Видео исключил. Только для данных пользователей конечно можно заводить snapshot.

11 минут назад, mrrc сказал:

1С базы, базы данных?

Папки с фото по годам, иконки из которых загружает DPP Canon. DPP не создает локальную базу иконок в локальном диске ПК, при каждой смене папки выдергивает информацию из файлов (примерно 10% исходных файлов) и последовательно рисует заново. Усеченные фоторедакторы Windows локальную базу создавать в ПК умеют --- приходится в них предварительно отыскивать фото.

17 минут назад, mrrc сказал:

Может все же из-за скорости чтения-записи дисковой подсистемы NAS

Не проблема проверить с расшаренным SSD диском быстрого ПК. Ускорение за счет перехода от серверного HDD на SSD только 19%. А вот на локальном диске ПК получилось в 3.3 раза быстрее. SSD кэш в вашем навороченном NAS даст результат только при параллельной работе нескольких пользователей.

26 минут назад, mrrc сказал:

Но бэкапы и еще раз бекапы, как локальные, так и на внешние носители на случай поломки самой платформы.

Я все же обновил backup NAS с DS115 на DS118. Хотелось иметь доступ к архивам побыстрее, т.к. backup видео делаю вручную. И целостность backup тоже иногда надо проверять. Правильно настроенный rsync хотя бы прерывание соединения NAS в сети переваривает. Вероятно в этом протоколе NAS2 шлет отчеты в NAS1 в процессе копирования.