synology.forum архив спільноти · 2005–2022
ai.synology.forum →
ГлавнаяBackup/Restore › HELP! Синхронизация двух папок Basic-Basic

HELP! Синхронизация двух папок Basic-Basic

DenRam · 16.11.2013

Уважаемые,

 

Прошу помощи по настройке снихронизации двух папок располагающихся на разных разделах 2-х дисков в одном NAS

Какой программой можно для этого воспользоваться. Интересует именно синхронизация изменений. Вернее даже хочется софтверно поддержать RAID1. Так как весь диск не хочется отводить под RAID1 и танцевать с бубном тоже ;)

 

Все перерыл - все не то. Резервное копирование предлагает на другой NAS копировать, все остальные с внешних источник позволяют синхронизировать, а две папки на NAS между собой не нашел.

 

Accelerator · 17.11.2013

Запускаете из DSM утилиту Резервирование/Восстановление и в первой же вкладе говорите "Создать" - "Задача резервирование данных".

Дальше запуститься мастер и следую ему свободно настраивается резервирование по расписанию. Только надо не перепутать папку назначения и папку источника.

 

DenRam · 17.11.2013
Запускаете из DSM утилиту Резервирование/Восстановление и в первой же вкладе говорите "Создать" - "Задача резервирование данных".

Дальше запуститься мастер и следую ему свободно настраивается резервирование по расписанию. Только надо не перепутать папку назначения и папку источника.

 

Не будет ли эта операция полностью выполнять резервирование большого тома каждый день? Или она будет только изменения синхронизировать?

Просто если каждый день тягать по Тб между дисками - мне кажется это не рационально.

Accelerator · 17.11.2013

Будет синхронизировать изменения.

MDS · 31.08.2016

Помогите, аналогичный вопрос DS216, DSM 6.0.2

 

1-ый диск - 500Гб, 2 -ой диск - 2Тб.

Необходимо делать резервирование (синхронизацию) папки с диска 2 диска на диск 1.

После продолжительных мучений с SHR вычитал на форуме, что сделать гибрид не возможно, Raid 1 = 500гб + раздел на 1.5 Тб

Это конечно очень странно, что в 2012 году, что в 2016 ничего не изменилось..

 

Ни одно из кучи стандартных приложений не умеет в качестве источника выбирать локальный сервер.

Функционал DSM по резервированию бэкапит все в файл.

 

Как просто, даже пусть уже не очень прост, на мега продвинутом устройстве сделать примитивную операцию.

Спасибо.

umount · 25.05.2017
Ни одно из кучи стандартных приложений не умеет в качестве источника выбирать локальный сервер.

Руководствуясь принципом "настроил и забыл" :) некоторое время не особо следил за изменениями DSM, может пропустил что-то.

Недавно потребовалось бэкапить папки с одного раздела на другой с синхронизацией изменений. И вот не нашел я такого функционала. Пришлось добавить в планировщик скрипт с использованием "cp -ru". Прекрасно работает. Но это пусть и функциональный, но своего рода костыль. А приложение с такой функцией есть?

BDmV · 30.05.2022

2022год.

Тот же вопрос!

Как и чем настроить синхронизацию нескольких папок? т.е. папки диска 1 должны, при изменении, отправлять данные на Диск2

QwertRob · 01.06.2022

Посмотрите руководство Сино, там все неплохо расписано. А если хотите получить конкретную помощь, то надо описать конкретную ситуацию:

- свое устройство
- организацию дисковой подсистемы

- конечную цель и задачу синхронизации

Эти параметры могут быть очень разными.

BDmV · 01.06.2022

К сожалению в руководстве ничего конкретного не нашёл. А нужно просто ряд папок на Диск1  онлайн копировать на Диск2. Т.е.

Например если в папке Photo а Диск1 появляется новый файл, то его тут же нужно скопировать на Диск2 в папку Backup/Photo.

У меня стоит DS220+ с 2мя дисками: Диск1 = 6TB, Диск2 = 4Tb (диски стояк как Basic) и раз эти 2 диска нельзя зазеркалить без потери 2Tb то хочется настроить синхронизацию важных данных: Фото, Видео, Web, MySql.

 

padla · 01.06.2022
1 час назад, BDmV сказал:

2 диска нельзя зазеркалить без потери 2Tb

Да можно. Только через консоль. 2 раздела одинакового объема, а дальше при создании btrfs указать, что это raid1, и указать оба раздела.

 

2 часа назад, BDmV сказал:

хочется настроить синхронизацию важных данных: Фото, Видео, Web, MySql.

У вас на NAS уже стоит systemd. Повесьте обработчики на нужные каталоги. И хоть копирование, хоть архивирование, хоть самоуничтожение на Ваш выбор.

BDmV · 01.06.2022
5 часов назад, padla сказал:

Да можно. Только через консоль. 2 раздела одинакового объема, а дальше при создании btrfs указать, что это raid1, и указать оба раздела.

Пытался. До первой перезагрузки всё нормально, а потом отдельный том помечается как битый и система его не видит.

Делал по принципу: 

1. бил Диск1 на sata1p3 (4Tb), sata1p4 (2Tb), Диск2 sata2p3 (4Tb)

2. mdadm`ом raid1 sata1p3 + sata2p3

3. mdadt`ом raid1 sata1p4  (так dsm 7.1 делает Basic тома)

4. pvcreate, vgcreate, lvcreate вобщем 2 группы томов, в каждой группе по тому md2 и md3

5. ну и в каталоге space правил 2 файла с описанием получившихся томов

В итоге sata1p4 он же md3 при загрузке изчезает из fstab и никуда не монтируется, а в деспечере хранения висит с ошибкой или вообще перекочёвывает в Пул1

padla · 02.06.2022

Несколько вопросов:

- рейд из 2 томов (md2) при этом видно?

- (наверняка пробовали, но все же спрошу) пробовали ли после создавать из консоли md2, но не создавать md3. После успешного создания md2 создать md3 из веба (я так понимаю, что именно с его созданием ошибка)?

- версия DSM?

 

BDmV · 02.06.2022

 

7 часов назад, padla сказал:

- (наверняка пробовали, но все же спрошу) пробовали ли после создавать из консоли md2, но не создавать md3. После успешного создания md2 создать md3 из веба (я так понимаю, что именно с его созданием ошибка)?

По разному пробывал, но как правило после перезагрузки зеркало уходит в ошибку и не монтируется.

Попробывал ещё раз на дисках 320G (sata2) и 250G (sata1)

Цитата

parted -a opt /dev/sata1 mkpart primary btrfs 10.7G 200G

parted -a opt /dev/sata2 mkpart primary btrfs 10.7G 200G

parted -l




Model: ATA ST3250318AS (scsi)
Disk /dev/sata1: 250GB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:

Number  Start   End    Size   Type     File system  Flags
 1      10.7GB  200GB  189GB  primary


Model: ATA ST3320613AS (scsi)
Disk /dev/sata2: 320GB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:

Number  Start   End     Size    Type     File system  Flags
 1      4194kB  8594MB  8590MB  primary               raid
 2      8594MB  10.7GB  2147MB  primary               raid
 3      10.7GB  200GB   189GB   primary

 

 parted /dev/sata1 set 1 raid on

 parted /dev/sata2 set 3 raid on

 pvcreate /dev/md2

vgcreate vg1 /dev/md2

lvcreate -L 12M -n syno_vg_reserved_area vg1

lvcreate -l 100%FREE -n volume_1 vg1

mkfs.btrfs /dev/vg1/volume_1

echo /dev/vg1/volume_1 /volume1 btrfs auto_reclaim_space,ssd,synoacl,relatime,nodev 0 0 >>/etc/fstab

mount -a

reboot

 

После перезагрузки Диспетчер хранения предложил пересобрать пул и восстановит массив.

Вобщем пул и том видятся, но вот создать md3 из Веба не даёт. Пишет, что не хватает свободного пространства.

 

DSM 7.1 у меня

padla · 02.06.2022

У Вас структура отличается от той, которую synology создает.

Synology поверх логического тома накладывает псевдоустройство (см. выхлоп sudo dmsetup table), с именем cachedev_N, чтобы оптимизировать операции ввода-вывода. А уже это устройство следует форматировать, монтировать и вообще, работать с ним.

Вот, смотрите:

padla@ds:~$ lsblk
NAME                            MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
sda                               8:0    1  12.7T  0 disk  
├─sda1                            8:1    1   2.4G  0 part  
│ └─md0                           9:0    0   2.4G  0 raid1 /
├─sda2                            8:2    1     2G  0 part  
│ └─md1                           9:1    0     2G  0 raid1 [SWAP]
└─sda3                            8:3    1  12.7T  0 part  
  └─md2                           9:2    0  12.7T  0 raid1 
    ├─vg1-syno_vg_reserved_area 252:0    0    12M  0 lvm   
    └─vg1-volume_1              252:1    0  12.7T  0 lvm   
      └─cachedev_0              252:2    0  12.7T  0 dm    /volume1
sdb                               8:16   1 931.5G  0 disk  
├─sdb1                            8:17   1   2.4G  0 part  
│ └─md0                           9:0    0   2.4G  0 raid1 /
├─sdb2                            8:18   1     2G  0 part  
│ └─md1                           9:1    0     2G  0 raid1 [SWAP]
└─sdb3                            8:19   1 926.9G  0 part  
  └─md3                           9:3    0 926.9G  0 raid1 
    ├─vg2-syno_vg_reserved_area 252:3    0    12M  0 lvm   
    ├─vg2-volume_2              252:4    0   300G  0 lvm   
    │ └─cachedev_1              252:5    0   300G  0 dm    /volume2
    └─vg2-volume_3              252:6    0   300G  0 lvm   
      └─cachedev_2              252:7    0   300G  0 dm    /volume3
synoboot                        135:240  0   120M  0 disk  
├─synoboot1                     135:241  0    32M  0 part  
└─synoboot2                     135:242  0    84M  0 part  
zram0                           251:0    0   1.1G  0 disk  [SWAP]
zram1                           251:1    0   1.1G  0 disk  [SWAP]
zram2                           251:2    0   1.1G  0 disk  [SWAP]
zram3                           251:3    0   1.1G  0 disk  [SWAP]

 

padla · 02.06.2022

Каюсь, изначально мне казалось там все более просто устроено.

DSM 7 работает с созданием массивов несколько иначе, чем DSM 6.x. Это руководство объясняет новое, менее гибкое поведение DSM 7, предоставляет исторический контекст и предлагает практические решения, если читатель захочет создать определенные конфигурации массивов, которые больше не возможны через пользовательский интерфейс DSM 7. Описанные здесь структуры также могут быть полезны для понимания конфигурации, поиска и устранения неисправностей и ремонта массивов DSM.

Имейте в виду, что со временем компания Synology изменила/дополнила определения терминов хранения данных в своей документации и в данном руководстве.  Кроме того, многие термины имеют совпадающие слова и значения. С этим ничего нельзя поделать, но вы должны знать об этой проблеме.

Общие сведения:

DSM 6 предлагает множество вариантов настройки массивов. В DSM массивы в широком смысле называются пулами хранения. Внутри пула хранения можно настроить одно или несколько устройств томов, на которых создаются файловые системы btrfs или ext4, и в которых создаются общие папки. Вот упрощенная история различных конфигураций Storage Pool, доступных на версиях и платформах DSM с поддержкой XPe.

Если вы не знакомы с lvm (менеджером логических томов), он обозначает метаконтейнер хранилища, способный содержать несколько хост-массивов (т.е. SHR) и/или несколько целевых томов. Обратите внимание, что слово "том" в логическом менеджере томов не имеет ничего общего с томами DSM.

DSM 5 предоставляет несколько конфигураций пулов хранения, включая "Basic" (массив RAID 1 с одним диском), RAID 1, RAID 5, RAID 6, RAID 10 и SHR/SHR2 (объединенные массивы с наложением lvm). Они известны как "простые" пулы хранения, с одним томом, охватывающим весь массив. В потребительских моделях (т.е. платформах DS918+/DS920+) всегда создаются простые пулы хранения, при этом массивы без lvm (RAID) обозначаются как "Производительность", а с lvm-наложением (SHR/SHR2) - как "Гибкие".

image.thumb.png.2fd99b1e7b3da68f3910c5c4

 DSM 6 добавляет корпоративные функции для DS3615xs/DS3617xs/DS3622xs+, включая массивы RAID F1 и "Raid Groups". Raid Group - это пул хранения с наложением lvm независимо от типа массива, который позволяет создавать в нем несколько томов.  Для DS3615xs/DS3617xs "Performance" Storage Pool является таким же, как и для потребительских моделей (без lvm), а "Flexible" относится к опции Raid Group (с lvm-наложением).

По умолчанию Synology ограничивает использование SHR/SHR2 в этих моделях. Однако его можно включить с помощью известной модификации конфигурационных файлов DSM, и тогда пользовательский интерфейс сможет создать массив SHR в пуле хранения "Гибкой" рейдовой группы.

image.thumb.png.9fa10558272d12b0aed39341

DSM 6 также предлагает SSD-кэширование на всех платформах. При включении кэширования SSD целевое устройство тома встраивается в "отображатель устройств", который связывает его с физическим хранилищем SSD. Затем устройство отображения монтируется в корневую файловую систему вместо устройства тома.

image.thumb.png.1f42396674f3bdbcac3afee5

DSM 7 поддерживает все вышеперечисленные конфигурации, если они существовали до обновления. Однако DSM 7 Storage Manager больше не может создавать простые пулы хранения любого типа. На всех платформах, поддерживающих XPe, новые пулы хранения в DSM 7 всегда создаются в Raid Groups (поэтому lvm-overlayed) и с фиктивным SSD кэшем, даже если в системе нет SSD для поддержки кэширования.

lvm использует дополнительный процессор, память и дисковое пространство (Synology, очевидно, больше не беспокоится об этом, полагая, что на современном оборудовании штрафные санкции незначительны) и, если вам не нужен SHR или кэш, создает ненужные сложности при поиске и устранении неисправностей массива, ремонте и восстановлении данных. Посмотрите на первую иллюстрацию в сравнении с последней, и вы увидите, сколько всего добавляется ради нулевой выгоды, если эти функции не требуются. Пользователи могли бы предпочесть не подключать лишние службы к своим пулам хранения, но DSM 7 больше не предлагает выбора.

Из всех этих вариантов конфигурации тип вашего Storage Pool можно определить, наблюдая за тем, как том DSM подключается к файловой системе, а также по наличию или отсутствию "контейнеров" lvm. В этой таблице показаны различные варианты, с которыми вы можете столкнуться (обратите внимание, что все они описывают первый пример пула хранения и тома DSM, при использовании нескольких вариантов индексы будут соответственно увеличиваться):

Тип пула хранения                                        Устройство(а) массива        Контейнер        /volume1 Устройство
Простой (DSM 6) "Производительность"                  /dev/md2                     (нет)               /dev/md2
Simple (DSM 6, DS918+/DS920+ SHR) "Гибкий"        /dev/md2,                    /dev/md3...     /dev/vg1000        /dev/vg1000/lv
Raid Group (DSM 6, DS36nnxs SHR) "Flexible"           /dev/md2, /dev/md3...  /dev/vg1        /dev/vg1/volume_1
Простой с кэшем (DSM 6)                                           /dev/md2                    (нет)                 /dev/mapper/cachedev_0
Raid Group с кэшем (DSM 7)                                        /dev/md2, [dev/md3...] /dev/vg1        /dev/mapper/cachedev_0

Пример запроса для определения типа (здесь показана группа рейдов lvm-overlaid с поддержкой кэша (с кэшем только для чтения) и одним томом DSM):

dsm:/$ df
Filesystem               1K-blocks        Used   Available Use% Mounted on
/dev/md0                   2385528     1063108     1203636  47% /
none                       1927032           0     1927032   0% /dev
/tmp                       1940084        1576     1938508   1% /tmp
/run                       1940084        3788     1936296   1% /run
/dev/shm                   1940084           4     1940080   1% /dev/shm
none                             4           0           4   0% /sys/fs/cgroup
cgmfs                          100           0         100   0% /run/cgmanager/fs
/dev/mapper/cachedev_0 33736779880 19527975964 14208803916  58% /volume1

dsm:/$ sudo dmsetup table | head -2
cachedev_0: 0 1234567 flashcache-syno conf:
        ssd dev (/dev/md3), disk dev (/dev/vg1/volume_1) cache mode(WRITE_AROUND)

dsm:/$ sudo lvs
  LV                    VG   Attr       LSize  Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  syno_vg_reserved_area vg1  -wi-a----- 12.00m                                  
  volume_1              vg1  -wi-ao---- 11.00g

Решения:

При желании, DSM 7 можно отвлечь от сложного поведения по созданию Storage Pool. Вам потребуется отредактировать файлы /etc/synoinfo.conf и /etc.defaults/synoinfo.conf из командной строки оболочки.

 

/etc/synoinfo.conf читается DSM во время загрузки и влияет на различные аспекты функциональности DSM. Но непосредственно перед этим во время загрузки файл /etc.defaults/synoinfo.conf копируется поверх файла в /etc.  Обычно вы можете просто внести изменения в /etc.defaults/synoinfo.conf, но копирование происходит алгоритмически, и может произойти десинхронизация.  Поэтому всегда лучше проверить наличие желаемых изменений в обоих файлах, если результаты не соответствуют ожиданиям.

1. Включите SHR на DS3615xs, DS3617xs и DS3622xs+:

 Отредактируйте synoinfo.conf в соответствии с приведенным выше описанием, изменив параметр supportraidgroup с "yes" на "no".

Больше не требуется закомментировать эту строку или добавить "support_syno_hybrid_raid" в конфигурационный файл. Несмотря на последствия установки этого параметра, группы рейдов по-прежнему поддерживаются, и DSM будет создавать пулы хранения с поддержкой групп рейдов, с дополнительным бонусом в виде опции SHR, доступной в пользовательском интерфейсе.

2. Создание массивов без фиктивных кэшей:

 Отредактируйте synoinfo.conf, как указано выше, изменив параметр supportssdcache с "yes" на "no".

Массивы, созданные при отключенной опции, не будут иметь настроенного фиктивного кэша. Требуется дальнейшее тестирование, чтобы определить, можно ли впоследствии добавить SSD-кэш с помощью пользовательского интерфейса, но, скорее всего, это будет работать.

3. Создайте массив Simple без кэша на DSM 7:

 DSM 7 больше не может создавать Simple Storage Pool через пользовательский интерфейс. Единственный метод, который я нашел на данный момент, - это инструмент командной строки DSM. После завершения создания пула хранения создание тома и последующее управление ресурсами может быть выполнено с помощью пользовательского интерфейса.

Обратите внимание, что вы не можете просто создать массив с помощью mdadm, как это делается в Linux. Поскольку диски и массивы DSM включают специальные метаданные "пространство", массив, созданный с помощью mdadm, будет отвергнут DSM 7.  Однако использование инструмента командной строки DSM решает эту проблему.

  1. Сначала необходимо определить тип RAID-массива (raid1, raid5, raid6, raid10 или raid_f1; raid_f1 действителен только для DS3615xs/DS3617xs/DS3622xs+ и все члены массива должны быть SSD) и имена устройств всех дисков, которые должны составлять массив. Диски, которые вы хотите использовать, должны быть видны, как показано в примере:
    dsm:/$ ls /dev/sd?
    /dev/sda  /dev/sdb  /dev/sdc /dev/sdd

    Кроме того, целевые диски не должны использоваться существующими массивами (ничего не должно быть возвращено):

    dsm:/$ cat /proc/mdstat | egrep "sd[abcd]3"

     

  2. Затем создайте массив с помощью следующей команды (в примере используются диски, указанные выше, и создается массив RAID 5). Все данные будут удалены с указанных дисков.
    dsm:/$ sudo synostgpool --create -t single -l raid5 /dev/sda /dev/sdb /dev/sdc /dev/sdd

    В случае успеха массив будет создан вместе со всеми соответствующими метаданными DSM, и вы увидите новый пул хранения сразу же отраженным в пользовательском интерфейсе Storage Manager. В случае неудачи сообщения об ошибке не будет, и обычно это связано с тем, что диски уже используются в другом массиве. Удаление затронутых пулов хранения позволит освободить их. Вы можете просмотреть произошедшие события, просмотрев /var/log/space_operation.log.

  3. Затем том DSM можно добавить с помощью пользовательского интерфейса Storage Manager.

Требуется дальнейшее тестирование, чтобы определить, можно ли впоследствии добавлять SSD-кэш с помощью пользовательского интерфейса, но, скорее всего, это будет работать.

 

Источник.

BDmV · 03.06.2022

Мне dmsetup даёт такой выхлоп на Basic томе созданным самим ds220+ (без ручных вмешательств):

dmsetup ls --tree
vg1-syno_vg_reserved_area (248:0)
 └─ (9:2)
vg1-volume_1 (248:1)
 └─ (9:2)


зы. А от куду вы lsblk взяли :) На моём DS220+ такой команды нет :( , а хотелось бы.

padla · 03.06.2022
1 час назад, BDmV сказал:

А от куду вы lsblk взяли

Сначала установил opkg на NAS (для других целей) (устанавливать с правами суперпользователя)

Затем

sudo /opt/bin/opkg update
sudo /opt/bin/opkg install lsblk

 

BDmV · 03.06.2022

Огромнейшее Спасибо! :)

Evil Pechenka · 16.07.2022

Искал решение, но всякие командные строки и скрипты меня не устраивают по двум причинам:

  • Я не программист и могу что-то сделать неправильно.
  • Через полгода даже не вспомню как настраивал и что.

Нашёл изящный способ на форуме Synology: https://community.synology.com/enu/forum/17/post/110172?page=2&sort=oldest (долгих лет жизни и счастья всем потомкам господину Twisted World).

Если кратко: запускаем сервер WebDAV на NAS, подключаемся к нему с помощью Cloud Sync и синхронизируем как хотим.

По пунктам:

  1. Устанавливаем и запускаем WebDAV.
  2. Устанавливаем и запускаем Cloud Sync.
  3. Создаём новую облачную службу, выбираем WebDAV.
  4. В имени сервера localhost:5005 (это порт по умолчанию, можно его изменить в настройках WebDAV сервера).
  5. Логин/пароль — для входа на NAS.
  6. Всё. Дальше настраиваем как угодно: в одну сторону, в две стороны, как хочется.

:)