паника! Cloud Sync ведет себя не адекватно и удалил файлы с облака

Ситуация следующая - есть 2тб на ЯндексДиске где лежат крайне важные медиа исходники. Для более быстрой работы с ними был приобретен DS720+ и два огромных жестких диска.

Все установил, настроил. Включил CloudSync.

Шесть дней ушло на то, чтобы из облака выкачать архив после чего CloudSync написал что синхронизация окончена. Я решил сравнить количество файлов и их общий вес, чтобы убедиться что все действительно синхронизировано. Но на Яндексе было 41тыс с лишним файлов при 1,72 тб, а на сервере -39тыс с лишним файлов при 1,57тб. (Это вопрос номер - 1). Я так и не понял с чем может быть связана такая разница. Вручную найти расхождения при таком массиве файлов просто не реально. Решил отложить разбирательство на потом, так как это всего лишь копии. Как я думал.

Через 2 дня зайдя на сервер увидел какую-то активность - что-то закачивалось и... удалялось! Открыл журнал, а там куча какой-то активности. Что-то он совмещает (merge), что-то закачивает, и самое главное - удаляет с локального компьютера (то есть с архива на Яндексе!!!). Я сразу остановил CloudSync и попытался вникнуть что происходит, но вся информация крайне скудная что в софте Synology что в настройках Яндекса.

Раньше в облаке у меня было только порядка 170гб свободных, сейчас порядка 350гб, то есть получается что мой Synology наудалял с облака гигов 100-150. причем ни с того ни с сего. Уже после всех синхонизаций спустя пару дней. И это не выглядит как рабочий процесс синхронизации, так как при синхронизации, на сколько я понимаю, удаляется один файл и на его место заливается более свежая другая версия, а не просто удаляется 100гб скопом.

Методом тыка я на нашел в облаке несколько пустых папок. И в таких же папках но на сервере я нашел сами файлы. Что это вообще такое?

В самом CloudSync скудные логи и нельзя вытащить лист всех удаленных с сервера файлов. Может и можно, но видимо каким-то не очевидным способом, так как в "журнале" действий нет даже банальной сортировки.

В Яндекса тоже мрак. Они ведут историю всего, вплоть до переименований папок "сторонними устройствами", но не отображены удаления сотен файлов!!! которых тупо нет и они точно были на Яндексе, после чего были скопированы на сервер и потом сервером же были удалены исходники с Яндекса!!

Что делать помогите! у нас паника!!

В Яндексе пока отвечают отписками на просьбу откатить содержимое диска на пару дней.

Суммируя описанное выше, вопросы следующие:

- почему синхронизация получилась не полной? откуда эта разница в цифрах.

- почему сервер "вдруг" начал активничать и удалять переписывать файлы и папки просто сотнями, удаляя сразу дестяками гигов судя по всему, а не по 1шт

- как теперь слить воедино то что есть на Яндексе и то, что теперь есть только на сервере?

- как можно узнать масштаб бедствия и посмотреть полные логи активности сервера - сколько и чего он успел поудалять?

огромное спасибо за любую помощь

Я бы посоветовал обратиться в техподдержку синолоджи. Позвоните им или напишите. Этот форум официальные представители проглядывают, но не часто.

Ситуация следующая - есть 2тб на ЯндексДиске где лежат крайне важные медиа исходники. Для более быстрой работы с ними был приобретен DS720+ и два огромных жестких диска.

Все установил, настроил. Включил CloudSync.

А вот можно подробнее, что и как вы настроили и установили. Какой тип синхронизации, указана ли необходимость удаления, частота синхронизаций и т.д.

А вот можно подробнее, что и как вы настроили и установили. Какой тип синхронизации, указана ли необходимость удаления, частота синхронизаций и т.д.

Да, конечно. Правда там настроек-то кот наплакал.

1) Что такое тип синхронизации?

2) Удаление нигде не указывал. Стоит - "Локально удаленные файлы будут восстановлены с публичного облака". Да и вообще, судя по характеру действия Синолоджи, это было не удаление. Серевер все синхронизировал (как он рапортовал) и оатсновился. Все. Больше никаких действий. На облаке файлы лежат мертвым грузом - фотки и видео. Они не добавлялись не убавлялись. Их количество и размеры тоже не менялись. Это просто архив. НО, тем не менее. На следующий день буквально я увидел что сервер что-то закачивает с себя на облако и что-то удаляет оттуда. Я нажал на паузу синхронизацию. Зашел в облако и охренел, поняв что облако сервер с облака удалил порядка 200гб файлов.

При этом сейчас у меня есть какие-то файлы на сервере которых уже нет на облаке (потому что он в себя их скачал и стер).

Так вот, тут нужно скорее не гадание на кофейной гуще а знание алгоритмов синхронизации CloudSync. Которое я и пытаюсь выяснить.

- Что именно заставило заняться перезаписью туда-сюда файлов, которые статичны в облаке и не менялись с момента последней (она же первая и единственная) синхронизации?

- Например: Если вдруг Яндекс дал неверную оценку списка и свежести на Синолоджи сервер, то тот, посчитав что у нее свежее файлы решил стереть не актуальные с облака. Ну допустим.. НО. Разве он при этом удаляет сразу 200гб файлов перед тем как из себя закачать в облако? разве это не делается по 1 или по несколько файлов? Вот в чем основной вопрос к Синолоджи. К знатокам и поддержке.

Да, конечно. Правда там настроек-то кот наплакал.

 

 

1) Что такое тип синхронизации?

2) Удаление нигде не указывал. Стоит - "Локально удаленные файлы будут восстановлены с публичного облака". Да и вообще, судя по характеру действия Синолоджи, это было не удаление. Серевер все синхронизировал (как он рапортовал) и оатсновился. Все. Больше никаких действий. На облаке файлы лежат мертвым грузом - фотки и видео. Они не добавлялись не убавлялись. Их количество и размеры тоже не менялись. Это просто архив. НО, тем не менее. На следующий день буквально я увидел что сервер что-то закачивает с себя на облако и что-то удаляет оттуда. Я нажал на паузу синхронизацию. Зашел в облако и охренел, поняв что облако сервер с облака удалил порядка 200гб файлов.

 

При этом сейчас у меня есть какие-то файлы на сервере которых уже нет на облаке (потому что он в себя их скачал и стер).

 

Так вот, тут нужно скорее не гадание на кофейной гуще а знание алгоритмов синхронизации CloudSync. Которое я и пытаюсь выяснить.

- Что именно заставило заняться перезаписью туда-сюда файлов, которые статичны в облаке и не менялись с момента последней (она же первая и единственная) синхронизации?

- Например: Если вдруг Яндекс дал неверную оценку списка и свежести на Синолоджи сервер, то тот, посчитав что у нее свежее файлы решил стереть не актуальные с облака. Ну допустим.. НО. Разве он при этом удаляет сразу 200гб файлов перед тем как из себя закачать в облако? разве это не делается по 1 или по несколько файлов? Вот в чем основной вопрос к Синолоджи. К знатокам и поддержке.

1. на первом экране ввели логи и пароль.

2. на втором экране ввели

название подключения,

локальный путь (путь до каталога NAS)

удаленный путь (путь до каталога yandexdisk)

направление синхронизации Что тут указали? Двунаправленное/загрузить только удаленные изменения/выгрузить только локальные изменения

Поясню. Указали первое, будет сравниваться что локально, что удаленно и результат должен быть одинаков НО если у вас в локальной папке или в удаленной файлы меняются, то они будут стираться и перезаписываться. Тот же яндекс может вносить изменения в свойства файлов при наличие множественного доступа к яндекс диску. 2 других варианта - бэкап на яндекс диск или с него.

Теперь вопрос, а что вы вобще хотели получить? бэкап на нас с яндекса, бэкап с нас на яндекс или синхронизированные папки?

что указали в чекбокасах шифрование и в чекбоксе не удалять файлы при их... Если второй не указать и выставить двунаправленное, файлы будут затираться...

3. на третьем экране что вводили в разделе Дополнительно?

1. на первом экране ввели логи и пароль.

2. на втором экране ввели

 

название подключения,

локальный путь (путь до каталога NAS)

удаленный путь (путь до каталога yandexdisk)

направление синхронизации Что тут указали? Двунаправленное/загрузить только удаленные изменения/выгрузить только локальные изменения

Поясню. Указали первое, будет сравниваться что локально, что удаленно и результат должен быть одинаков НО если у вас в локальной папке или в удаленной файлы меняются, то они будут стираться и перезаписываться. Тот же яндекс может вносить изменения в свойства файлов при наличие множественного доступа к яндекс диску. 2 других варианта - бэкап на яндекс диск или с него.

Теперь вопрос, а что вы вобще хотели получить? бэкап на нас с яндекса, бэкап с нас на яндекс или синхронизированные папки?

что указали в чекбокасах шифрование и в чекбоксе не удалять файлы при их... Если второй не указать и выставить двунаправленное, файлы будут затираться...

3. на третьем экране что вводили в разделе Дополнительно?

Как я написал - ту синхронизацию я остановил. Все что было на сервере, перенес в свободное защищенное место. Сейчас создал другую синхронизацию и просто копирую с облака все что осталось, чтобы потом сравнить. Поэтому пока не дышу и не смогу сказать что на втором экране вводил. Завтра как закончит копировать, скажу. Пока отвечаю на то, что и так могу ответить:

- Шифрования не было.

- Стояла галочка "Локально удаленные файлы будут восстановлены с публичного облака"

- Не стояла галочка “Не удалять файлы в папке назначения при их удалении в исходной папке”

Направление синхронизации - стояло двунаправленное. Я прекрасно понимаю что это. И мне этот вариант подходил. Потому что данные в моем Яндекс облаке 100% статичны. Это каталог фото и видео. Который не меняет ни своих размеров ни количества. Данные туда добавляются раз в пару месяцев, не чаще, так как это просто медиа архив. Соответственно по задумке, НАС после синхронизации просто должен быть отслеживать полноту обоих каталогов - что в облаке что у себя на сервере. (Добавил бы я через 2 недели туда папку с видеоисходниками новыми, и НАС бы к себе его тоже скопировал. Вот такие планы на ближайшие пару лет. Файлы в облаке не переименовываются не удалятся и не изменяются. Просто пополняются иногда).

Но конкретно в этом случае, после синхронизации, на облаке никто ничего не делал и ничего не удалял не добавлял. Но Синолоджи, спустя сутки после завершения синхронизации, решил заново что-то перелопатить. Что-то начал закачивать с себя наверх в облако, и в облаке что-то тереть. С ЧЕГО ВДРУГ? ничего на облаке не менялось за сутки.

Беда в том, что я не могу оценить масштаб бедствия. Я вижу что в Яндексе стало гигобайт на 200 легче. Но я не уверен, есть ли эти 200гб на сервере. По логике вещей, при двусторонней синхронизации, не может быть ситуации, когда сервер вдруг удалит файлы с обоих носителей. Я не представляю такого сценария. Потому что логика синхронизации - поддержка актуальности. И если вручную не удалить или из одного места или из другого, то ни один файлов пропасть не должен. Так?

Что-то совсем мутное с этим CloudSync (((

Поставил вторую синхронизацию. Просто копирование из ЯндекДиска на сервер.

В итоге он завершил синхронизацию, начинаю сравнивать, разница в 2000 файлов и 100гб. Что это? С чего вдруг? Уже сильно жалею что связался с этим сервером и всей этой Синолоджи мутью.

Начал поштучно, папку за папкой сравнивать, в чем дело? Какие файлы он не захотел копировать. Нашел вот, два файла например, в папке ВИДЕО, которые он проигнорил и не скопировал к себе на сервер. Файлы рабочие, целый, открываются и скачиваются без проблем. Но синолоджи их не скопировал, а в какой-то момент завершил синхронизацию и отчитался что она завершена.

Тут-то в чем может быть проблема?

У Синолоджи есть вообще техподдержка по телефону?

СЕРВЕР ОБЛАКО

1,37тб (33637 файлов) 1,47тб (35513 файлов)

Mix 5,59 (188) 5,59 (189) (+1)

Видео 15,65 (62) 15,79 (64) (+2) (Зеленый монастырь.mp4 , Стары Тбилиси.mp4)

Графика 831,1 (76) 922,6 (90) (+14)

Путешествия 1.28тб (30501) 1.38тб (32345) (+1844)

Тюнинг 5,71 (798) 5,71 (799) (+1)

Cities 243,6 (123) 261,9 (135) (+12)

осталось не скопировано (+1874 файла)

У меня на тестовом NAS был случай с DRIVE, когда синхронизация просто не могла завершиться и NAS грузился этим заданием "в полочку". Но там скорее всего была ошибка кеша. Помогло только удаление кеша (папок группы в Drive Server), затем новое назначение ресурсов синхронизации и запуск новой задачи. Наверное уже все знают, что я не стал ждать развития событий и просто отказался от Drive. Теперь юзаю для этого стороннее ПО, на уровне сетевых путей SMB. Это наверное неправильно, но зато работает.

Конечно, я не буду советовать синхронизировать заново несколько сотен гигабайт, потому что это явно бредово звучит. Но можно было бы пока остановить все задания синхронизации, создать отдельное задание для синхронизации, например, проблемного каталога на Яндексе, в отдельный каталог. И поглядеть на реакцию.

Что-то совсем мутное с этим CloudSync (((

 

Поставил вторую синхронизацию. Просто копирование из ЯндекДиска на сервер.

В итоге он завершил синхронизацию, начинаю сравнивать, разница в 2000 файлов и 100гб. Что это? С чего вдруг? Уже сильно жалею что связался с этим сервером и всей этой Синолоджи мутью.

 

Начал поштучно, папку за папкой сравнивать, в чем дело? Какие файлы он не захотел копировать. Нашел вот, два файла например, в папке ВИДЕО, которые он проигнорил и не скопировал к себе на сервер. Файлы рабочие, целый, открываются и скачиваются без проблем. Но синолоджи их не скопировал, а в какой-то момент завершил синхронизацию и отчитался что она завершена.

 

Тут-то в чем может быть проблема?

 

У Синолоджи есть вообще техподдержка по телефону?

 

 

СЕРВЕР ОБЛАКО

1,37тб (33637 файлов) 1,47тб (35513 файлов)

 

Mix 5,59 (188) 5,59 (189) (+1)

Видео 15,65 (62) 15,79 (64) (+2) (Зеленый монастырь.mp4 , Стары Тбилиси.mp4)

Графика 831,1 (76) 922,6 (90) (+14)

Путешествия 1.28тб (30501) 1.38тб (32345) (+1844)

Тюнинг 5,71 (798) 5,71 (799) (+1)

Cities 243,6 (123) 261,9 (135) (+12)

 

 

осталось не скопировано (+1874 файла)

А вы уверены что это не проблема с Яндексом? У меня практически ничего из стороннего софта не работает с облаком Яндекса. Они это признали и ничего делать не собираются...

А вы уверены что это не проблема с Яндексом? У меня практически ничего из стороннего софта не работает с облаком Яндекса. Они это признали и ничего делать не собираются...

Я ни в чем не уверен. Но как-то по наивности предполагал что Яндекс это все-таки Яндекс а не херь самописная. Да и Синолоджи это вроде бренд известный. А по факту сопли пузырями что у одних что у других. Техподдержка у обоих такая же. Никто из двух гигантов даже списка удаленных файлов не может родить.

Что делать - не понятно. Даже скопировать нормально не получается.

У меня на тестовом NAS был случай с DRIVE, когда синхронизация просто не могла завершиться и NAS грузился этим заданием "в полочку". Но там скорее всего была ошибка кеша. Помогло только удаление кеша (папок группы в Drive Server), затем новое назначение ресурсов синхронизации и запуск новой задачи. Наверное уже все знают, что я не стал ждать развития событий и просто отказался от Drive. Теперь юзаю для этого стороннее ПО, на уровне сетевых путей SMB. Это наверное неправильно, но зато работает.

Конечно, я не буду советовать синхронизировать заново несколько сотен гигабайт, потому что это явно бредово звучит. Но можно было бы пока остановить все задания синхронизации, создать отдельное задание для синхронизации, например, проблемного каталога на Яндексе, в отдельный каталог. И поглядеть на реакцию.

попробую скопировать только одну каку-то проблемную папку, где не все файлы скопированы. Но что толку на самом деле? ну не скопирует он один из 64 файлов. ну это обычный mp4 файл. а толку?

попробую скопировать только одну каку-то проблемную папку, где не все файлы скопированы. Но что толку на самом деле? ну не скопирует он один из 64 файлов. ну это обычный mp4 файл. а толку?

Ну, Вам уважаемый freewind выше написал возможную причину. И я смутно помню эти дебаты по поводу Яндекса здесь. Потому предполагал что такой способ покажет где собака порылась или по крайней мере позволит вытащить с Яндекса Ваши данные. Другое дело, если это Вам не особо поможет, поскольку, если уйти от Яндекса, то Drive Server тоже имеет свои проблемы, как мы недавно здесь выяснили. И техподдержка в курсе.

А Drive - это вроде как прямая альтернатива YaDisk на Synology. Правда, остаются ещё туннели, которые юзаю я. Кто-то предпочитает WebDAV. Первое уж точно прекрасно работает. Но надо ли это рядовому пользователю - вопрос.

Никто из двух гигантов даже списка удаленных файлов не может родить.

1. Если техподдержка сино не дай бог вам такой список "родит" это для них одновременный удар по репутации, многомилионные иски и т.д.

2. Позиция техподдержки яндекса простая. Используйте наши клиенты (от webdav и от api они отказались полностью) или используйте наше облако. В их понимании бэкапирование это чисто комерческая операция. У Вас же коммерческий интерес? Вот из-за коммерсантов я лишился бэкапа моих пользовательских данных...

Еще раз. мне полностью компенсировали стоимость платного ядиска, и указали на их облако для моих личных бэкапов. Или пользуем их штатный клиент

Другое дело, если это Вам не особо поможет, поскольку, если уйти от Яндекса, то Drive Server тоже имеет свои проблемы, как мы недавно здесь выяснили. И техподдержка в курсе.

А Drive - это вроде как прямая альтернатива YaDisk на Synology. Правда, остаются ещё туннели, которые юзаю я. Кто-то предпочитает WebDAV. Первое уж точно прекрасно работает. Но надо ли это рядовому пользователю - вопрос.

И гипербэкап и клауд у сино нормально работают... У меня (и миллионов других клиентов) была проблема с вэбдав и продуктами на их апи. описание которого в один прекрасный день тихо без озвучивания пропало.

Я ни в чем не уверен. Но как-то по наивности предполагал что Яндекс это все-таки Яндекс а не херь самописная.

Проверил. Ничего не изменилось. Как и было Яндексом объявлено. Диск только для личного использования и с их приложениями. Никаких бекапов по webdav и никакого api.

Зацепил бэкап ещё раз из 300 гигов за 8 часов ушло 2. Канал 500/500 и через приложение Яндекс заливается все очень быстро.

Ищите другое облако или вообще сразу на нас кидайте.