Резервное копирование данных с помощью утилиты Robocopy. Robocopy примеры использования Копирование файлов с длинными именами robocopy

Каждому администратору Wintel знакома утилита Robocopy. Еще со времен Windows NT4 она вошла в Resource Kit, а начиная с Windows Vista - в состав операционной системы.
Зачем нужна Robocopy? Для того чтобы копировать файлы. Много файлов. В основном мы используем ее для миграции файловых серверов или резервного копирования.
Есть много интересных вариантов миграции файловых серверов, например, с использованием DFS-R. Но нет ничего проще и надежнее запуска

Robocopy \\SERV\D$ F:\ /e /copyall /zb /mt:8 /r:1 /W:5 /V /TS /FP /ETA /TEE /LOG:c:\temp\robocopy.txt

В финале можно закрыть пользовательский доступ к ресурсу и создать инкрементальную копию, добавив ключ /MIR.
Но так ли хороша Robocopy ? Хороша ли она настолько, чтобы доверить ей миграцию самых важных файлов?

Одним прекрасным субботним днем я мигрировал файловый сервер. Сотрудников на работе не оказалось. Первая копия была сделана еще вчера, оставалось лишь сделать инкремент и обновить ссылки в DFS.
Я запустил Robocopy, посмотрел журнал, а для перестраховки, перед переключением, решил посмотреть, сколько файлов и папок в исходном и конечном файловом ресурсе. Числа не сошлись. Неожиданно.

Но почему? Такой результат я видел впервые. Я сделал что-то не так? Кто-то из сотрудников все же изменил файлы, пока шло инкрементальное копирование? Ключ /MIR дал сбой? Какие-то файлы пропущены? Пустые? С Access Denied? Поврежденные?

Хорошо, отключаем сетевой доступ и снова копируем файлы. Не сходится! Пробуем без /MIR. Тот же результат.
Я был в недоумении. Пятнадцать лет я на 100% доверял Robocopy, и вот сегодня, впервые, она дала сбой. Некоторых файлов просто нет в месте назначения! Просто невозможно в это поверить.

Давайте подсчитаем файлы по-другому. Качаем утилиту FileList и делаем листинг файлов в исходной и конечной папке. А вот здесь число файлов совпадало. Удивительно.

А что если дело не в Robocopy? Что если Windows Explorer считает неправильно? Может быть в Windows Server 2008 R2 плохой Explorer, а в Windows Server 2012 R2 хороший? Я открыл свойства локальной и целевой папки на исходном сервере Windows Server 2008 R2. Число файлов не совпадало. Понадеемся, что в Windows Server 2012 R2 все исправлено. Открываем свойства папок на новом сервере… И…

Не совпало не только число файлов в исходной и конечной папке. Число файлов отличалось от снятых на Windows Server 2008 R2. Черная уличная магия.

И в эту минуту (наконец-то) на меня снизошло прозрение. Дело не в Robocopy, и не в версиях Explorer. Просто Explorer не умеет (!) считать, и не считает файлы и папки с именами длиннее 260 символов.

На исходном сервере файлы были расположены по пути «F:\Office1». На новом - «U:\SharedFiles\Office1».
Всего лишь из-за подпапки «SharedFiles» имена некоторых файлов и папок стали длиннее 255 символов. Для Robocopy не составило труда их скопировать. FileList легко их подсчитал. И только Explorer пропустил такие файлы при подсчете.

Сделав subst N: U:\SharedFiles и посчитав число файлов в F:\Office1 на исходном сервере и N:\Office1 на целевом, число файлов совпало.

Robocopy можно доверять.

UPD : Как правильно поправляют в комментариях, все же не 255, а

И Windows Server 2008 . Robocopy функционально заменяет Xcopy, с большим количеством опций.

Robocopy
Тип	компонент Microsoft Windows [d]
Разработчик	Microsoft
Операционная система	Windows NT , Windows 2000 , Windows XP , Windows 2003 , Windows Vista ,Windows 7 , Windows Server 2008 .
Последняя версия	10.0.17763.1
Лицензия	Проприетарное программное обеспечение

robocopy C:\A \\backupserver /E /MAX:102400000 /MIN:102400

Скопировать определенные форматы, например avi:

Robocopy C:\A \\backupserver *.exe *.avi /S

Полный список команд доступен на странице Microsoft TechNet - Robocopy

Графический интерфейс

Robocopy является утилитой командной строки, поэтому для удобства пользования Microsoft Technet предоставляет графическую оболочку для неё (GUI front-end), автор которой Дерк Бениш . Оболочка требует наличия .NET Framework 2.0.

Управление полосой пропускания

У Robocopy есть опция "inter-packet gap (IPG)", которая позволяет контролировать пропускную способность сети, используемую в сеансе. Теоретически следующая формула выражает задержку (D, в миллисекундах), необходимую для имитации желаемой полосы пропускания (BD, в килобитах в секунду) по сети с доступной полосой пропускания BA kbps:

D = B A − B D B A × B D × 512 × 1000 {\displaystyle D={B_{A}-B_{D} \over B_{A}\times B_{D}}\times 512\times 1000}

На практике, обычно приходится поэкспериментировать, чтобы найти подходящую задержку из-за таких факторов, как характер и объем трафика в сети. Методология, используемая опцией IPG, может не обеспечивать тот же уровень контроля, предоставляемый некоторыми другими технологиями дросселирования полосы пропускания, такими как BITS (который используется Windows Update и BranchCache).

Для создания точных дубликатов всех необходимых файлов в папке пользовательского профиля (C:\Users\Ваше имя) путем многопоточного копирования.

Зачем использовать Robocopy?

Если вы - сознательный пользователь, вы наверняка и так регулярно создаете образ жесткого диска и осуществляете резервное копирование данных с помощью средства «Архивация и восстановление» (Backup and Restore) Windows 7. Однако не помешает создать и еще одну резервную копию - на всякий случай. Это можно сделать и вручную, путем перетаскивания нужных файлов на внешний жесткий диск, но если их слишком много, процесс может затянуться.

Утилита Robocopy позволяет использовать более восьмидесяти переключателей командной строки для создания эффективного сценария резервного копирования. Чтобы облегчить вам задачу, я объясню, как использовать возможности утилиты для создания зеркальной копии всех файлов в папке вашего профиля (C:\Users\Ваше имя).

Составление команды

В качестве примера я составлю команду для копирования содержимого моей пользовательской папки «C:\Users\Greg Shultz» в папку «TheBackup» на внешнем жестком диске, примонтированном под литерой «G» (вы, разумеется, замените имена и адреса на собственные). Команда будет начинаться так:

Robocopy “C:\Users\Greg Shultz” “G:\TheBackup”

Я хочу скопировать все папки, даже пустые, потому что они могут пригодиться для будущих файлов. В то же время я хочу исключить из копирования файлы, которые уже удалил. Можно использовать для этого переключатели /S и /PURGE, но я предпочитаю обойтись одним переключателем для выполнения обеих задач - /MIR. Теперь команда выглядит так:

Robocopy “C:\Users\Greg Shultz” “G:\TheBackup” /MIR

В папке «C:\Users\Greg Shultz» есть несколько скрытых системных файлов и папок, которые я не собираюсь копировать - например, «NTUSER.DAT» и «AppData». Кроме того, в папке профиля присутствуют несколько точек соединения, которые привязывают к ней системные папки - например, «Cookies» и «SendTo».

Чтобы исключить из копирования скрытые системные файлы, я использую переключатель /XA:SH, а чтобы не копировать папку «AppData» со всем содержимым - переключатель /XD. Наконец, переключатель /XJD позволяет исключить все точки соединения. В результате команда теперь выглядит так:

Robocopy “C:\Users\Greg Shultz” “G:\TheBackup” /MIR /XA:SH /XD AppData /XJD

Одна из самых полезных особенностей Robocopy связна с тем, как утилита обрабатывает открытые файлы. При обнаружении такого файла программа приостанавливает копирование и ждет, пока он закроется. Каждые 30 секунд Robocopy пытается возобновить копирование. По умолчанию, предусмотрен миллион попыток (я не шучу!), но в таком случае копированию вообще не суждено завершиться, поэтому количество попыток лучше сократить.

Для этого используется переключатель /R, а изменить интервал между попытками можно с помощью переключателя /W. Я сокращу количество попыток до пяти, а временной промежуток между ними - до 15 секунд. Тогда Robocopy сможет возобновить копирование, подождав некоторое время. Теперь команда выглядит так:

Robocopy “C:\Users\Greg Shultz” “G:\TheBackup” /MIR /XA:SH /XD AppData /XJD /R:5 /W:15

Сейчас можно добавить в команду переключатель многопоточного копирования /MT[:n], где n - это число потоков от 1 до 128. Значение n можно и не указывать, а обойтись одним лишь переключателем /MT. В таком случае будет использоваться восемь потоков. Я предпочитаю 32 потока. Обратите внимание, что многопоточное копирование не совместимо с переключателями /IPG и /EFSRAW. Итак, новая команда:

Robocopy “C:\Users\Greg Shultz” “G:\TheBackup” /MIR /XA:SH /XD AppData /XJD /R:5 /W:15 /MT:32

Как и все утилиты командной строки, Robocopy постоянно информирует пользователя о состоянии выполнения операции, но куда удобнее сохранить эти данные в форме отчета. Чтобы получить полную картину, я буду использовать переключатель /V, однако сведения о прогрессе копирования каждого отдельного файла мне не нужны, поэтому я добавлю в команду переключатель /NP. Файл отчета создается с помощью переключателя /LOG и перезаписывается при каждом следующем запуске утилиты. Окончательная команда выглядит так:

Robocopy “C:\Users\Greg Shultz” “G:\TheBackup” /MIR /XA:SH /XD AppData /XJD /R:5 /W:15 /MT:32 /V /NP /LOG:Backup.log

Создание и использование сценария

Теперь, когда вы знаете, как использовать переключатели, составьте нужную вам команду в Блокноте (Notepad) и сохраните файл с именем «RobocopyBackup.cmd». Чтобы открытые файлы сценария и отчета не препятствовали копированию, я создал в корневом каталоге папку «C:\BackupTool» и сохранил их туда.

Файл отчета будет сохраняться в тот же каталог после каждого запуска утилиты. Хотя это простой текстовый файл, он может оказаться чересчур объемным для Блокнота, поэтому открывать его стоит в каком-нибудь другом текстовом процессоре - например, в Wordpad.

Теперь, когда вам понадобится создать дополнительную резервную копию, просто запустите файл «RobocopyBackup.cmd» двойным щелчком, а по окончании операции изучите файл отчета «Backup.log». С помощью

Используем Robocopy . Примеры.

— это отличнейшая вещь, очень гибкий инструмент для копирования и даже бэкапа. И самое интересное то, что она поддерживает длинные пути файлов т.е. более 256 симоволов!!! Wiki: Это утилита для репликации (не просто копирования) каталогов (папок). Она была доступна как часть Windows Resource Kit и представлена как стандартный компонент Windows Vista, Windows 7 и Windows Server 2008. Поставляется компанией Microsoft «как есть» без гарантий и техподдержки.

Разработана для отказоустойчивого копирования каталогов и деревьев каталогов. Она обладает возможностью копирования всех (или выборочных) NTFS атрибутов и свойств, имеет дополнительный код для перезапуска при применении с сетевым соединением в случае его разрывов.

Все это необхожимо если вам нужно перенести целый каталог файлов с сервера со всеми настройками прав доступа в том числе и атрибутов времени создание файлов или скопировать файлы исключив какие то файлы (по разным атрибутам или расширению) или папки. Также robocopy удобно использовать в качестве программы для файлов с компьютеров пользователей на сервер (дальше на сервере работает добавочная архивация) — самое оптимальное решение.

Параметры копирования из robocopy /help

ROBOCOPY:: Robust File Copy for Windows
Применение:: ROBOCOPY источник назначение [файл [файл]…] [Параметры]
Источник:: Исходная папка (диск:\путь или \\сервер\общий ресурс\путь).
Назначение:: Конечная папка (диск:\путь или \\сервер\общий ресурс\путь).
Файл:: Копировать файлы (имена и подстановочные знаки: по умолчанию «*.*»).
::
:: Параметры копирования:
::
/S:: Копировать вложенные папки, кроме пустых.
/E:: Копировать вложенные папки, включая пустые.
/LEV:n:: Копировать только верхние n уровней исходного дерева папок.
/Z:: Копирование файлов с возобновлением.
/B:: Копирование файлов в режиме архивирования.
/ZB:: используется режим с возобновлением; если доступ запрещен, используется режим архивации.
/EFSRAW:: Копирование всех зашифрованных файлов в режиме EFS RAW.
/COPY: флаги копирования:: что копируется для файлов (по умолчанию /COPY:DAT).
(флаги копирования: D=Данные, A=Атрибуты, T=Метки времени).
(S=Безопасность=NTFS ACLs, O=Сведения о владельце, U=Сведения аудита).
/DCOPY:T:: Копирование меток времени папки.
/SEC:: Копировать файлы с параметрами безопасности (эквивалентно /COPY:DATS).
/COPYALL:: Копировать все сведения о файле (эквивалентно /COPY:DATSOU).
/NOCOPY:: Не копировать никаких сведений о файле (удобно использовать с параметром /PURGE).
/SECFIX:: Исправлять параметры безопасности для всех файлов, даже пропущенных.
/TIMFIX:: Исправлять атрибуты времени для всех файлов, даже пропущенных.
/PURGE:: Удалять файлы и папки назначения, которых больше не существует в источнике.
/MIR:: Создать зеркало дерева папок (эквивалентно /E с /PURGE).
/MOV:: Перемещать файлы (удаление из источника после копирования).
/MOVE:: Перемещать файлы и папки (удаление из источника после копирования).
/A+: :: Добавлять заданные атрибуты скопированным файлам.
/A+: :: Удалять заданные атрибуты из скопированных файлов.
/CREATE:: Создать только дерево папок и файлы нулевой длины.
/FAT:: Создать файлы назначения только в формате 8.3 FAT.
/256:: Отключить поддержку длинных путей (> 256 знаков).
/MON:n:: Наблюдать за источником; перезапустить после n изменений.
/MOT:m:: Наблюдать за источником; перезапустить через m минут, если произошли изменения.
/RH:hhmm-hhmm:: Часы запуска - время, когда можно запускать новое копирование.
/PF:: Проверять часы запуска по файлам (не по проходам).
/IPG:n:: Интервал между пакетами (мс) для снижения нагрузки на сеть при низкоскоростных подключениях.
/SL:: копирование самих символических ссылок вместо копирования целевого объекта этих ссылок.
::
:: Параметры выбора файлов:
::
/A:: Копировать только файлы с установленным атрибутом «Архивный».
/M:: Копировать только файлы с атрибутом «Архивный» и сбросить его.
/IA: :: Включить файлы, у которых установлен какой-либо из заданных атрибутов.
/XA: :: Исключить файлы, у которых установлен какой-либо из заданных атрибутов.
/XF file [файл]… :: Исключить файлы, соответствующие заданным именам, путям и подстановочным знакам.
/XD dirs [папки]… :: Исключить папки, соответствующие заданным именам и путям.
/XC:: Исключить измененные файлы.
/XN:: Исключить более поздние файлы.
/XO:: Исключить более ранние файлы.
/XX:: Исключить дополнительные файлы и папки.
/XL:: исключить отдельно расположенные файлы и папки.
/IS:: Включить те же файлы.
/IT:: Включить оптимизированные файлы.
/MAX:n:: Максимальный размер файла - исключить файлы, размер которых более n байт.
/MIN:n:: Минимальный размер файла - исключить файлы, размер которых менее n байт.
/MAXAGE:n:: Максимальный возраст файла - исключить файлы, возраст которых превышает n дней.
/MINAGE:n:: Минимальный возраст файла - исключить файлы, возраст которых менее n дней.
/MAXLAD:n:: Наиболее поздняя дата последнего обращения - исключить файлы, которые не использовались с даты n.
/MINLAD:n:: Наиболее ранняя дата последнего обращения - исключить файлы, которые использовались после даты n.
(Если n < 1900, то n = n дней, в противном случае n - дата в формате ДДММГГГГ).
/XJ:: исключить точки соединения. (по умолчанию обычно включаются).
/FFT:: Использовать время файлов FAT (двухсекундная точность).
/DST:: Учитывать одночасовую разницу при переходе на летнее время.
/XJD:: Исключить точки соединения для папок.
/XJF:: Исключить точки соединения для файлов.
::
:: Параметры повторных попыток:
::
/R:n:: число повторных попыток для неудавшихся копий: по умолчанию - 1 миллион.
/W:n:: Время ожидания между повторными попытками: по умолчанию - 30 секунд.
/REG:: Сохранить /R:n и /W:n в реестре как параметры по умолчанию.
/TBD:: Ждать, пока будут определены имена общих ресурсов (ошибка повторной попытки 67).
::
:: Параметры ведения журнала:
::
/L:: Только список - файлы не копируются, не удаляются, не помечаются метками времени.
/X:: Сообщать обо всех дополнительных файлах, а не только о выбраных.
/V:: Подробный вывод с указанием пропущенных файлов.
/TS:: Включать в вывод метки времени исходных файлов.
/FP:: Включать в вывод полные пути файлов.
/BYTES:: Печатать размеры в байтах.
/NS:: Без размера - не заносить в журнал размер файлов.
/NC:: Без класса - не заносить в журнал классы файлов.
/NFL:: Без списка файлов - не заносить в журнал имена файлов.
/NDL:: Без списка папок - не заносить в журнал имена папок.
/NP:: Без хода процесса - не отображать число скопированных %.
/ETA:: Показывать оценку времени окончания копирования файлов.
/LOG: файл:: Записывать состояние в файл журнала (перезаписывать существующий журнал).
/LOG+: файл:: Записывать состояние в файл журнала (добавлять к существующему журналу).
/UNILOG: файл:: Записывать состояние в файл журнала в формате Юникод (перезаписывать существующий журнал).
/UNILOG+: файл:: Записывать состояние в файл журнала в формате Юникод (добавлять к существующему журналу).
/TEE:: Направлять выходные данные в окно консоли и в файл журнала.
/NJH:: Без заголовка задания.
/NJS:: Без сведений о задании.
/UNICODE:: Cостояние вывода в формате Юникод.
::
:: Параметры задания:
::
/JOB: имя_задания:: Взять параметры из указанного файла задания.
/SAVE: имя_задания:: Сохранить параметры в указанный файл задания
/QUIT:: Выйти после обработки командной строки (для просмотра параметров).
/NOSD:: Не указывается исходная папка.
/NODD:: Не указывается папка назначения.
/IF:: Включить следующие файлы

Примеры использования

Все это выполняется в командной строке (Пуск-Выполнить-CMD) или вы можете создать bat скрипт.

1. Скопировать файлы, измененные за последние 5 дней (исключая сегодня).

robocopy «E:\Documents» «\\NAS\BACKUP\Documents» /maxage:5 /minage:1

2. Переместить все файлы:
robocopy «E:\Documents» «\\NAS\BACKUP\Documents» /move /e

3. Скопировать файлы за исключением скрытых (/xa:h):

robocopy «E:\Documents» «\\NAS\BACKUP\Documents» /e /xa:h

или за исключением read-only (/ia:rs):

robocopy «E:\Documents» «\\NAS\BACKUP\Documents» /ia:rs

При копировании также можно менять атрибуты файлов, при помощи опции A+ (добавить атрибут) or A- (удалить атрибут). Скопировать все файлы и задать им атрибут read-only:

robocopy «E:\Documents» «\\NAS\BACKUP\Documents» /e /A+:r

4. Скопировать все файлы по шаблону (расширению), пустые папки не копировать:

robocopy «E:\Documents» «\\NAS\BACKUP\Documents» *.doc *.ppt /s

5. Скопировать все файлы размером от 1000 до 60000 байт:

robocopy «E:\Documents» «\\NAS\BACKUP\Documents» /e /max:60000 /min:1000

6. Исключить из копирования папку AppData (/XD AppData):

Robocopy «C:\Users\Administrator» «\\NAS\BACKUP\Administrator» /MIR /XA:SH /XD AppData /XJD

7. Создать 32 потока (/MT:32) копирования файлов:

Robocopy «C:\Users\Administrator» \\NAS\BACKUP\Administrator /MIR /XA:SH /XD AppData /XJD /R:5 /W:15 /MT:32

8. Скопировать файлы из одной папки в другую со стандартными атрибутами исключив файл по расширению (допустим *.doc)

Robocopy » Robocopy «C:\Users\Administrator» «\\server\userbackup» /СOPY:DAT /XF *.doc

Пример использования для бэкапа

robocopy D:\исходная_папка \\192.168.0.1\целевая_папка /E /Z /COPY:TDASO /DCOPY:T /M /R:2 /W:5 /MT:64

В данном примере:
Мы копируем папку «исходная папка», находящуюся на локальном диске D:
Мы копируем эту папку на компьютер \\192.168.0.1 в папку «целевая папка»
/E: Мы копируем все подпапки и файлы
/Z: Включаем поддержку докачки (на случай обрыва связи)
/COPY:TDASO: Копируем все атрибуты и ACL прав доступа NTFS (но не копируем атрибуты аудита)
/DCOPY:T: Копируем время создания папок
/M: Копируем только файлы с установленным атрибутом «A — Архивный» и сбрасываем этот атрибут, что позволяет нам копировать только измененные файлы.
/R: Количество повторных попыток копирования файла в случае, если копирование не удалось. Причем «не удалось» срабатывает и в том случае, если доступ к файлу закрыт. По-умолчанию = 1 миллионы, т.е. бесконечно, потому копирование благополучно встанет на первом же файле, к которому не будет доступа.
/W: Задержка в секундах между попытками копирования. По-умолчанию = 30 секундам.

/MT — кол-во потоков, увеличив которые можно ускорить копирование. Будет быстрее чем обычное копирование файла точно.

2) Похожий пример, но обратите внимание — каждый раз бэкап копируется в папку с названием даты и времени. Очень удобно для создание добавочного бэкапа.
robocopy D:\исходная_папка \\192.168.0.1\целевая_папка\ %date:~0,2%.%date:~3,2%.%date:~6,4%.%time:~0,2%-%time:~3,2% /E /Z /COPY:TDASO /DCOPY:T /M /R:2 /W:5

%date:~0,2%.%date:~3,2%.%date:~6,4%.%time:~0,2%-%time:~3,2% - дата и время созда ние бэкапа в качестве названия папки. В итоге получается папка вида 16.01.2016-10.19

Или так — %date:~6,4%-%date:~3,2%-%date:~0,2%_%time:~0,2%-%time:~3,2% Результат — 2016-03-13_23-30

Много интересного вы также сможете узнать набрав команду set /?

Формат даты в командной строке:

@echo off set day=%DATE:~0,2% set month=%DATE:~3,2% set year=%DATE:~6,4% set hour=%TIME:~0,2% set minute=%TIME:~3,2% set second=%TIME:~6,2% echo %day% echo %month% echo %year% echo %hour% echo %minute% echo %second% set YYYYMMDD=%year%%month%%day% echo %YYYYMMDD%

Robocopy \\SERV\D$ F:\ /e /copyall /zb /mt:8 /r:1 /W:5 /V /TS /FP /ETA /TEE /LOG:c:\temp\robocopy.txt

Robocopy можно доверять.

UPD : Как правильно поправляют в комментариях, все же не 255, а