По симптомам просто не хватает памяти для такой операции. Первым делом временно переведите режим кодирования в однопоточный режим. Если не поможет, то попробуйте сделать копирование в быстром режиме — он требует в разы меньше памяти. Не забудьте потом вернуть настройки назад.
