[решено] Удаление большого количества папок и файлов

[megaloman]

Busla, Обратите внимание, я адресовал Вам пост и излагал мысли в рамках деловой этики. Должен заметить, у меня за спиной более десятка лет успешного обслуживания серьезной информационной системы. Вы не привели ни одного внятного довода моей неправоты, не предложили своего, на Ваш взгляд, правильного решения. Тролльте, если Вам так нравится. Но далее без меня.

[YuS_2]

нет »
Слишком категорично. Вы лучше автора знаете, что ему нужно? :)
Перечитайте топик. Тут неоднократно пытались уточнить и получить четкие ответы.
Из всех полученных ответов от автора следует, что ему требуется оставить три последних созданных каталога с привязкой к имени каталога YYYYMMDD и никакой привязки к реальной дате создания/изменения в запросе нет.

а автор хочет »
то, что автор хочет ... здесь можно надергать массу противоречивых цитат. У него просто не получается однозначно сформулировать задачу. Но уточняющими вопросами, здесь уже выяснили задачу:
Т.е. заходим в Folder_main и видим, что всегда там три каталога вида YYYYMMDD за вчерашний день, позавчерашний и позапозавчерашний. Всё. »


стоит писать это на PowerShell »
в топике уже предлагалось, но:
PS. С PowerShell вообще не знаком. »

[finderhd]

т.е. чтобы в понедельник у него остался только пятничный каталог »
Нет, видимо я неправильно выразился. За минусом "3 дней" имелись в виду папки вида YYYYMMDD, о чем я делал акцент. Но надо было конечно проще поставить задачу - за минусом трех папок. Здесь уже я виноват, что не конкретизировал сразу, но я позже всеравно предоставил более подробные примеры, чтобы отсечь другие вопросы.

может означать, что каталоги за СБ и ВС формируются в ПН
В общем, вы и близко не понимаете бизнес-процесс, но готовы накостылять непонятно что и свалить в туман »
Я же ранее очень подробно приводил пример и структуру каталогов. Я как раз всё понимаю, а вы уже придумываете с воздуха, так как вам показалось. Говорилось же, что каталог формируется за несколько минут до 00:00.
А если это вы адресовали megaloman, то я категорически не соглашусь. Именно этот уважаемый форумчанин предложил самое лучшее решение задачи, предоставив решение в виде самого простого скрипта, без анализа дат, вложенных файлов и прочего: http://forum.oszone.net/post-2909269-4.html
И этот скрипт работает идеально, в планировщике запускается и стопится как надо. Я его проверил уже на тестовом стенде по типу "поставить на поток". Единственное, что я не проверял его, так это на основном, т.к. прошлая попытка удалить большое количество (пусть даже частями) файлов привела к жору памяти. Но можно запланировать его запуск в выходной день. Я не могу эксперементировать с работающим основным сервером, а воссоздать это на тесте невозможно, т.к. там такого количества папок и файлов нет. Даже попытка их скопировать, может загрузить основной сервер, т.к. файлов миллионы. От них просто надо избавиться и забыть про них навсегда, добавив ежедневный запуск скрипта выше, ночью в планировщике.

[Busla]

самое лучшее решение задачи, предоставив решение в виде самого простого скрипта, без анализа дат »
у каждой сколько-нибудь сложной задачи есть простое очевидное неправильное решение

Вы по-русски не можете не то, что сформулировать задачу, а даже выбрать из предложенных формулировок, но почему-то берёте на себя смелость утверждать, что код работает идеально. Смешно.

Я как раз всё понимаю, а вы уже придумываете с воздуха, так как вам показалось. »
Это вам показалось, а я просто озвучил неоднозначные моменты, о которых никто не задумывался.

[finderhd]

Вы по-русски не можете не то, что сформулировать задачу, а даже выбрать из предложенных формулировок, но почему-то берёте на себя смелость утверждать, что код работает идеально. Смешно. »
Так я не раз уже выше сказал - последние три папки вида YYYYMMDD. Как еще сформулировать нужно было? Основной упор делался на то, как автоматом удалить большое количество файлов. А то что упомянутый выше скрипт работает и выполняет задачу, уже проверил. Понятно, что ничего идеального нет, но скрипт отрабатывает свою задачу, я проверяю это ежедневно. Просто на тестовом сервере объем не тот, но в плане ежедневной обработки скрипт отлично работает.

[vombat2]

ничего идеального нет »Но есть более идельно или менее. Как я понял, скрипт создает нагрузку, и в вашем случае было бы не лишним ее регулировать. Лень разбираться в скрипте megaloman'а, но могу описать алгоритм:
1)простой: перед командой удаления нужно поставить проверку переменной - маркера загруженности. Допустим маркер=0 (перегруз) - ожидание, маркер=1 - выполнение. Под "ожиданием" я понимаю "бесконечный" цикл с паузой внури и прерывающийся по условию (маркеру загруженности). Маркер загруженности задает подпрограмма, которая запускается параллельно основному циклу и должна периодически проверять загруженность озу и цп и исходя из параметров менять маркер. Допустим рабоча память > 80% - маркер=0
2)более продвинутый: подпрограмма проверяет загруженность цп и озу и на основе этого увеличивает или уменьшает паузу которую основной цикл использует перед удалением..

[finderhd]

Но есть более идельно или менее. Как я понял, скрипт создает нагрузку, и в вашем случае было бы не лишним ее регулировать. Лень разбираться в скрипте megaloman'а, но могу описать алгоритм:
1)простой: перед командой удаления нужно поставить проверку переменной - маркера загруженности. Допустим маркер=0 (перегруз) - ожидание, маркер=1 - выполнение. Под "ожиданием" я понимаю "бесконечный" цикл с паузой внури и прерывающийся по условию (маркеру загруженности). Маркер загруженности задает подпрограмма, которая запускается параллельно основному циклу и должна периодически проверять загруженность озу и цп и исходя из параметров менять маркер. Допустим рабоча память > 80% - маркер=0
2)более продвинутый: подпрограмма проверяет загруженность цп и озу и на основе этого увеличивает или уменьшает паузу которую основной цикл использует перед удалением.. »
Ну если бы была такая софтинка готова. Но вот я что-то не нашел. Находил Remove Emty Directory, которая удаляет пустые папки (т.к. изначально я удалял через forfiles только файлы), но делала она это крайне медленно.
Поэтому вопрос по удалению без нагрузки на систему, пока остается открытым :( Вариант с планировщиком на удаление большого количества не подходит. Надо контролировать ситуацию. Вариант с фаром что предлагали ранее, тоже, слишком много файлов... Пока потихоньку удаляю руками через Total. Осталось еще почти тысяча каталогов.

[megaloman]

finderhd, Пока потихоньку удаляю руками через Total. Осталось еще почти тысяча каталогов. да возьмите Вы мой скрипт, поставьте, допустим, кол-во каталогов для удаления =100 и запускайте его руками сколько нужно раз. Контролируйте нагрузку на сервер. Всё быстрее чем руками в тотале. Либо как предложил Iska (http://forum.oszone.net/post-2909572-24.html) Только перемещать за раз не все папки для удаления, а порциями. И применять команду rd. Но руками, имхо, это делать стремновато, надо быть аккуратным, одно неверное движение - и ты отец. Поэтому, да возьмите ... (у попа была собака ...)

[finderhd]

да возьмите Вы мой скрипт, поставьте, допустим, кол-во каталогов для удаления =100 »
Это который самый первый?

[megaloman]

Вот этот (http://forum.oszone.net/post-2909526-15.html)

[finderhd]

Вот этот »
Добрый день. Прошу прощения, что ранее не ответил по результатам. В общем, с Вашим примером удаление корректно работает. Сбоев не наблюдалось, спасибо!