[решено] Сравнивание двух файлов .csv и удаление дублей

[XXXp]

есть два файла: 1.csv и 2.csv, необходимо, удалить из файла 2.csv все данные, точные копии которых есть в 1.csv.
Другими словами, файл 1.csv более старый, а 2.csv более новый, необходимо удалить неактуальные данные, которые содержатся уже в 1.csv и были обработаны ранее. В файле 2.csv должно после анализа остаться только новейшие данные, которых в 1.csv нет. Не подскажете, каким образом можно решить такую проблему? Спасибо за любую помощь!

[Iska]

XXXp, уточните — Вам надо оставить строки, содержащие домены или оставить только домены?

[XXXp]

Прошу прощения, задача, как оказалось, больше не актуальна. Теперь необходима такая вещь:
есть два файла: 1.csv и 2.csv, необходимо, удалить из файла 2.csv все данные, точные копии которых есть в 1.csv.
Другими словами, файл 1.csv более старый, а 2.csv более новый, необходимо удалить неактуальные данные, которые содержатся уже в 1.csv и были обработаны ранее. В файле 2.csv должно после анализа остаться только новейшие данные, которых в 1.csv нет. Не подскажете, каким образом можно решить такую проблему? Спасибо за любую помощь!

З.Ы. Каждый файл .csv весит ~5-6мб, т.е. содержит около 100 000 строк, после анализа должны остаться 3000-4000.

[Kazun]

Compare-Object (gc 1.csv) (gc 2.csv) -PassThru | Where {$_.SideIndicator -eq "=>"} | Out-File 3.csv

[XXXp]

Спасибо, но почему-то не работает, ошибка. The term is not recognized as cmdlet и т.д...

[Iska]

XXXp, у меня работает. Упакуйте «1.csv» и «2.csv» в архив, выложите на обменник, ссылку — сюда.

Если там какая-либо конфиденциальная информация — архив под паролем, ссылку на архив и пароль в личку коллеге Kazun.

[XXXp]

Прошу прощения, скрипт работает, у меня неправильно был выбран режим powershell
Только он делает не совсем то. Есть два файла 1.csv (более старый, обработанный) и 2.csv (новый, в котором 95% - дубли из 1.csv, которые ранее были обработаны). Необходимо создать такой файл 3.csv, который бы собрал в себя ТОЛЬКО те данные, которые есть в 2.csv, но нету в 1.csv. Цель - дважды не обрабатывать одни и те же данные. Спасибо!

[Kazun]

PS Z:\> gc 1.csv
Name;LogonName;mail;Department
Name1;LogonName1;mail1;dp1
PS Z:\> gc 2.csv
Name;LogonName;mail;Department
Name1;LogonName1;mail1;dp1
Name2;LogonName2;mail2;dp2
PS Z:\> Compare-Object (gc 1.csv) (gc 2.csv) -PassThru | Where {$_.SideIndicator -eq "=>"}
Name2;LogonName2;mail2;dp2

Приводите примеры,не надо быть голословным.

[XXXp]

Файл 1.csv -http://rusfolder.com/33181055
Файл 2.csv -http://rusfolder.com/33181056

[Kazun]

$h = @{}
Get-Content 1.csv | Foreach {$h[$_]=1}
Get-Content 2.csv | Where {!$h[$_]} | Out-File 3.csv

У меня получилось 28979 уникальных записей.

PS. С Compare-Object было лень ждать.

[XXXp]

а есть возможность брать только по первому столбцу (домену), а то если меняется 2-й столбец, который неактуален, он тоже берет это как уникальную запись! Спасибо!

[Kazun]

$h = @{}
Get-Content 1.csv | Foreach {$h[$($_.split(";")[0])]=1}
Get-Content 2.csv | Where {!$h[$($_.split(";")[0])]} | Out-File 3.csv

[XXXp]

Спасибо огромнейшее! Все работает как нужно!