Как найти дублирующиеся файлы на компьютере. Поиск и удаление одинаковых файлов. Пример функции счётесли и выделение повторяющихся значений

Иногда в повседневной компьютерной деятельности возникает задача найти дубликаты файлов. Причин для этого может быть множество: нехватка места на жестком диске, попытки уменьшить энтропию в своих файлах, разобраться со сброшенными в разное время фотографиями с фотоаппарата и множество других нужных случаев.

В сети можно найти большое количество программ, которые позволяют искать дубликаты файлов. Но зачем искать какие-то программы, если шикарный инструмент для такой работы обычно всегда под рукой. И называется этот инструмент Total Commander (TC ).

В этой статье я покажу все методы на основе Total Commander версии 8.5 , в этой версии поиск дубликатов файлов стал очень богат функционально.

!!!Маленькое важное отступление. Что нужно понимать под словом дубликат файла? Два файла ИДЕНТИЧНЫ только тогда, когда они полностью совпадают побитно. Т.е. любая информация в компьютере представлена последовательностью нулей и единиц. Так вот, файлы совпадают только тогда, когда у них полностью совпадает последовательность нулей и единиц, из которых эти файлы состоят. Все разговоры о том, что можно сравнить два файла по какому-либо другому признаку, глубоко ошибочны.

В TC есть два, различающихся по своей сути, метода поиска дублирующихся файлов:

• Синхронизировать каталоги;
• Поиск дубликатов;

Их особенность и применение лучше всего показать на примерах.

1.Синхронизация каталогов.

Данный метод применяется тогда, когда у вас две сравниваемые папки имеют идентичную структуру. Это обычно бывает во многих случаях, вот несколько из них:

• Вы регулярно делали архив своей рабочей папки. Через какое-то время вам понадобилось выяснить, какие файлы были добавлены или изменены с момента создания архива. Вы распаковываете весь архив в отдельную папку. Структура папок в нем практически совпадает с рабочей. Вы проводите сравнение двух папок «исходной» и «восстановленной из архива» и легко получаете список всех измененных, добавленных или удаленных файлов. Пара несложных манипуляций — и вы удаляете из восстановленной папки все дубликаты файлов, которые есть в рабочей.
• Вы работаете в папке на сетевом диске и регулярно делаете копию к себе на локальный диск. Со временем ваша рабочая папка стала довольно большой и время, затрачиваемое на полное копирование, стало очень большим. Чтобы не копировать каждый раз всю папку, можно сначала провести сравнение с резервной и скопировать только те файлы, которые были изменены или добавлены, а также удалить в резервной папке файлы, которые были удалены из основной.

Когда вы войдете во вкус, почувствуете всю предоставленную мощь этого метода, вы сами сможете придумать тысячи ситуаций, когда метод синхронизации каталогов окажет вам огромную помощь в работе.

Итак, как же все происходит на практике. Приступаем.

Предположим у нас есть основная папка «Рабочая» , в которой лежат файлы, с которыми происходит работа. И есть папка «Архив» , в которой лежит старая копия папки «Рабочая» . Наша задача найти в обеих папках дублирующиеся файлы и удалить их из папки «Архив» .

Открываем TC. В правой и левой панелях открываем сравниваемые папки:

Нажимаем меню «Команды»-«Синхронизировать каталоги…»

Открывается окно сравнения каталогов

Далее нам необходимо установить параметры сравнения. Ставим галочки в параметры «с подкаталогами», «по содержимому», «игнорировать дату»

• «с подкаталогами» — будут сравниваться файлы во всех подкаталогах, указанных папок;
• «по содержимому» — вот ключевая опция, которая заставляет TC сравнивать файлы ПОБИТНО!!! В противном случае, файлы будут сравниваться по имени, размеру, дате;
• «игнорировать дату» — эта опция заставляет TC показывать различающиеся файлы, без попытки автоматического определения направления будущего копирования;

!!! Сравниваться будут файлы только с одинаковыми именами!!! Если файлы идентичны, но они имеют разное имя, то они не будут сравниваться!

Нажимаем кнопку «Сравнить». В зависимости от объёма файлов, сравнение может идти очень долго, не пугайтесь. В конце концов сравнение закончится и в нижней строке состояния(на рисунке секция 1) отобразится результат:


Если кнопки в секции «Показывать» (на рисунке секция 2) нажаты, то вы увидите результат сравнения для каждого файла.

— эта кнопка включает отображение файлов, которые есть в левой панели, но которых нету в правой;

— эта кнопка включает отображение идентичных файлов;

— эта кнопка включает отображение различающихся файлов;

— эта кнопка включает отображение файлов, которые есть в правой панели, но которых нету в левой;

Если у вас, изначально, все кнопки отображения выключены, то результат сравнения можно оценить только по строке состояния (на рисунке выше секция 1), в данном случае мы видим что сравнились 11 файлов, из которых 8 файлов являются одинаковыми, 2 файла различаются, и еще в левой панели имеется файл, которого нет в правой панели.

Для выполнения нашего задания необходимо оставить отображение только идентичных(одинаковых) файлов, поэтому все остальные кнопки отображения выключаем


Теперь у нас остались только идентичные файлы, и мы спокойно можем удалить их в папке «Архив» . Для этого выделяем все файлы. Проще всего это сделать нажатием универсальной комбинации CTRL+A . Или сначала выделить мышкой первую строчку, потом нажать на клавиатуре клавишу SHIFT и не отпуская ее выделить мышкой последнюю строчку. В результате у вас должно получиться вот так:

Заключительным шагом мы нажимаем правой клавишей мышки на любую строку и в открывшемся меню выбираем пункт «Удалить слева»

TC любезно переспрашивает нас о нашем желании,

и если мы нажимаем «ДА» , то он удаляет все помеченные файлы в папке «Архив» .

После этого, автоматически, происходит повторное сравнение двух папок. Если вам не нужно повторное сравнение, то процесс можно прервать, нажав на кнопку «Прервать» или нажать клавишу ESC на клавиатуре. Если повторное сравнение не было прервано, и мы включили все кнопки отображения, то мы увидим вот такое окно

Все. Поставленная задача выполнена. Все одинаковые файлы найдены и удалены в папке «Архив» .

Обучающее видео по теме

2.Поиск дубликатов.

Коренное отличие данного метода от метода синхронизации каталогов заключается в том, что TC игнорирует имена сравниваемых файлов. Фактически, он сравнивает каждый файл с каждым, и показывает нам идентичные файлы как бы они не назывались ! Такой поиск очень удобен, когда вы не знаете ни структуры папок, ни имен сравниваемых файлов. В любом случае, после поиска дубликатов, вы получите точный список идентичных файлов.

Поиск дубликатов я покажу на одной практической задаче, поиске дубликатов личных фотографий. Довольно часто вы сбрасываете в компьютер фотографии со своих цифровых гаджетов. Частенько ситуация запутывается, что-то сбрасывается по многу раз, что-то пропускается. Как быстро удалить файлы, сброшенные несколько раз? Очень просто!

Приступаем.

Предположим, вы всегда сбрасываете все свои фотографии в папку «ФОТО» на диске D. После всех сбросов папка имеет примерно такой вид:

Как видим, некоторые файлы находятся в папках, названных по дате съемки, некоторые сброшены в корень папки «_Новые» и «_Новые1»

Чтобы начать поиск дубликатов открываем в любой панели TC папку, в которой будем искать. В нашем случае это папка «ФОТО»

Далее нажимаем на клавиатуре комбинацию клавиш ALT+F7 или в меню выбираем «Команды»-«Поиск файлов»

Открывается окно стандартного поиска TC. Строку «Искать файлы:» оставляем пустой, тогда будут сравниваться все файлы.

Затем переходим на закладку «Дополнительно» и выставляем галочки «Поиск дубликатов:», «по размеру», «по содержимому» и нажимаем «Начать поиск» .

Поиск может идти ОЧЕНЬ долго, не надо этого пугаться, так как происходит огромное количество сравнений большого объёма файлов. При этом в строке состояния показывается процент выполнения

Когда поиск закончится, откроется окно результатов поиска, в котором нажимаем кнопку «Файлы на панель»

В окне поиска и в окне панели идентичные файлы собраны в секции, отделенные пунктирными линиям

В каждой секции отображается имя файла и полный путь к файлу. Имена ИДЕНТИЧНЫХ файлов могут быть абсолютно различными!
В данном случае видно, что одна и таже фотография записана ТРИ раза, причем два раза под одним именем(IMG_4187.JPG ) а третий раз эта фотография записана под совершенно другим именем(IMG_4187_13.JPG ).

Далее остается выделить ненужные одинаковые файлы и удалить их. Это можно делать вручную, выделяя каждый файл нажатием клавиши Ins . Но это долго и не эффективно. Есть более правильные и быстрые способы.

Итак, наша задача состоит в том, чтобы удалить повторяющиеся файлы в папках «_Новые» и «_Новые1» .
Для этого нажимаем на дополнительной клавиатуре, справа большую клавишу [+] . Обычно этой клавишей в TC выделяются файлы по маске. Эту же операцию можно сделать через меню «Выделение»-«Выделить группу»

При работе с таблицей или базой данных с большим количеством информации возможна ситуация, когда некоторые строки повторяются. Это ещё больше увеличивает массив данных. К тому же, при наличии дубликатов возможен некорректный подсчет результатов в формулах. Давайте разберемся, как в программе Microsoft Excel отыскать и удалить повторяющиеся строки.

Найти и удалить значения таблицы, которые дублируются, возможно разными способами. В каждом из этих вариантов поиск и ликвидация дубликатов – это звенья одного процесса.

Способ 1: простое удаление повторяющихся строк

Проще всего удалить дубликаты – это воспользоваться специальной кнопкой на ленте, предназначенной для этих целей.

Способ 2: удаление дубликатов в «умной таблице»

Дубликаты можно удалить из диапазона ячеек, создав умную таблицу.

Этот способ является наиболее универсальным и функциональным из всех описанных в данной статье.

Способ 3: применение сортировки

Данный способ является не совсем удалением дубликатов, так как сортировка только скрывает повторные записи в таблице.

После этого, повторяющиеся записи будут скрыты. Но их показ можно в любой момент включить повторным нажатием на кнопку «Фильтр» .

Способ 4: условное форматирование

Найти повторяющиеся ячейки можно также при помощи условного форматирования таблицы. Правда, удалять их придется другим инструментом.

После этого произойдет выделение ячеек с повторяющимися значениями. Эти ячейки вы потом при желании сможете удалить вручную стандартным способом.

Внимание! Поиск дублей с применением условного форматирования производится не по строке в целом, а по каждой ячейке в частности, поэтому не для всех случаев он является подходящим.

Способ 5: применение формулы

Кроме того, найти дубликаты можно применив формулу с использованием сразу нескольких функций. С её помощью можно производить поиск дубликатов по конкретному столбцу. Общий вид данной формулы будет выглядеть следующим образом:

ЕСЛИОШИБКА(ИНДЕКС(адрес_столбца;ПОИСКПОЗ(0;СЧЁТЕСЛИ(адрес_шапки_столбца_дубликатов: адрес_шапки_столбца_дубликатов (абсолютный); адрес_столбца;)+ЕСЛИ(СЧЁТЕСЛИ(адрес_столбца;; адрес_столбца;)>1;0;1);0));"")

После этих действий в столбце «Дубликаты» отобразятся повторяющиеся значения.

Но, данный способ все-таки слишком сложен для большинства пользователей. К тому же, он предполагает только поиск дублей, но не их удаление. Поэтому рекомендуется применять более простые и функциональные решения, описанные ранее.

Как видим, в Экселе есть множество инструментов предназначенных для поиска и удаления дублей. У каждого из них есть свои особенности. Например, условное форматирование предполагает поиск дублей только по каждой ячейке в отдельности. К тому же, не все инструменты могут не только искать, но и удалять повторяющиеся значения. Наиболее универсальный вариант – это создание «умной таблицы». При использовании данного способа можно максимально точно и удобно настроить поиск дубликатов. К тому же, их удаление происходит моментально.

Программа для поиска дубликатов файлов чаще всего необходима пользователям, хранящим на диске большое количество музыки, фото и документов.

И, хотя удалять такие лишние копии можно вручную, специализированные приложения способны сэкономить немало времени.

Особенно, если файлы расположены в разных папках или в .

Искать такие дубликаты можно с помощью универсального программного обеспечения или же рассчитанного на конкретный тип данных.

В первом случае повышается скорость поиска, во втором – увеличивается вероятность обнаружить все копии.

Содержание:

Универсальные приложения

Универсальные приложения для поиска копий, в основном, работают по принципу сравнивания размеров файлов.

И, так как вероятность совпадения количества байтов у разных фото практически равна нулю, одинаковые значения считаются признаком дубликата.

Иногда алгоритм предусматривает проверку имён – тоже важный параметр для поиска, тем более что одинаковые данные в большинстве случаев совпадают и по названию.

Преимуществами программ являются возможность найти с их помощью файлы любого типа и сравнительно высокая скорость работы. Недостаток – меньшая точность обнаружения.

Так, например, ни одна из таких утилит не посчитает дубликатом одну и ту же , сохранённую с различным разрешением.

1. DupKiller

А среди её преимуществ можно отметить:

• простоту настройки;
• установку нескольких критериев поиска;
• возможность игнорировать некоторые файлы (с определённым размером или датой создания, а также системные или скрытые).

Важно: При обнаружении файлов с нулевым размером их не обязательно удалять. Иногда это может быть информация, созданная в другой операционной системе (например, Linux).

Рис. 4. Программа для оптимизации системы CCleaner может искать и дубликаты файлов.

5. AllDup

Среди преимуществ ещё одной программы, AllDup , можно отметить поддержку любой современной операционной системы Windows – от XP до 10-й.

При этом поиск ведётся и внутри скрытых папок, и даже в архивах.

Хотя сравнение информации по умолчанию происходит по названиям файлов, поэтому настройки желательно сразу же изменить.

Зато в процессе поиска каждый найдённый дубликат можно просмотреть, не закрывая приложение.

А при обнаружении копии её можно не только удалить, но и переименовать или перенести в другое место.

К дополнительным преимуществам приложения относится и полностью бесплатная работа в течение любого периода времени.

Кроме того, производитель выпускает ещё и портативную версию для того чтобы искать копии на тех компьютерах, на которых запрещена установка постороннего ПО (например, на рабочем ПК).

Рис. 5. Поиск файлов с помощью portable-версии AllDup.

6. DupeGuru

Ещё одним полезным приложением, проводящим поиск дубликатов с любым расширением, является DupeGuru .

Её единственный недостаток – отсутствие новых версий для Windows (при этом обновления для и MacOS появляются регулярно).

Впрочем, даже сравнительно устаревшая утилита для неплохо справляется со своими задачами и при работе в более новых ОС.

С её помощью легко обнаруживаются даже системные файлы, а меню интуитивно понятное и русскоязычное.

Рис. 6. Обнаружение копий с помощью утилиты DupeGuru.

Примечательно, что, кроме обычного универсального варианта, компания-производитель создала утилиту для поиска файлов определённого типа.

Существует отдельная версия для изображений и ещё одна для музыки.

И, при необходимости очистить свой компьютер не только от документов и системных файлов (которые, кстати, требуется удалять очень осторожно – иногда стоит даже оставить «лишнюю» копию, чем нарушить работоспособность системы), стоит скачать и эти приложения.

7. Duplicate Cleaner Free

Утилита для обнаружения копий любого файла Duplicate Cleaner Free отличается следующими особенностями:

• фильтрации данных по расширению;
• русским языком интерфейса;
• возможность бесплатного использования;
• высокой скоростью работы.

К её недостаткам относят небольшие ограничения при поиске изображений (для этого рекомендуется приобрести платную версию) и не совсем точный перевод отдельных элементов меню .

Тем не менее, благодаря своей эффективности и удобству использования, приложение пользуется определённой популярностью.

Рис. 7. Поиск дубликатов с помощью утилиты Duplicate Cleaner Free.

Поиск дубликатов аудио файлов

Если результаты поиска дубликатов не устраивают пользователя, можно рассмотреть вариант, предназначенный для определённых файлов. Например, для , скопившейся на диске.

Такая необходимость часто возникает при загрузке сразу нескольких альбомов и сборников одного и того же исполнителя – нередко в разных папках оказываются одинаковые треки.

Они могут иметь похожие размеры и отличаться, по большому счёту, только названиями. Специально для этого существуют утилиты для поиска похожих мелодий.

8. Music Duplicate Remover

Среди особенностей программы Music Duplicate Remover – сравнительно быстрый поиск и неплохая эффективность.

Фактически, это приложение как бы «прослушивает» композицию и проводит её сравнение с другими аудио файлами.

При этом, естественно, время её работы больше, чем у универсальных утилит.

Однако количество проверяемых программой данных, как правило, в десятки раз меньше, поэтому средняя продолжительность проверки редко превышает пару часов.

Рис. 8. Обнаружение копий музыки и аудио файлов по альбомам.

9. Audio Comparer

При этом анализ фото тоже длится дольше по сравнению с поиском файлов любого расширения, но результат оправдывает себя.

Изображения определяются даже в том случае, когда на диске находятся несколько дубликатов одной картинки, но с разным разрешением и, соответственно, размером.

Кроме того, для повышения эффективности проверяются файлы с любыми графическими расширениями – от до.png.

Рис. 11. Поиск картинок с помощью ещё одной версии DupeGuru.

12. ImageDupeless

При этом она распространяется бесплатно и имеет русский интерфейс. А производитель периодически выпускает к ней обновления, повышая эффективность поиска изображений.

Рис. 12. Стильный интерфейс приложения ImageDupeless.

13. Image Comparer

Преимуществами приложения Image Comparer , кроме простого интерфейса, можно назвать наличие пошагового мастера, позволяющего научиться быстрому и результативному поиску изображений.

Эта особенность отличает утилиту от большинства остальных, для работы с которыми придётся читать файлы справки, не всегда правильно переведённые (а иногда и вообще предоставляемые только на английском).

Фактически, приложение является ещё одной версией Audio Comparer, и тоже распространяется по «условно бесплатной» лицензии – то есть за определённые функции пользователю придётся заплатить.

Рис. 13. Приложение Image Comparer – неплохой способ найти дубликаты картинок.

После долгого, постоянного пользования компьютером, на его дисках, как ни крути, накапливаются большие объёмы данных, т. е. всякие фотографии, видео, фильмы, музыка, документы и прочее. Когда данные занимают много места - это нормально, к примеру, у меня самого нужных данных более чем на 600 Гб, а в кого-то ещё больше. Но очень часто слишком много места занимают дубликаты файлов.

Такие файлы могут появляться, когда вы, к примеру, переносите их откуда-то в новое место на диске, забывая, что у вас уже такие файлы на этом диске имеются. И ладно если навалом дубликатов всяких документов, но когда много дубликатов фоток, музыки и особенно видео, то это, как правило, отнимет у вас прилично места на диске. Недавно проверял и обнаружил, что дубликаты съедают у меня порядка 100 Гб. на жёстком диске, что, на мой взгляд, весьма много:)

В данной статье я покажу вам простой способ найти все дубликаты файлов в Windows на ваших дисках, чтобы вы могли легко проверить их и быстренько удалить всё ненужное.

В Windows, к сожалению, нет нормальных встроенных средств для поиска дубликатов файлов. Есть вариант сделать это через командную строку PowerShell, но это очень неудобно, тем более для новичков будет сложновато. Поэтому проще воспользоваться сторонними программами. Одна из таких называется AllDup. Она полностью бесплатная, доступна на русском языке, поддерживается всеми операционными системами Windows и, наконец, довольно проста в использовании.

Загрузка и установка программы AllDup

Программу можно загрузить бесплатно с официального сайта AllDup. Ниже ссылка на раздел загрузки:

Программа доступна в двух вариантах: обычном установочном и портативном (Portable). Портативный отличается тем, что не требует установки на компьютер, т. е. программу можно будет запускать прямо из скачанной папки.

Для скачивания нажмите кнопку «Server #1», либо «Server #2» или «Server #3» (если по первой кнопке скачивания не происходит, даны запасные серверы) под нужной версией программы.

Прямые ссылки на скачивание последней на сегодняшний день версии (март 2017) AllDup: стандартная версия , портативная версия . За свежими версиями всегда обращайтесь к официальному сайту AllDup!

Установка программы очень проста, можно сказать, состоит из последовательных нажатий «Далее», никаких специальных настроек производить не нужно. Поэтому данный процесс я рассматривать не буду.

Подробнее о нюансах установки программ для Windows рассказано

Поиск дубликатов при помощи AllDup

После того как установите программу, запустите её. Откроется главное окно для настроек поиска:

Настройка поиска включает в себя несколько этапов:

Это все основные этапы настройки поиска, остальные можно не задействовать.

Теперь, для запуска поиска дубликатов, нажмите кнопку «Поиск» вверху окна AllDup:

Начнётся процесс поиска.

Чем больше файлов в указанных вами папках находится на ваших дисках, тем дольше будет идти поиск.

После того как поиск будет завершён, программа в виде таблицы отобразит найденные файлы с дубликатами.

Первое, что лучше сделать сразу - сохранить результаты поиска, потому что если вы сейчас закроете это окно с результатами, то потом поиск придётся выполнять заново. Для сохранения нажмите кнопку с изображением дискеты, либо выберите в верхнем меню «Результат поиска» и нажмите «Сохранить результат поиска».

Теперь, даже если вы выключите компьютер, запустив потом программу снова, вы сможете вновь добраться до результатов поиска.

Результаты поиска вы можете отсортировать по разным параметрам, кликая по заголовкам столбцом в таблице. Наиболее полезный, на мой взгляд, критерий для сортировки - размер файлов. Поэтому, если хотите чтобы вверху таблицы отображались самые большие найденные файлы, то кликните по столбцу «Размер (Байт)».

Следующее, что лучше настроить для удобства просмотра результатов - отображаемый размер. Изначально размер файлов программа показывает в байтах, что не очень удобно. Лучше выставить отображение в мегабайтах или даже гигабайтах. Для этого нажмите кнопку, отмеченную на скриншоте ниже (1), после чего отметьте один из вариантов (2):

Теперь остановлюсь на том, как, собственно, пользоваться результатами поиска, как посмотреть и удалить ненужные дубликаты…

Найденные дубликаты программа делит на так называемые группы. Одна группа - это все найденные копии одного и того же файла, включая оригинал (он тоже будет отображаться в этой группе).

Чтобы посмотреть дубликаты одной из групп, нужно её открыть, кликнув по стрелочке. Пример:

Раскрыв определённую группу, вы можете проверить, что это за файл, открыв его. Для этого просто дважды кликните по файлу в группе либо нажмите ПКМ и выберите «Открыть файл». Файл будет открыт через стандартную программу Windows, через которую у вас обычно открываются все файлы выбранного типа.

Чтобы удалить дубликаты, отметьте их галочкой, щёлкните ПКМ и выберите один из вариантов: удаление файла в корзину Windows либо безвозвратное удаление.

Соответственно, не удаляйте все файлы из группы, потому что так вы удалите и дубликаты и оригинал сразу! Например, если в группе 3 файла, то удалив сразу 3, вы удалите и оригинал и 2 дубликата. В этом случае, чтобы сохранить только единственную копию файла, вам нужно удалить 2 файла из группы.

Таким образом, вы можете проверять отдельно каждую группу и удалять дубликаты. Но если информации найдено очень много, можно сделать проще. Сделать так, чтобы программа автоматически выбрала в каждой группе все файлы, кроме одного (т. е. только дубликаты), после чего вы можете разом избавиться от всех дубликатов или перед этим пробежаться и перепроверить, точно ли всё отмеченное подлежит удалению.

Чтобы автоматически отметить дубликаты, зайдите в меню «Выбор» (1) и отметьте включите там один из вариантов (2), например, «Выбрать все файлы, за исключением первого файла».

В результате программа в каждой группе выделит 2 дубликата, а первый в списке файл оставит не выбранным. То есть, таким образом, вы отметите 2 дубликата, а оригинал останется не отмеченным. Или же можете через меню «Выбор» попробовать другие опции, удобные вам.

После того как программа отметила файлы, вы можете перепроверить выбор, если требуется. А чтобы быстро всё ненужное удалить или выполнить какое-то другое действие, нажмите кнопку, отмеченную на скриншоте ниже:

В открывшемся окне вы увидите общий объём выбранных файлов, т. е. сколько места занимают найденные дубликаты и количество выбранных файлов. Внизу вам нужно выбрать действие над выбранными файлами. Вы можете удалить файлы через корзину, удалить безвозвратно (пункт «Удаление файлов»), скопировать или переместить файлы в какую-либо папку, а также переименовать найденные дубликаты. Если вы уверены в том, что отмеченные файлы являются дубликатами и больше вам не нужны, то проще их удалить, но в любом случае выбор за вами.

Итак, выберите нужное действие (1) и нажмите «ОК» (2). Больше здесь можно ничего не настраивать.

После этого программа произведёт выбранное вами действие над отмеченными ранее файлами!

Вот и весь процесс:) Чтобы выйти из результатов поиска просто закройте это окно. Если вы сохранили результаты поиска, то затем, если вам снова потребуется этот результат, вы можете добраться до него через раздел «Результат поиска» (1) в главном окне программы. Сохранённые вами результаты будут отображены в таблице (2). Чтобы открыть нужный результат просто кликните по нему дважды.

Заключение

AllDup – очень удобная программа для поиска дубликатов ваших файлов на компьютере. В программе нет, по сути, ничего лишнего, в ней есть все нужные инструменты, фильтры и параметры для быстрой обработки большого объёма найденных дубликатов. Конечно, есть и аналогичные программы, которые наверняка тоже хорошо справляются со своей задачей. Я пробовал пока что только AllDup и менять её пока не вижу никакого смысла.

Доброго времени суток.

Статистика вещь неумолимая - у многих пользователей на жестких дисках лежат, порой, десятки копий одного и того же файла (например, картинки, или музыкального трека). Каждая из таких копий, разумеется, отнимает место на винчестере. А если диск ваш уже «забит» под завязку - то таких копий может быть достаточно много!

Чистить дубликаты файлов вручную - вещь не благодарная, именно поэтому, я хочу собрать в этой статье программы для поиска и удаления дубликатов файлов (причем, даже тех, которые отличаются и по формату файла, и по размеру друг от друга - а это довольно сложная задача!). Итак…

Список программ для поиска дубликатов

1. Универсальные (для любых файлов)

Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).

Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике - показывают вам!

Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).

DupKiller

Эту программу я поставил на первое место по ряду причин:

• поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
• высокая скорость работы;
• бесплатная и с поддержкой русского языка;
• очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).

Duplicate Finder

Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).

Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).

Glary Utilites

Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных - что называется на все случаи жизни!) еще раз на страницах сайта.

2. Программы поиска дубликатов музыки

Данные утилиты пригодятся всем меломанам, у которых на диске скопилась порядочная коллекция музыки. Рисую довольно типичную ситуацию: скачиваете различные сборники музыки (100 лучших песен октября, ноября и пр.), часть композиций в них повторяется. Не удивительно, что, накопив музыки на 100 ГБ (к примеру), 10-20ГБ - могут быть копиями. Причем, если бы размер этих файлов в разных сборниках был одинаковый - то их бы можно было бы удалить первой категорией программ (см. выше в статье), но так как это не так - то эти дубли не находятся ничем, кроме вашего «слуха» и специальных утилит (которые представлены ниже).

M usic Duplicate Remover

Результат работы утилиты.

Эта программа отличается от остальных, прежде всего, свои быстрым поиском. Она ищет повторные треки по их ID3 тегам и по звуку. Т.е. она как бы за вас прослушает композицию, запомнит ее, а затем сравнит ее с другими (таким образом, проделывает огромный объем работы!).

На скриншоте выше представлен ее результат работы. Свои найденные копии она представит перед вами в виде небольшой таблички, в которой к каждому треку будет приписана цифра в процентах схожести. В общем, достаточно удобно!

A

Найденные повторные MP3 файлы…

Эта утилита схожа с вышеприведенной, но у нее есть один несомненный плюс: наличие удобнейшего мастера, который будет Вас вести по шагам! Т.е. человек, впервые запустивший эту программу, легко разберется куда нажимать и что делать.

Например, в своих 5000 треках за пару часов, мне удалось найти и удалить несколько сотен копий. Пример работы утилиты представлен на скрине выше.

3. Для поиска копий картинок, изображений

Если анализировать популярность тех или иных файлов, то картинки, пожалуй, не отстанут от музыки (а для некоторых пользователей и перегонят!). Без картинок вообще сложно представить работу за ПК (и другими устройствами)! Но поиск картинок с одинаковым изображением на них - дело довольно трудное (и долгое). И, должен признаться, программ этого рода сравнительно не много…

ImageDupeless

Сравнительно небольшая утилита с довольно неплохими показателями поиска и устранения дублей картинок. Программа сканирует все изображения в папке, а затем сравнивает их между собой. В результате вы увидите список картинок, которые похожи друг на друга и сможете сделать вывод о том, какую из них оставить, а какую удалить. Очень полезно, иногда, прореживать свои архивы фото.

Пример работы ImageDupeless

Кстати, вот небольшой пример личного испытания:

• подопытные файлы: 8997 файлов в 95 каталогах, 785Мб (архив картинок на флешке (USB 2.0) - gif и jpg форматы)
• галерея заняла: 71.4Мб
• время создания: 26 мин. 54 сек.
• время сравнения и вывода результатов: 6 мин. 31 сек.
• результат: 961 похожее изображение в 219 группах.

Image Comparer

Об этой программе я уже упоминал на страницах сайта. Представляет собой так же небольшую программу, но с довольно хорошими алгоритмами сканирования картинок. Есть пошаговый мастер, запускающийся при первом открытии утилиты, который проведет через все «тернии» первой настройки программы для поиска дублей.

Кстати, чуть ниже приведен скриншот работы утилиты: в отчетах вы можете просмотреть даже мелкие детали, где картинки несколько различаются. В общем-то, удобно!

4. Для поиска дублей фильмов, видео-роликов

Ну и последний популярный тип файлов, на котором хотелось бы остановиться - это видео (фильмы, ролики и пр.). Если когда-то раньше, обладая 30-50 ГБ диском, знал в какой папке где и какой фильм сколько отнимает (и они все были наперечет), то, например, сейчас (когда диски стали 2000-3000 и более ГБ) - часто встречаются одни и те же ролики и фильмы, но в разном качестве (что может отнять достаточно много места на жестком диске).

Большинству пользователей (да, в общем-то и мне 🙂), такое положение дел не нужно: просто отнимает место на винчестере. Благодаря парочке утилит ниже, вы сможете очистить диск от одинаковых видео…