Убрать повторы онлайн. Поиск и удаление одинаковых файлов
Какими бы ни были объемными современные жесткие диски, растягиваться, увы, они пока еще не умеют.
Для любителей беспорядочно скачивать к себе на компьютер разнообразный контент это означает, что рано или поздно Windows выдаст сообщение о невозможности скопировать или сохранить тот или иной файл по причине нехватки свободного места.
Программа для поиска дубликатов файлов
В таком случае волей неволей приходится делать выбор: покупать внешний жесткий диск, перемещать файлы и DVD-диски или попросту удалять часть контента, чтобы освободить место для новых данных. Однако спешить не стоит.Одной из самых распространенных причин нехватки места на винчестере является дублирование файлов.
Бывает такое, что пользователь, забыв, что файл уже был скачан, загружает его повторно, возможно под другим именем и с другими метаданными.
Поэтому так важно перед освобождением диска от “балласта” произвести поиск на предмет наличия дубликатов файлов.
Программа Duplicate Cleaner
Сделать это можно с помощью программы Duplicate Cleaner специально предназначенной для поиска дубликатов файлов разных типов. Благодаря этому мощному и эффективному инструменту вы в считанные минуты сможете избавиться от дубликатов видео, аудио, тестовых , фотографий и прочих типов файлов. От аналогичных программ Duplicate Cleaner отличается высокой скоростью и точностью работы.
Кроме того программой поддерживается множество разнообразных фильтров, позволяющих выполнять поиск по заданным параметрам – имени, расширению, метаданным и т.п. Также стоит отметить возможность поиска на сетевых дисках и внутри архивов Zip, предпросмотр дубликатов (только изображений), сохранение произведенных операций в лог, экспорт результатов работы в формат CSV.
Anti-Twin
Duplicate Cleaner не единственная программа способная отыскать и удалить повторяющиеся файлы. Anti-Twin бесплатная, быстрая утилита ищет дубликаты ничуть не хуже.
Для начала поиска достаточно указать анализируемый раздел или директорию и нажать кнопку старта – Anti-Twin выведет список дубликатов с указанием полного пути, количества объектов, даты и размера.
Утилитой поддерживается поиск по заданным критериям, уровню соответствия (в процентах), предпросмотр изображений, быстрый переход к найденному и много других дополнительных функций.
Из особенностей данной утилиты можно отметить возможность сравнения двух директорий. Anti-Twin может использоваться как портативное приложение. К сожалению, в Anti-Twin нет русского языка, так что настройка некоторых опций может вызывать у пользователя не знакомого с английским определенные сложности.
SMF – Search my Files
Достаточно мощная и функциональная программа для поиска дубликатов. Отличительная черта этого приложения – огромное количество всевозможных фильтров и настроек. SMF – Search my Files поддерживается поиск по размеру, расширению, метаданным и множеству других критериев. Благодаря этому приложению можно извлечь и проанализировать альтернативные потоки ADS из любого типа файла.
Найденные дубликаты можно удалить (в том числе без возможности восстановления), переместить, скопировать, изменить его атрибуты (скрытый, только для чтения, архивный и т.д.). Также поддерживается экспорт в тестовый формат, просмотр и редактирование данных во встроенном шестнадцатеричном редакторе, поиск по командной строке. В установке SMF – Search my Files не нуждается и может запускаться с любого носителя.
Итог
Какая из этих трех программ для поиска дубликатов является лучшей? Сложно сказать. Все зависит от того, какие цели вы преследуете и каким уровнем подготовки обладаете.
Anti-Twin и SMF – Search my Files хороши, но по причине множества специфических функций больше подходят для использования опытными пользователями и системными администраторами.
" пришла новая - "как во всем этом разобраться?" Объемы современных жестких дисков достигли того, что на них вполне может случайно затеряться с десяток DVD-образов, не говоря уже о сотнях фотографий. Вы можете не замечать ненужных и повторяющихся файлов вплоть до того момента, когда место вдруг неожиданно закончится. Но перед тем, как покупать новый жесткий диск, имеет смысл почистить старый на предмет дубликатов. Возможно, после генеральной уборки проблема свободного места уже не будет стоять так остро. Искать повторяющиеся файлы вручную – это долго и неудобно. Гораздо проще воспользоваться одной из специальных утилит, которые выполняют большую часть работы за вас. Если вы готовы к ревизии жесткого диска, осталось только подобрать подходящий инструмент.
Разработчик: Ashisoft SoftwareРазмер дистрибутива: 1,9 Мб
Распространение: shareware
Интерфейс: английский Duplicate Finder может выполнять две основные задачи: искать файлы по заданным критериям и сортировать их. К возможностям поиска относится побайтовое сравнение, проверка контрольной суммы, поиск файлов с одинаковыми названиями и с нулевым размером. Дополнительно можно установить защиту на системные папки, исключить из области поиска скрытые папки и файлы, а также включить режим Fuzzy Logic. В этом режиме файлы с незначительными отличиями будут показываться как идентичные. В область поиска можно включить сразу несколько папок, причем, для каждой задать свои параметры исключения. Так, в рамках каждой папки можно ограничивать поиск файлами определенного типа, размера; также есть ограничение по дате. Типы разрешенных файлов не придется вписывать вручную – тут есть достаточно много профилей для разновидностей файлов, например, текстовых, видео, аудио и т.д. Каждый профиль легко редактируется. Отдельно задаются папки, в которых не стоит выполнять поиск. Эта функция полезна, если областью поиска являются не отдельные папки, а целый жесткий диск. В этом случае удобно указать те папки, которые нужно пропускать. То же самое касается типов файлов – вы можете указать, файлы с каким расширением нужно пропускать.
Найденные дубликаты выводятся не по ходу сканирования, а после того, как поиск будет завершен. В то время, когда Duplicate Finder работает, вы можете наблюдать в строке состояния за ходом выполнения задания и за тем, сколько файлов было проверено. Результаты поиска будут представлены в виде списка. Различить, какие файлы являются дубликатами, можно по цвету: каждая вторая пара одинаковых файлов будет выделена голубым. Честно говоря, очень наглядным назвать такое выделение нельзя - было бы гораздо удобнее, если бы использовался другой цвет, но возможности его изменить мы в программе так и не обнаружили.
В списке найденных файлов показывается исчерпывающая информация о каждом из них: путь на диске, расширение, размер, дата последнего изменения. При помощи команд контекстного меню или кнопок на панели инструментов можно быстро переместить файл в другую папку, удалить его или скопировать. Кроме этого, можно просмотреть свойства файла, открыть в «Проводнике» папку, в которой он находится, или открыть сам файл. Стоит отметить достаточно широкие возможности выделения файлов в списке. Например, есть команда для быстрого выделения всех найденных дубликатов, для выделения всех файлов, которые относятся к указанным папкам, а также по размеру и по дате создания.
Предпросмотр некоторых графических файлов можно выполнить прямо в Duplicate Finder, правда, список поддерживаемых форматов не очень велик. Например, файлы.jpg и.bmp открылись во встроенном просмотрщике без проблем, а вот.tiff посмотреть не удалось. Для коммерческой программы, предназначенной для поиска дубликатов, стандартная схема "триал-версия на 30 дней" не подходит, поскольку за это время вполне можно успеть выполнить поиск ненужных файлов на всех жестких дисках, и приложение окажется просто ненужным. Поэтому разработчики Duplicate Finder применили другой подход: в оценочном режиме при помощи программы можно переместить, скопировать или удалить до 50 файлов, общий размер которых не может превышать 2 Мб. Впрочем, ничто не мешает вам удалять дубликаты, найденные при помощи Duplicate Finder, из файлового менеджера, но это не очень удобно. Хотя, если вы выберете этот, в общем-то, не очень честный способ, то имейте в виду, что в меню Action есть удобная команда Copy File Path To Clipboard, которая дублируется сочетанием клавиш CTRL+W. При выполнении этой команды в буфер обмена копируется путь к выделенному файлу. Остается только вставить его в командную строку файлового менеджера, и вы быстро окажетесь в нужной папке.
Разработчик: Александр РословРазмер дистрибутива: 3,9 Мб
Распространение: бесплатно
Интерфейс: русский Бесплатная программа DupKiller вполне может дать фору многим коммерческим аналогам. Утилита имеет достаточно удобный и, к тому же, русский интерфейс и может похвастаться гибкими настройками поиска дубликатов. Кроме стандартных возможностей сравнения файлов по названию, размеру, дате создания и типу тут можно найти интересную возможность сравнения по содержимому. При этом, пользователь может определить, откуда нужно начинать сравнивать файлы – с начала или с конца, а также указать, при каком проценте "похожести" их можно считать одинаковыми. Также стоит обратить внимание на возможность поиска файлов с похожими названиями. Выбрав эту функцию, можно определить, насколько файлы должны отличаться по названию, чтобы программа восприняла их как дубликаты.
Исключения тоже гибко настраиваются: можно указать минимальный и максимальный размер файлов для поиска, указать допустимые атрибуты для файлов и папок, а также расширения файлов и папки, которые должны быть исключены из поиска. DupKiller может искать дубликаты не только на жестких дисках, но и на виртуальных, RAM- и CD/DVD-дисках. Очень удобно, что для каждого носителя выводится его общий размер, а также количество свободного места в гигабайтах и процентах. После удаления ненужных файлов вы сможете сравнить результаты и оценить, насколько программа оказалась полезной. С ее помощью вы также можете определить, какие файлы уже были скопированы на DVD, и потому могут быть безболезненно удалены с винчестера. Во время сканирования программа ведет подробный лог операций и сообщает, какое действие выполняет в данный момент. После завершения операции выводится окно с сообщением о том, сколько времени было потрачено на поиск, сколько найдено повторяющихся файлов, и какой размер они занимают на жестком диске.
Список найденных дубликатов достаточно нагляден: файлы разбиваются на группы, которые визуально отделены друг от друга. Щелчок по файлу открывает окошко предварительного просмотра. Просмотр доступен для многих графических файлов, а также для всех текстовых. А подключив плагин, который входит в поставку DupKiller, но по умолчанию выключен, можно, не покидая программу, выполнять прослушивание аудиофайлов.
Возможности работы со списком дубликатов тоже на высоте: есть кнопки для быстрого удаления выделенных и помеченных файлов, автоматическое выделение файлов по ряду признаков. Параметры удаления настраиваются отдельно – можно переносить файлы в «Корзину» или удалять их безвозвратно.
Разработчик: Reasonable SoftwareРазмер дистрибутива: 1,8 Мб
Распространение: shareware
Интерфейс: английский NoClone – это, пожалуй, самая известная программа для поиска дубликатов, и ее популярность вполне объяснима. Ее не очень симпатичный внешний вид с лихвой компенсируется большим числом функций. Программа может выполнять побайтовое сравнение файлов, находить одинаковые файлы MP3 по ID3-тегам, а также производить поиск в почте на предмет одинаковых писем. При помощи NoClone можно находить не только повторяющиеся файлы, но и делать выборку по определенному критерию, например, выводить список всех файлов, размер которых превышает 500 Мб, или всех файлов, которые были изменены в течение указанного промежутка времени.
Если вы регулярно делаете резервное копирование, а также выполняете синхронизацию данных между двумя компьютерами, у вас неизменно скапливается большое число версий одних и тех же файлов. Благодаря функции поиска похожих файлов (Similar Files), NoClone позволяет найти и удалить их. В настройках программы можно определить, на сколько процентов файлы должны быть похожи, чтобы NoClone показала их в списке дубликатов. Список с найденными дубликатами достаточно нагляден: в нем можно увидеть название, размер, расположение и дату файла. Очень продуманна функция предварительного просмотра изображений – если в других программах картинки показываются в небольшом всплывающем окошке, которое появляется при выборе графического файла в списке, тут есть специальная панель предпросмотра. На ней можно отобразить несколько файлов одновременно.
Разобраться со списком дубликатов поможет инструмент Smart Marker. C его помощью можно выделить найденные файлы по таким критериям, как размер, дата, название, количество символов в имени, расположение. Кроме этого, есть специальные флажки "оставлять как минимум один невыделенный файл в группе" и "выделить файлы в каждой группе".
Еще одна особенность NoClone обнаруживается, когда дело доходит до удаления файлов. Кроме стандартных способов удаления – помещения дубликатов в корзину и полного удаления – в программе есть еще один интересный вариант: замена файла NTFS-ссылкой. Иными словами, программа оставляет на жестком диске только один файл, а вместо всех копий создает ссылки, которые ведут на него. Это может быть очень полезно, когда найденные при помощи NoClone дубликаты используются другими приложениями, например, если речь идет о библиотеке виртуальных дисков в программе Alcohol. Если вы удалите файл, то при запуске таких приложений можете получать сообщения об ошибках. Если же будет создана NTFS-ссылка, программа будет "видеть" файл по старому адресу, а фактически его там не будет.
Разработчик: Marcus Kleinehagenbrock
Размер дистрибутива: 650 Кб
Распространение: бесплатно
Интерфейс: английский
CloneSpy – это компактная бесплатная утилита для поиска дубликатов файлов со множеством интересных решений, к которым вполне могут присмотреться создатели многих коммерческих программ.
Во-первых, тут очень удобное окно для добавления папок в область поиска. В большинстве программ для добавления каждой новой директории приходится по новой вызывать окно со списком папок и проделывать путешествие к нужному элементу, начиная с "Моего компьютера".
В CloneSpy все гораздо удобнее: есть специальное окошко для добавления папок, которое разделено на две части: в левой вы выбираете нужную директорию, затем нажимаете кнопку Add Selected Folder, и директория добавляется в список папок, которые будут сканироваться. Повторять эти действия можно сколько угодно раз, не закрывая окна добавления папки. А список выбранных папок можно сохранять для дальнейшего использования и, при необходимости, подгружать в программу.
Следующая особенность – вывод результатов поиска по мере обнаружения дубликатов. В других программах, чтобы увидеть повторяющиеся файлы, как правило, приходится ждать конца сканирования, которое, в зависимости от того, насколько широка область поиска, может затянуться и на всю ночь. Тут же результаты можно просмотреть мгновенно – по мере поиска программа открывает отдельные окна для каждой группы повторяющихся файлов. В таком окне сразу же можно запустить файл, открыть папку, в которой он находится в «Проводнике», отметить файлы вручную или, по ряду критериев (дата, количество символов в названии, длина пути к файлу), удалить или пропустить и перейти к следующей группе дубликатов.
Работу с программой несколько омрачает отсутствие возможности предварительного просмотра изображений – каждый раз запускать программу для просмотра графики очень неудобно. Если вы выполняете сканирование большой области, то вывод результатов в отдельном окне для каждой группы файлов вряд ли будет удобен. Поэтому в этом случае перед началом сканирования стоит заглянуть на вкладку Report настроек программы и изменить параметры вывода результатов. Правда, выбрав вариант отображения результатов в виде единого списка, вы не сможете работать с дубликатами до завершения сканирования.
Одним из самых быстрых способов забить жесткий диск — хранение дубликатов файлов. Наверняка многие даже не подозревают об их существовании… они могут иметь разное происхождение: случайные копии, множество одинаковых загрузок и так далее. Одно можно сказать точно — они действительно могут создавать вам некоторые проблемы.
Множество дубликатов создаются из-за необходимости держать файл в «безопасности»… например перед редактирование документа я мог сделать копию на всякий случай, а потом забыть… или у меня уже есть такой документ, а я его еще раз скачал из почты. К сожалению таких дублей может быть очень много и получается что вы забиваете свободное место бесполезной информацией.
С помощью этих инструментов вы можете вычислить и удалить дубликаты файлов за считанные минуты и освободить много ценного места на жестком диске. Я буду рассматривать только бесплатные утилиты, поэтому вы ничего не теряете!
Поиск дубликатов файлов. Обзор лучших инструментов
Эта утилита наверное мой фаворит в инструментах для поиска и удаления дубликатов, потому что имеет массу замечательных возможностей: Она является кросс платформенной, полностью бесплатная, а так же имеет продвинутый алгоритм меток и отбора.
Что такое не явные дубли? Несколько одинаковых файла могут иметь разное имя. Например у вас на компьютере может быть два файла: пример-файла.avi и пример файла(1).avi — утилитка это прекрасно понимает и тоже может пометить их как дубликат.
Кстати утилита имеет и другие издания: Music Edition и Picture Edition, оптимизированные для поиска дублей графических и аудио файлах — даже если они записаны в разных форматах. Это очень важно, ведь именно аудио и графические файлы наиболее часто становятся дублями.
Duplicate Files Finder представляет собой приложение, которое осуществляет поиск дублированных файлов (которые имеют одинаковое содержание, но не обязательно с таким же именем) и позволяет удалить пользователю ненужные файлы.
Duplicate Files Finder может находить только точные дубликаты. Принцип ее работы — перебор всех файлов на компьютере по размеру и сравнение их по содержанию. С одной стороны это логично, но это совсем печально для видео и графики (ведь они в зависимости от алгоритма сжатия могут иметь разный размер) , но для всего остального программа просто отличная.
Благодаря такому алгоритму сравнения Duplicate Files Finder работает гораздо быстрее своих конкурентов.
AllDup является мощным инструментов для поиска дубликатов созданный одним человеком, Michael Thummerer. Утилита имеет ряд настроек для поиска дублей из: имени файла, расширения и типа данных, даты создания и изменения и еще много разных параметров.
AllDup имеет много полезных функций и большую гибкость в условиях поиска дубликатов, однако за функционал нужно заплатить. Интерфейс тут совсем не дружелюбный и это может загнать неуверенного пользователя в тупик. Однако если вы сможете разобраться в программе, то это приложение будет хорошим инструментом для поиска повторяющихся файлов.
Duplicate Cleaner требует тонкой ручной настройки, прежде чем вы сможете использовать функционал данной программы на все сто процентов.
При ручной настройке вы можете выбрать в какой папке нужно найти дубли, а не сканировать весь компьютер как предлагают нам некоторые другие программы. В итоге вы можете эти дубли удалить, переместить их все в отдельную папку или вместо них создать ярлыки на единственный нужный файл. В целом впечатления положительные — так что рекомендую.
Если вы пользователь Windows, и хотите избавиться от бесконечных копий изображений, то SimilarImages будет вам как никогда кстати. Изображения на мой взгляд самый частый источник дублированного контента на компьютере. Я например знаю что у меня есть куча дублирующихся фотографий в разных папках… а учитывая их количество разбираться с ними вручную у меня нет никакого желания.
Программа имеет гибкие настройки и может обнаруживать неточные дубликаты — это особенно актуально из-за присутствия артефактов появившимся в процессе сжатия изображения.
Самое замечательное в SimilarImages — она показывает вам два изображения когда находит дубли, и вы можете сделать вывод — оставить их или удалить дубль.
Заключение
Все как в реальной жизни, когда ненужное барахло создает ужасный беспорядок в вашем доме, так и дубликаты файлов могут накапливаться на вашем жестком диске. Такие файлы очень трудно удалить, потому что вы о нем забыли, а обычные программы для очистки системы не найдут их — так как они обосновалить на винчестере на вполне законных основаниях.
Используйте программы которые я вам перечислил для поиска дубликатов файлов чтобы освободить место на вашем жестком диске. Если вы знаете о других утилитах — поделитесь с нами в комментариях.
Вконтакте
Наверняка у любого из нас на диске со временем скапливаются файлы-дубликаты. Файлы в «Загрузках», которые вы скачали несколько раз, одинаковые фотографии и музыкальные композиции, лежащие в таких недрах, что до них просто не доходят руки. Избавиться от всего этого можно и вручную, но куда быстрее за вас сработают специальные утилиты, ищущие одинаковые файлы.
Очень популярный «чистильщик», который, наверное, установлен у каждого. Да, он не только искать системный мусор и очищать историю и cookies браузеров, но и убирать дубликаты файлов.
Платформы: Windows, Mac.
Цена: бесплатно, 24,95 доллара за расширенную версию.
Программа ищет файлы как с одинаковыми или похожими названиями, так и с идентичным содержимым. Хорошо работает с музыкой и может отыскивать одинаковые музыкальные файлы, даже если у них разные теги. Кроме того, dupeGuru умеет сравнивать изображения, чтобы найти не только одинаковые, но и просто похожие фотографии.
Разрабатывается для Mac и Linux. Версия для Windows больше не поддерживается разработчиком, но её можно загрузить с официального сайта - она полностью работоспособна.
Платформы: Windows, Mac, Linux.
Продвинутое приложение для поиска файлов, которое, помимо прочего, может удалять дубликаты. SearchMyFiles обладает гибкими фильтрами, так что вы можете настроить поисковую выдачу так, как вам угодно.
Платформы: Windows.
Популярное приложение для Mac, которое ищет одинаковые или похожие файлы и показывает, в чём разница между ними. Копии в «Фото», в фонотеке iTunes - мимо Gemini 2 не пройдёт ничего. Разработчиками заявлен умный механизм поиска дубликатов, который запоминает, какие файлы вы оставляете, а что решаете удалить.
Платформы: Mac.
Хотя AllDup бесплатна, она умеет немало. Ищет, удаляет, копирует и перемещает дубликаты файлов, в том числе одинаковые аудиозаписи с разными тегами. Присутствует гибкая настройка поиска. С помощью встроенного просмотрщика можно изучить файлы и выбрать, что именно удалять.
Платформы: Windows.
Duplicate File Finder быстро и эффективно отыскивает файлы-копии. Предоставляет интересную возможность поиска дубликатов не только на жёстком диске, но и в локальной сети. Может работать с изображениями и музыкой, сравнивая как теги, так и содержимое. Функция предпросмотра поможет разобраться, что действительно удалить, а что оставить. К сожалению, в бесплатной версии довольно много опций недоступно.
Платформы: Windows.
Цена: бесплатно, 29,95 доллара за расширенную версию.
Универсальный файловый менеджер, который может сделать с вашими файлами что угодно. В том числе и найти файлы-дубликаты. Включить опцию поиска копий можно на вкладке с параметрами поиска, там же, где указываются другие атрибуты искомых файлов.
Платформы: Windows.
DupeGuru выглядит наиболее привлекательным вариантом. Он бесплатен, при этом предлагает все необходимые функции для избавления вашего диска от скопившегося барахла. Огорчает лишь тот факт, что разработка версии для Windows остановлена. Пользователям Windows, не желающим платить за коммерческие альтернативы, больше подойдёт AllDup. А CCleaner и Total Commander - это более универсальные и распространённые решения, которые, наверное, уже установлены у каждого.
Здравствуйте дорогие читатели. Сегодня мы с вами поговорим о дубликатах файлов, а также о методах борьбы с ними.
Исходя из самого названия вы, наверное, уже догадались, что это за файлы. Такие вот повторяющиеся файлы очень загрязняют жесткий диск, поэтому от них нужно периодически избавляться.
Дубликаты появляются на компьютере произвольно и из-за невнимательности пользователей. Хотя все мы люди и нам свойственно накапливать всякую всячину. Какой бы большой объем памяти не имел ваш жесткий диск – после удалению дубликатов он станет намного свободнее, нежели был до совершения этого процесса.
К большому сожалению, удаление дубликатов файлов невозможно произвести без посторонних программ. Разработчики Windows почему-то упустили этот момент, но люди нашли выход. В интернете есть масса бесплатных программ для избавления от дублирующих файлов. Ниже я приведу три лучшие из них, а также дам вам возможность их скачать.
CloneSpy
Очень простая и удобная утилита для очистки вашего компьютера от дубликатов файлов. После запуска CloneSpy производит поиск по контрольным суммам файлов, игнорируя при этом дату и время их создания, размер и т.д. Такой метод поиска дубликатов файлов позволяет сделать более точный и детальный поиск.
Но CloneSpy имеет также и минус, поскольку в результатах поиска, помимо копий может отобразить файлы с одинаковым именем.
Скачать бесплатно утилиту CloneSpy
Auslogics Duplicate File Finder
Более мощная программа поиска файлов-дублей. Делает детальный анализ жесткого диска на наличие одинаковых файлов, в конце которого вы получите список со всеми найденными дубликатами.
Я заметил, что Auslogics Duplicate File Finder хорошо специализируется на поиске мультимедийных файлов-дублей, а это гигабайты одинаковых музыкальных треков, фильмов, картинок и т.д.
Скачать бесплатно программу Auslogics Duplicate File Finder