Logiss.ru

Ваша компьютерная помощь
2 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Как удалить дубликаты онлайн

Поиск и удаление дубликатов в Excel: 5 методов

Большие таблицы Эксель могут содержать повторяющиеся данные, что зачастую увеличивает объем информации и может привести к ошибкам в результате обработки данных при помощи формул и прочих инструментов. Это особенно критично, например, при работе с денежными и прочими финансовыми данными.

В данной статье мы рассмотрим методы поиска и удаления дублирующихся данных (дубликатов), в частности, строк в Excel.

Метод 1: удаление дублирующихся строк вручную

Первый метод максимально прост и предполагает удаление дублированных строк при помощи специального инструмента на ленте вкладки “Данные”.

  1. Полностью выделяем все ячейки таблицы с данными, воспользовавшись, например, зажатой левой кнопкой мыши.

Удаление дубликатов в таблице Эксель

  • Если обрабатываемая таблица содержит шапку, то проверяем пункт “Мои данные содержат заголовки” – он должен быть отмечен галочкой.
  • Ниже, в основном окне, перечислены названия столбцов, по которым будет осуществляться поиск дубликатов. Система считает совпадением ситуацию, в которой в строках повторяются значения всех выбранных в настройке столбцов. Если убрать часть столбцов из сравнения, повышается вероятность увеличения количества похожих строк.
  • Тщательно все проверяем и нажимаем ОК.

Метод 2: удаление повторений при помощи “умной таблицы”

Еще один способ удаления повторяющихся строк – использование “умной таблицы“. Давайте рассмотрим алгоритм пошагово.

  1. Для начала, нам нужно выделить всю таблицу, как в первом шаге предыдущего раздела.Выделение таблицы в Excel
  2. Во вкладке “Главная” находим кнопку “Форматировать как таблицу” (раздел инструментов “Стили“). Кликаем на стрелку вниз справа от названия кнопки и выбираем понравившуюся цветовую схему таблицы.Создание умной таблицы в Excel
  3. После выбора стиля откроется окно настроек, в котором указывается диапазон для создания “умной таблицы“. Так как ячейки были выделены заранее, то следует просто убедиться, что в окошке указаны верные данные. Если это не так, то вносим исправления, проверяем, чтобы пункт “Таблица с заголовками” был отмечен галочкой и нажимаем ОК. На этом процесс создания “умной таблицы” завершен.Указание координат для создания умной таблицы в Эксель

Удаление дубликатов в умной таблице Excel

  • ставим курсор на произвольную ячейку таблицы;
  • переключаемся во вкладку “Конструктор” (если после создания “умной таблицы” переход не был осуществлен автоматически);
  • в разделе “Инструменты” жмем кнопку “Удалить дубликаты“.

Примечание: Из всех описываемых в данной статье методов этот является наиболее гибким и универсальным, позволяя комфортно работать с таблицами различной структуры и объема.

Метод 3: использование фильтра

Следующий метод не удаляет повторяющиеся строки физически, но позволяет настроить режим отображения таблицы таким образом, чтобы при просмотре они скрывались.

  1. Как обычно, выделяем все ячейки таблицы.
  2. Во вкладке “Данные” в разделе инструментов “Сортировка и фильтр” ищем кнопку “Фильтр” (иконка напоминает воронку) и кликаем на нее.Включение фильтра в таблице Эксель
  3. После этого в строке с названиями столбцов таблицы появятся значки перевернутых треугольников (это значит, что фильтр включен). Чтобы перейти к расширенным настройкам, жмем кнопку “Дополнительно“, расположенную справа от кнопки “Фильтр“.Переход в расширенные настройки фильтра в Excel
  4. В появившемся окне с расширенными настройками:
    • как и в предыдущем способе, проверяем адрес диапазон ячеек таблицы;
    • отмечаем галочкой пункт “Только уникальные записи“;
    • жмем ОК.Расширенный фильтр в Эксель
  5. После этого все задвоенные данные перестанут отображаться в таблицей. Чтобы вернуться в стандартный режим, достаточно снова нажать на кнопку “Фильтр” во вкладке “Данные”.Включение и выключение фильтра в таблице Эксель

Метод 4: условное форматирование

Условное форматирование – гибкий и мощный инструмент, используемый для решения широкого спектра задач в Excel. В этом примере мы будем использовать его для выбора задвоенных строк, после чего их можно удалить любым удобным способом.

  1. Выделяем все ячейки нашей таблицы.
  2. Во вкладке “Главная” кликаем по кнопке “Условное форматирование“, которая находится в разделе инструментов “Стили“.
  3. Откроется перечень, в котором выбираем группу “Правила выделения ячеек“, а внутри нее – пункт “Повторяющиеся значения“.Условное форматирование таблицы Excel
  4. Окно настроек форматирования оставляем без изменений. Единственный его параметр, который можно поменять в соответствии с собственными цветовыми предпочтениями – это используемая для заливки выделяемых строк цветовая схема. По готовности нажимаем кнопку ОК.Выделение повторяющихся значений в таблице Excel
  5. Теперь все повторяющиеся ячейки в таблице “подсвечены”, и с ними можно работать – редактировать содержимое или удалить строки целиком любым удобным способом.Поиск повторяющихся значений в таблице Эксель

Важно! Этом метод не настолько универсален, как описанные выше, так как выделяет все ячейки с одинаковыми значениями, а не только те, для которых совпадает вся строка целиком. Это видно на предыдущем скриншоте, когда нужные задвоения по названиям регионов были выделены, но вместе с ними отмечены и все ячейки с категориями регионов, потому что значения этих категорий повторяются.

Метод 5: формула для удаления повторяющихся строк

Последний метод достаточно сложен, и им мало, кто пользуется, так как здесь предполагается использование сложной формулы, объединяющей в себе несколько простых функций. И чтобы настроить формулу для собственной таблицы с данными, нужен определенный опыт и навыки работы в Эксель.

Формула, позволяющая искать пересечения в пределах конкретного столбца в общем виде выглядит так:

Давайте посмотрим, как с ней работать на примере нашей таблицы:

  1. Добавляем в конце таблицы новый столбец, специально предназначенный для отображения повторяющихся значений (дубликаты).Поиск и удаление дубликатов в таблице Эксель
  2. В верхнюю ячейку нового столбца (не считая шапки) вводим формулу, которая для данного конкретного примера будет иметь вид ниже, и жмем Enter:
    =ЕСЛИОШИБКА(ИНДЕКС(A2:A90;ПОИСКПОЗ(0;СЧЁТЕСЛИ(E1:$E$1;A2:A90)+ЕСЛИ(СЧЁТЕСЛИ(A2:A90;A2:A90)>1;0;1);0));»») .Формула для поиска и удаления дубликатов в таблице Эксель
  3. Выделяем до конца новый столбец для задвоенных данных, шапку при этом не трогаем. Далее действуем строго по инструкции:
    • ставим курсор в конец строки формул (нужно убедиться, что это, действительно, конец строки, так как в некоторых случаях длинная формула не помещается в пределах одной строки);
    • жмем служебную клавишу F2 на клавиатуре;
    • затем нажимаем сочетание клавиш Ctrl+SHIFT+Enter.
  4. Эти действия позволяют корректно заполнить формулой, содержащей ссылки на массивы, все ячейки столбца. Проверяем результат.Поиск и удаление дубликатов в таблице Эксель с помощью формулы

Как уже было сказано выше, этот метод сложен и функционально ограничен, так как не предполагает удаления найденных столбцов. Поэтому, при прочих равных условиях, рекомендуется использовать один из ранее описанных методов, более логически понятных и, зачастую, более эффективных.

Заключение

Excel предлагает несколько инструментов для нахождения и удаления строк или ячеек с одинаковыми данными. Каждый из описанных методов специфичен и имеет свои ограничения. К универсальным варианту мы, пожалуй, отнесем использование “умной таблицы” и функции “Удалить дубликаты”. В целом, для выполнения поставленной задачи необходимо руководствоваться как особенностями структуры таблицы, так и преследуемыми целями и видением конечного результата.

Как удалить дубликаты в Google Таблицах (3 простых способа)

Google Таблицы постепенно становятся для многих выбором электронных таблиц. Легкость, с которой вы можете сотрудничать в Google Таблицах, намного превосходит все другие инструменты для работы с электронными таблицами.

Еще одна причина, по которой Google Таблицы так широко используются, связана с простотой использования. Команда, стоящая за ним, постоянно добавляет новые функции и возможности, которые упрощают и ускоряют работу.

В этом уроке я покажу вам несколько способов удаления дубликатов в Google Таблицах.

Удалите дубликаты с помощью инструмента «Удалить дубликаты»

Удаление дубликатов — это настолько обычное дело, что люди делают в Google Таблицах, что теперь есть специальная опция для быстрого удаления дубликатов записей.

Предположим, у вас есть набор данных, как показано ниже, и вы хотите удалить все повторяющиеся записи из этого набора данных.

Ниже приведены шаги по удалению дубликатов из набора данных в Google Таблицах:

  • Выберите набор данных, из которого вы хотите удалить повторяющиеся записи
  • В меню выберите пункт «Данные».
  • Нажмите на опцию Удалить дубликаты.
  • В диалоговом окне «Удалить дубликаты» убедитесь, что выбран параметр «Данные имеют строку заголовка» (в случае, если в ваших данных есть строка заголовка).
  • Убедитесь, что выбран параметр «Выбрать все» (в разделе «Столбцы для анализа»).
  • Нажмите кнопку «Удалить дубликаты».

Вышеупомянутые шаги мгновенно удалят все повторяющиеся записи из набора данных, и вы получите результат, как показано ниже.

Когда вы используете опцию «Удалить дубликаты», чтобы избавиться от повторяющихся записей, это не повлияет на данные вокруг них. Это означает, что при его использовании не удаляются строки и не удаляются ячейки. Он просто удаляет повторяющиеся записи из ячеек (без нарушения ячеек в наборе данных).

Удалите дубликаты с помощью УНИКАЛЬНОЙ функции

В Google Таблицах также есть функция, которую вы можете использовать для удаления повторяющихся значений и сохранения только уникальных значений.

Это УНИКАЛЬНАЯ функция.

Предположим, у вас есть набор данных, как показано ниже, и вы хотите удалить все повторяющиеся записи из этого набора данных:

Приведенная ниже формула удалит все повторяющиеся записи, и вы получите все уникальные:

= УНИКАЛЬНЫЙ (A2: B17)

Приведенная выше формула даст вам результат, начиная с ячейки, в которую вы ввели формулу.

Результатом является массив уникальных записей, и вы не можете удалить или изменить часть этого результата массива. Ничего не произойдет, если вы попытаетесь удалить какую-либо одну ячейку из результата. А если вы перезапишете какую-либо ячейку, весь результат исчезнет, ​​и вы увидите # ССЫЛКА! ошибка.

Одним из ограничений использования функции UNIQUE является то, что она будет рассматривать как дубликаты только те записи, где повторяется все содержимое строки. Если вы хотите сохранить только один экземпляр названия страны и удалить все остальные, UNIQUE сделает это только в том случае, если остальные значения столбца для этой записи также совпадают.

Если в ваших данных есть начальные, конечные или дополнительные пробелы, уникальная функция будет рассматривать записи как разные. В таком случае вы можете использовать следующую формулу:

= МассивФормула (УНИКАЛЬНО (ОБРЕЗАТЬ (A2: B17)))

Удалить дубликат с помощью надстройки

Google Таблицы, как правило, поддерживают огромную библиотеку различных надстроек, чтобы решить все мыслимые проблемы или проблемы.

Все надстройки для удаления дубликатов могут использоваться для одной и той же цели. В Выкрутить Дубликаты надстройка по AbleBits является одним из лучших дополнений для удаления повторяющихся записей из набора данных.

Чтобы использовать надстройку, вам сначала нужно добавить ее в свой документ Google Таблиц.

Ниже приведены шаги по добавлению надстройки в документ Google Таблиц:

  • Откройте документ Google Таблиц, в котором вы хотите удалить дубликаты.
  • Перейдите на вкладку «Дополнения».
  • Нажмите «Получить надстройки».
  • В открывшемся диалоговом окне «Надстройки» найдите «Удалить дубликат» в поле в правом верхнем углу.
  • В отображаемом списке надстроек щелкните надстройку «Удалить дубликаты».
  • На экране надстройки «Удалить дубликаты» нажмите синюю кнопку «Установить».
  • В появившемся диалоговом окне он может попросить вас подтвердить свою учетную запись, войдя в свой Gmail. Введите учетные данные и нажмите синюю кнопку «Разрешить».

Вышеупомянутые шаги добавят надстройку Remove Duplicate в ваш документ Google Sheets, и теперь вы можете начать ее использовать.

Ниже приведены шаги по использованию этого дополнения для удаления повторяющихся записей в Google Таблицах:

  • Выберите набор данных, в котором есть дубликаты, которые вы хотите удалить.
  • Выберите в меню опцию «Надстройки».
  • Наведите курсор на опцию «Удалить дубликаты».
  • Щелкните «Найти повторяющиеся или уникальные строки». Откроется диалоговое окно «Найти повторяющиеся или уникальные строки» (это может занять несколько секунд).
  • На шаге 1 убедитесь, что выбран правильный диапазон. Вы также можете установить флажок, чтобы создать резервную копию документа Google Sheets.
  • На шаге 2 убедитесь, что выбраны дубликаты.
  • На шаге 3 укажите, есть ли у ваших данных заголовок и нужно ли пропускать пустые ячейки.
  • На шаге 4 выберите параметр «Удалить строки в выделенном фрагменте». Это удалит повторяющиеся записи.
  • Щелкните Готово.

Вышеупомянутые шаги мгновенно удалят повторяющиеся записи, и у вас останутся только уникальные записи.

Поскольку в Google Таблицах уже есть способ быстрого удаления дубликатов с помощью встроенной функции, лучше использовать его, если это возможно. Единственная причина, по которой я бы рекомендовал использовать надстройку, — это когда вы хотите сделать гораздо больше, чем просто удалить дубликаты.

Как найти и удалить дубли страниц на сайте

Дубли страниц — документы, имеющие одинаковый контент, но доступные по разным адресам. Наличие таких страниц в индексе негативно сказывается на ранжировании сайта поисковыми системами.

  • Снижение общей уникальности сайта.
  • Затрудненное определение релевантности и веса страниц (поисковая система не может определить, какую страницу из дубликатов необходимо показывать по запросу).
  • Зачастую дубли страниц имеют одинаковые мета-теги, что также негативно сказывается на ранжировании.

К ним относят доступность страниц сайта:

  • по www и без www;
  • со слэшем на конце и без;
  • с index.php и без него;
  • доступность страницы при добавлении различных GET-параметров.
  • страницы пагинации сайта;
  • страницы сортировки, фильтрации и поиска товаров;
  • передача лишних параметров в адресе страницы.

Важно! Также дубли страниц могут появляться за счет доступности первой страницы пагинации по двум адресам: http://site.ru/catalog/name/?PAGEN_1=1 и http://site.ru/catalog/name/.

Один из наиболее частых примеров дублирования страниц — привязка товаров к различным категориям и их доступность по двум адресам. Например: http://site.ru/catalog/velosiped/gorniy/stern-bike/ и http://site.ru/catalog/velosiped/stern-bike/.

Также страницы могут повторяться, если структура сайта изменилась, но старые страницы остались.

Существует большое количество методов нахождения дубликатов страниц на сайте. Ниже описаны наиболее популярные способы:

  • программа Screaming Frog;
  • программа Xenu;
  • Google Webmaster: «Вид в поиске» -> «Оптимизация HTML»;
  • Google Webmaster: «Сканирование» -> «Оптимизация HTML».

Для программы Screaming Frog и Xenu указывается адрес сайта, и после этого робот собирает информацию о нем. После того, как робот просканирует сайт, выбираем вкладку Page Title — Duplicate, и анализируем вручную список полученных страниц.

С помощью инструмента «Оптимизация HTML» можно выявить страницы с одинаковыми description и title. Для этого в панели Google Webmaster надо выбрать необходимый сайт, открыть раздел «Вид в поиске» и выбрать «Оптимизация HTML».

C помощью инструмента «Параметры URL» можно задать параметры, которые необходимо индексировать в адресах страниц.

Для этого надо выбрать параметр, кликнуть на ссылку «Изменить» и выбрать, какие URL, содержащие данный параметр, необходимо сканировать.

Также, найти все индексируемые дубли одной страницы можно с помощью запроса к поиску Яндекса. Для этого в поиске Яндекса необходимо ввести запрос вида site:domen.ru «фраза с анализируемой страницы», после чего проанализировать вручную все полученные результаты.

Чтобы сайт открывался лишь по одному адресу, например «http://www.site.ru/catalog/catalog-name/», а не по «http://site.ru/catalog/catalog-name/index.php», необходимо корректно настроить 301 редиректы в файле htaccess:

  • со страниц без www, на www;
  • со страниц без слэша на конце, на «/»;
  • со страниц с index.php на страницы со слэшем.

Если вам необходимо удалить дубликаты, созданные из-за особенностей системы управления сайтом, надо правильно настроить файл robots.txt, скрыв от индексации страницы с различными GET-параметрами.

Для того чтобы удалить дублирующие страницы, созданные вручную, нужно проанализировать следующую информацию:

  • их наличие в индексе;
  • поисковый трафик;
  • наличие внешних ссылок;
  • наличие внутренних ссылок.

Если неприоритетный документ не находится в индексе, то его можно удалять с сайта.

Если же страницы находятся в поисковой базе, то необходимо оценить, сколько поискового трафика они дают, сколько внешних и внутренних ссылок на них проставлено. После этого остается выбрать наиболее полезную.

После этого необходимо настроить 301-редирект со старой страницы на актуальную и поправить внутренние ссылки на релевантные.

Ждите новые заметки в блоге или ищите на нашем сайте.

Способ решения проблемы дублей — использование атрибута rel="canonical".

Вы правы. Каноникал необходим для решения проблемы с техническими дублями.
Но бывают разные ситуации:
— когда на проекте изначально не был настроен каноникал и дубли уже проиндексировались;
— когда дубли возникли не из-за технических особенностей сайта, а, например, были созданы вручную.

В таких случаях данные страницы в первую очередь необходимо найти и быстро удалить из индекса.
Пока мы поставим каноникал, а поисковые системы его "увидят" и склеят страницы, может пройти достаточно много времени.
Запрет в роботсе и принудительное удаление из индекса будет быстрее.

Дубликаты файлов в компьютере и их удаление. Программы для этих целей

Даже обладатели самых объёмистых тяжелых дисков сталкиваются с нехваткой памяти. Чаще всего для освобождения места пользователи удаляют программы, которые в настоящий момент не используются, но могут оказаться необходимыми в дальнейшем.

Мало кто задумывается о том, что весомый процент памяти компьютера занимают дубликаты файлов. О том, что это и как от них избавиться, и пойдёт речь в этой статье.

Что такое дубликаты как их найти

Дубликат – это копия уже имеющегося документа. На компьютере и цифровых носителях дубликатами по большей части выступают пользовательские данные. Архивы, игры, видео или фотографии иногда легче еще раз скачать из интернета, чем искать на компьютере.

1373133922_2

Кажется, что несколько файлов не существенно заполняют память, но со временем пара фотографий превращается в гигабайты занятого места, что может негативно влиять на работу операционной системы.

Дублируемые файлы есть на компьютере у каждого. Где-то они занимают немного места, в то время как у другого пользователя могут значительно засорять жесткий диск. Обнаружить такие файлы можно как самостоятельно, так и с помощью сторонних программ.

Как удалить повторяющуюся информацию в папках с компьютера

Регулярное удаление дубликатов, увеличивает место на дисках и помогает оптимизировать работу компьютера.

Удалить дубли с компьютера можно несколькими способами:

  • Самостоятельно просматривая каждую папку. Несомненно, это худший вариант, так как процесс долгий и кропотливый, а в результате можно многое пропустить.
  • С помощью командной строки. Встроенных средств для поиска дубликатов у Windows нет, но можно воспользоваться командной строкой PowerShell.На её основе прописаны сотни скриптов, среди которых есть и скрипты по удалению дублей. Опытные пользователи могут прописать их и сами, в том числе настроив таким образом, чтобы не удалять файлы сразу, а только отобразить список. Однако такой способ не подойдёт для новичков.
  • Воспользоваться программой. В интернете огромное количество специальных приложений для поиска и удаления дубликатов.Они отличаются методом поиска, например по названию, размеру или содержанию файла. Многообразие же позволяет выбрать подходящий конкретному пользователю.

Как удалить дубли с помощью различных программ

Найти в интернете утилиты, созданные для удаления дублей и прочего мусора с жесткого диска, не составит труда. Среди них есть как платные, так и бесплатные программы, а выбор конкретной зависит от предпочтений владельца компьютера. Вот несколько приложений, высоко оценённых пользователями.

screen8236

  1. CCleaner. Говоря о качественной очистке компьютера от мусора, нельзя не упомянуть CCleaner. Помимо стандартной очистки компьютера, утилита предлагает и поиск дублей.Сделать это можно в разделе «Сервис». Здесь по желанию пользователя задаются критерии поиска: по размеру, дате, названию или содержанию. Также есть возможность пропускать некоторые файлы, например:
    • «нулевые»;
    • системные или недоступные для чтения;
    • скрытые;
    • размер которых превышает заданный.
  • интерфейс полностью на русском языке;
  • большое количество настроек и вариантов сортировки;
  • быстрая работа на всех устройствах.
  • поддержка любой операционной системы от Windows XP до Windows 10;
  • диагностика и поиск дублей проводится как в скрытых папках, так и в архивах;
  • по ходу поиска возможно просмотреть каждый файл, не закрывая приложение, а также сразу переименовать или перенести в другое место.
  • фильтрацию по разрешению изображения;
  • поддержку русского языка;
  • наличие бесплатной версии;
  • высокую скорость и качество работы.

Однако для расширения возможностей поиска, например, изображений следует установить платную версию. Утилита пользуется большой популярностью из-за удобства и эффективности в работе.

Приложений по поиску дубликатов в памяти компьютера великое множество. Установка хотя бы одного из них и периодичность в использовании дают ощутимое преимущество и позволяют провести качественную и полную очистку. Оптимизация места на жёстком диске положительно скажется на работе компьютера.

Видео по теме

На следующем видео рассказано о способах поиска и удаления дубликатов файлов на компьютере:

Читайте так же:
Как разобрать джойстик PS4
Ссылка на основную публикацию
Adblock
detector