Сортировщик

сортировщик

Еще одна небольшая утилита для работы со словарями паролей.
-Кнопка A..Z>a..z
Переводит все слова в нижний регистр, в переводе участвуют также и кириллица.
-Кнопка [0..9]
Собирает два словаря, в первом из которых только слова состоящие из цифр, второй всё остальное.
-Кнопка rus|eng
Собирает два словаря, в первом из которых только слова состоящие из русских букв, второй всё остальное.
-Кнопка only rus
Собирает два словаря, в первом из которых только слова состоящие из русских слов, второй всё остальное. Если встречается хотя бы один русский символ, слово считается русским.
-Кнопка рус>rus
Переводит все слова в транслит. Например: каша > kasha
-Кнопка рус>rus
Переводит все слова из русской клавиатуры в английскую. Например: каша > rfif
-Кнопка sortir
Удаляет дубликаты в словаре. Алгоритм беспантовый поэтому долго, точнее вечно, используйте для этих целей лучше Raptor.
-Кнопка only eng
Собирает два словаря, в первом из которых только слова состоящие из английских букв, второй всё остальное.

Download 169kb

Rock&Sex

Rock&Sex

Генератор листов по типу login:pass
Чучуть обновлений:
1. Исправил баг с “End!”
2. Теперь вы создаёте свою схему генерации в поле:
a) – $N – отвечает за текущую строку из первого поля
б) – $P – отвечает за текущую строку со второго поля.
3. Добавил новый формат “True”.Генерирует так:
1 строка из первого поля – 1 строка из второго
2 строка из первого поля- 2 со второго
etc….
Мануал по использованию в полной новости.
Инструкция:
1. Запускаем
2. Дважды кликаем по полю “Nick”
3. Выбираем файл нажимаем “OK”
4. Дважды кликаем по полю “Password”
5. Смотри пункт #3
6. Выбираем формат:
Nick – склейка по никам.
Pass – Склейка по паролям.
True – склейка одновременно.
6. Нажимаем “START” ждём пока программа отлагает.Заходим в папку с ней.Открываем файл “output.txt” и видим то что сгенерировали.

Download 13kb

Fast tool for removing duplicate lines

LINUX

Duplicut

A very fast tool for removing duplicate lines from a file without sorting it.

Quick start:

git clone https://github.com/nil0x42/duplicut
cd duplicut
make
./duplicut wordlist.txt -l 255 -o wordlist-output-no-dupe.txt

 
Overview
While building statictically optimized wordlists for password cracking purposes, i have needed to remove all duplicates quickly, even if the wordlist

While creating wordlists of passwords from different sources, i frequently need to remove duplicates quickly, even on huge wordlists, without changing the order.

That is how duplicut was born.

Usage: duplicut [OPTION]... [INFILE] -o [OUTFILE]
Remove duplicate lines from INFILE without sorting.

Options:
-o, --outfile <FILE>       Write result to <FILE>
-t, --threads <NUM>        Max threads to use (default max)
-m, --memlimit <VALUE>     Limit max used memory (default max)
-l, --line-max-size <NUM>  Max line size (default 14)
-p, --printable            Filter ascii printable lines
-h, --help                 Display this help and exit
-v, --version              Output version information and exit

Example: duplicut wordlist.txt -o new-wordlist.txt

 

  • Features:
    • Handle huge wordlists, even those whose size exceeds available RAM.
    • Line max length based filtering (-l option).
    • Ascii printable chars based filtering (-p option).
    • Press any key to get program status.
  • Implementation:
    • Written in pure C code, designed to be fast.
    • Compressed hash map items on 64 bit platforms.
    • [TODO]: Multi threaded application.
    • [TODO]: Uses huge memory pages to increase performance.
  • Limitations:
    • Any line longer than 255 chars is ignored.
    • Heavily tested on Linux x64, mostly untested on other platforms.

Home Page

Download 51kb

Text Duplicate Killer

text duplicate killer
Text Duplicate Killer – программа, предназначенная для удаления из текста повторяющихся строк (не обязательно смежных). В результате создается новый текстовый файл, в котором каждая строка встречается только один раз.

Как найти дубликаты
1. У Вас должен быть готов файл формата ASCII, содержащий текст, в котором Вы хотите удалить дублирующиеся строки. Если Вам нужно обработать текст из файлов DOC или RTF, то экспортируйте его в ASCII.

2. После запуска утилиты tdk.exe выберите пункт меню Файл|Открыть исходный файл и укажите файл, в котором необходимо удалить дубликаты.

3. Затем с помощью пункта меню Файл|Задать целевой файл укажите имя нового файла. В этот файл утилита поместит обработанный текст, который уже не будет содержать дубликатов. Вы можете автоматически создать новое имя. Для этого нажмите кнопку с “волшебной палочкой”.

4. Для запуска процесса поиска и удаления дубликатов выберите пункт меню Операции|Убрать дубликаты!. В любой момент Вы можете прервать работу, нажав на кнопку Стоп, находящуюся в правом нижнем углу. При большом объеме текста обработка может занять некоторое время.

Имя целевого файла
Имя целевого файла можно создать автоматически, нажав на кнопку “волшебная палочка”. В автоматически созданном имени кодируются некоторые настройки.

Ниже приведены примеры:

Имя исходного файла: test.txt

Варианты автоматически создаваемого имени целевого файла:
test.txt.no_dupes_w_i.txt – конец строки формата Windows (CR/LF), игнорировать регистр
test.txt.no_dupes_u_i.txt – конец строки формата Unix (LF), игнорировать регистр
test.txt.no_dupes_w.txt – конец строки формата Windows (CR/LF), не игнорировать регистр
test.txt.no_dupes_u.txt – конец строки формата Unix (LF), не игнорировать регистр

Внимание! В случае, если файл с целевым именем уже существует, он перезапишется без запроса.

Допустимые форматы файлов
Text Duplicate Killer корректно обрабатывает только текстовые файлы формата ASCII.

Чтобы обработать документы Microsoft Word и прочие файлы, имеющие сложную структуру, необходимо экспортировать их в формат ASCII.

Обработка любых двоичных файлов также недопустима.

Параметры командной строки
Формат параметров командной строки:

tdk.exe [/teol=w|u] [/ic+|-] [/ios+|-] [/h=1|2|3|4|5|6] [/so=desc|asc]
[/s=none|char|len|loc] [/in=] [/out=] | [/?]

Описание параметров:

/teol=w – установить для целевого файла конец строки в Windows-формате (#13#10)
/teol=u – установить для целевого файла конец строки в Unix-формате (#10)

/ic+ – игнорировать регистр (только для латинских букв!)
/ic- – учитывать регистр (только для латинских букв!)

/ios+ – игнорировать обрамляющие пробелы
/ios- – учитывать обрамляющие пробелы

/h=X – установить “степень” хеширования равной X символам. X = 1..6

/so=desc – установить для сортировки обратный порядок/по убыванию
/so=asc – установить для сортировки прямой порядок/по возрастанию

/s=none – без сортировки целевого текста
/s=loc – сортировка по национальному алфавиту
/s=char – сортировка по кодам символов
/s=len – сортировка по длине строки

/in= – имя исходного файла (ASCII)
/out= – имя нового файла. TDK создает этот файл на основе source, исключая повторяющиеся строки

/? – вывести справку по программе

Примеры:

tdk /in=file1.txt /out=file2.txt – удалить дубликаты из файла file1.txt и записать уникальные строки в файл file2.txt, используя текущие настройки программы.

tdk /ic+ /ios+ /so=asc /s=char /in=file1.txt /out=file2.txt

Примечания:

При запуске с параметрами
– если какой-либо параметр не указан, то используется его интерфейсная установка (см. файл tdk.ini)
– утилита автоматически начнет обработку и запись нового текста, а по завершении работы – закроется
– если исходный файл слишком большой, то найденные дубликаты не отображаются

Параметры нечувствительны к регистру.
Параметры должны отделяться друг от друга как минимум одним пробелом!
Не используйте пробелы в именах файлов
Настройки, установленные с помощью параметров командной строки, запоминаются.

Меню
Меню / Файл
Открыть исходный файл – Позволяет выбрать исходный файл (формата ASCII).
Задать целевой файл – Позволяет указать имя целевого файла, в который будут записываться уникальные строки из исходного файла. Тип конца строки (Unix/Windows) в целевом файле можно указать в опциях.

Меню / Вид
Хэш-данные – Эта опция позволяет включить отображение специфических сведений, например, скорость обработки.
Найденные дубликаты – Данная опция позволяет включить отображение окна с экземплярами найденных дубликатов. Например, если в тексте будет найдено 10 дубликатов одной строки, то каждый экземпляр добавиться в это окно. При обработке больших текстов рекомендуется отключать отображение этого окна, поскольку найденные дубликаты могут переполнить оперативную память.

Меню / Опции
Целевой EOL = CR/LF (Windows) – Установить в целевом файле конец строки как CR/LF.
Целевой EOL = LF (Unix) – Установить в целевом файле конец строки как LF.

Игнорировать регистр (латиница) – Данная опция указывает, что регистр латинских букв не учитывается. В этом случае, например, строки String, string и STRING будут рассматриваться как дубликаты.
Игнорировать ведущие и конечные пробелы – При сравнении строк не учитываются “обрамляющие” пробелы. Например, при включенной опции, строки “текст” и ” текст ” будут считаться дубликатами. Внимание: в целевом тексте пробелы не отсекаются!

Без сортировки целевого текста – Строки целевого текста не сортируются.
Сортировка по национальному алфавиту – Сортировка национальных символов происходит с учетом настроек языка в операционной системе Windows.
Сортировка по кодам символов – Сортировка основана на кодах символов (Latin-1, т.е. расширенный 8-битный ASCII-код).
Сортировка по длине строки – Строки сортируются по длине (включая пробелы).

Сортировать в прямом порядке/по возрастанию – В зависимости от выбранного типа сортировки опция указывает либо на прямой алфавитный порядок, либо на возрастающий порядок кодов или длины строки.
Сортировать в обратном порядке/по убыванию – Аналогично предыдущей опции.

Хэшировать по N символов – Сколько первых символов использовать для хэширования. Данная настройка важна только в том случае, если вы обрабатываете очень большие файлы, не помещающиеся в оперативную память. Хэш-индекс основан на ASCII-коде, поэтому при хэшировании по одному символу максимальное количество сегментов равно 255. При использовании двух символов количество сегментов становится равным 65536. Так как программа “скидывает” сегменты на жесткий диск, то увеличение количества сегментов может существенно снизить требования к оперативной памяти, хотя нагрузка на дисковую систему увелчивается (и скорость работы соответственно). Если вам понадобилось изменить эту настройку, то определить нужное значение можно экспериментально, но учтите, что для разных текстов эффективность обработки может сильно различаться. По умолчанию установлено 3 символа – это некий компромисс между скоростью работы и требованиями к ОЗУ.

Установить первоначальные настройки – Команда устанавливает “заводские” настройки (в том числе положение и размер формы).

Download 353kb

DupKill v. 0.2.4.24

DupKill

Удаляет повторы строк в текстовом файле, в то же время сортирует список по алфавиту. Также есть функция удалить повторы и оригиналом.
Download 250kb

naRedup

naRedup

Плюсы:
-быстрая работа
-удобное GUI
-сортировка выходного файла по алфавиту
-добавление файлов Drag&Drop’ом – “перетаскивание”
Минусы:
-сортировку не отключить
-добавленный файл не убрать из списка на обработку
-вылет при попытке выйти из программы, во время работы
-программа не работает с бинарными файлами
Download 88kb