App.Merge

Word-list merge and duplicate remover already done 2 word-lists which are nearly 2 GB each. It obviously trades the use of your local HD instead of memory but it does chunk the data in memory before flushing it to files on local HD which improves performance massively. You will need to make sure you have enough local HD space = SUM(all word-lists).

Processing files are sorted in: [BaseDirectory]\tmp

Finished file is not sorted properly but are sorted in 256 chunks, 00 to ff based on HEX value of plain-text.

Example:

passwords.txt
Original Size: 184 MB
Converted Size: 169 MB
Duplicates Removed: 28
Run-time: 129 seconds

Obviously we can merge multiple files but I’m just processing 1 file for the above example. Takes awhile but I’m working on improving it. Anyone interested in trying it, please see below:

Command format:

App.Merge.exe o=”output-file.txt” t=4 [options] … “word-list1.txt” “word-list2.lst” “directory1″ …

For a report analysis of a word-list:

App.Merge.exe r=”word-list1.txt”

Double-quotes required for path / file names which contain spaces. You can also specify directory paths if you wish to merge / sort whole directories.

o=[out-file] – Output file.
t=[threads] – Used to speed sorting up only.
c=[mem] – Used to control how much RAM memory to use in MB. Default is 1024. Capped at 3072.
min=[num] – Minimum word length. Default = 1
max=[num] – Maximum word length. Default = 4096.

Words containing control characters will be converted into the Hashcat HEX format: $HEX[…]

Download 10kb

Home

Duplicat Remover by teso

Duplicat Remover by teso

-Удаление дублей
-Разбивка
-Сортировка
-Единовременная обработка более чем одного файла
-Поддержка Drag and Drop – “перетаскивание”
-Поддерживает параметры командной строки (можно указать список файлов которые при запуске будут обработаны или выделить пачку файлов и перетащить на иконку с приложением)
-С кириллицей не работает

Download 92kb

Fast Duplicates Remover v0.1

Fast Duplicates Remover

Консольная программа.

1-ый способ: перетаскиваем файл в консольное окно и удаляем кавычки из пути к файлу. Жмём Enter.

2-ой способ: закидываем файл в папку с программой и пишем название файла (обязательно вместе с форматом файла) в консольном окне. Жмём Enter.
На выходе получаем файл Out.txt

Download 3kb

Work with text files by Pyhin v1.1

RUS
Возможности программы:
1. Соединение файла – соединяет через разделитель первую строку одного файла с первой строкой второго файла, вторую строку первого файла со второй строкой второго и т.д. Возможно соединение от 2 до 4х файлов.

2. Разделение файла – программа разделяет текстовый файл на два, по разделителю, то есть находит в первой строке указанный нами разделитель и левую часть строки от разделителя записывает в part1.txt, а правую часть в файл part2.txt.

3. Разделение файла по статистике – есть 2 режима по строкам и по символам.
Режим разделения по строкам – программа разбивает выбранный файл на файлы с указанным нами кол-вом строк, то есть , например, нам надо разбить файл содержащий 1010 строк на файлы по 100, указываем в поле ввода 100, и программа создает 11 файлов part_1, part_2, … ,part_10 и part_last в файле part_last будут лежать оставшиеся 10 строк.
Режим разделения по символам – аналогичен делению по строкам, только разделение происходит по кол-ву символов соответственно.

4. Сортировка – имеет 2 режима по длине строки и по поиску.
Сортировка по длине строки – программа берет строку файла считает кол-во симврлов, если кол-во входит в указанный нами промежуток, то помещает строку в файл Good, если не входит то в файл NotGood.
Сортировка по поиску – если в строке есть указанные нами символы то она помещается в файл Good, если нет то в файл NotGood.

5. Замена – ну тут я думаю все ясно, создасться новый файл с заменой.

6. Статистика – считает кол-во строк, символов, абзацев, слов в файле(не работает для Соединения файла).

Download 180 kb

Dictionary Generator v1.0 by InsidePro

The program is designated to generate dictionary files containing passwords from the specified symbol range.

Program features:
• Ability to generate dictionaries up to 1000 Terabytes;
• Dictionaries sorting;
• Cleaning out empty and repeating lines from the dictionaries;
• Register transformation for passwords in the dictionaries;

Program is supplied as Freeware and is distributed together with PasswordsPro program.

Download 133 kb

DicTool v1.2 by astako

see screenshot 🙂

RUS

Возможности:
[x] Игнорировать строки больше или меньше указанной длины
[x] Обрезать слова до указанной длины
[x] Слово в нижний регистр (abcd)
[x] Слово в верхний регистр (ABCD)
[x] Чередовать регистры (AbCd, aBcD)
[x] Первая буква в верхний регистр, остольные в нижний (Abcd)
[x] Первая буква в нижний регистр, остольные в верхний (aBCD)
[x] Удаление дубликатов

На файлах размером в несколько GB выдаст ошибку. Но на небольших словарях работает хорошо.

Download 23 kb

ULM Unified List Manager

ULM Unified List Manager v0.91×250 beta

Features:

As the name suggests “Unified List Manager” attempts to incorporate mini tools in a single user friendly interface to help you manage lists, not only are tools provided to sort lists but included are analysis functions to give you detailed information about the contents of your lists. Other functions include hashing of lists, down/up sizing and trimming of lists and yes it’s free.

List Merger (Vertical):
Can merge multiple lists into a single file
List Merger (Horizontal):
Can combined two lists itemwise
List Splitter:
Can split large lists into smaller lists by user defined items per list
Cross Checker:
Checks one list against another and removes items from that list if found in other
Delimeter Conversion:
Converts between LF/CrLF/User Defined delimeter

Analysis Tools:
Analyses the charsets of the list (Numbers, Symbols, Upper, Lower, Special, etc)
Char Per position analysis (The occurance of a character in particular position)
Pattern Analysis (Items starting/ending in numbers, number of consecutive numbers/symbols/toggles)
Chaining Analysis (The occurance of two letters in an item, eg: AB, AP, bM, Oo, 9n, p0, etc)
Frequency Analysis (The frequence of each item in a list)
English (nouns, adjectives, verbs, isoforms, palindromes in a list)

Case Tools:
Converts a list to upper/lower
Converts first char to upper
Converts first char to upper rest to lower
Case toggling
All possible case mutations

Charset Tools:
Contains functions to parse out elements which don’t fit a requirement such as:
Removing/keeping items with symbols, numbers, special
User defined charset

Hashing of lists to:
MD2, MD4, MD5, SHA-1, SHA-2 (256), RIPEMD-160, RIPEMD-320, NT

Line Tools:
Removal/Retain items which contain “user defined string”
Prepend to each item
Append to each item

Misc Tools:
Saves items in a list if meets length requirement
Reverse items in a list
Generate all character mutations, e.g: ABCD -> ACBD, DBCA, BCAD, etc
Replace multiple chars per item
Find and replace

Slice Tools (Trims items in a list)
Trims items starting/ending with numbers/symbols
Trims items not ending with alpha
Trim before/after position
Trim before/after “user defined string”

Sort tools:
Sorts items into 16 lists by length
Sorts alphabetically (large/small list support)
Sorts items by length

Rules: (currently disabled)

RUS

Unified List Manager – Единый менеджер списков

Как следует из названия, ULM – набор мини утилит в одном удобном интерфейсе. ULM включает в себя большой комплекс утилит для работы со списками, такие как анализ, сортировка, обрезание, слияние и т.п.  Программа распространяется бесплатно.

Работа со списками:
– Слияние списков – можно объединить несколько списков в один файл;
– Разделеение списков – можно разделить большие списки на более мелкие, используя пользовательские настройки для каждого списка;
– Проверка дубликатов – проверка одного списка на наличие элементов из другово списка и их удаление;
– Преобразование различных разделителей – LF/CrLF/Пользовательские разделители

Анализ списков:
– Анализ набора символов в списке (цифры/буквы/специальные символы);
– Анализ позиции символа в элементе (как часто встречается чимвол в данной позиции);
– Анализ по шаблону (элементы, начинающиеся/заканчивающиеся цифрой, число последовательных букв/цифр/символов);
– Анализ цепочки вхождений элемента (наличие двух букв в элементе, например: AB, AP, bM, Oo, 9n, p0, и т.д.);
– Частота вхождения каждого элемента;
– Определение английских существительных, прилагательных, глаголов, изоформ, палиндромов;

Функции работы с регистром:
– Преобразование в верхний/нижний регистр;
– Преобразование первого символа в вехний регистр;
– Преобразование первого символа в вехний регистр, остальных в нижний;
– Все возможные изменения регистра;

Функции работы с наборами символов (чарсетами):
– Разбора элементов, не соответствующих требованиям, таким как:
a) Удаление/сохранение элементов с буквами/цифрами/специальными символами;
b) Пользовательский расширенный набор символов;

Функции Хэширования:
– MD2, MD4, MD5, SHA-1, SHA-2 (256), RIPEMD-160, RIPEMD-320, NT

Функции работы со строками:
– Удаление/сохранение элементов, которые содержат [определенную пользователем строку];
– Присоединение к каждому элементу [определенной пользователем строки];
– Добавление к каждому элементу [определенной пользователем строки];

Инструменты, выполняющие различные функции:
– Сохранение элементов списка, удовлетворяющих, определенным требованиям длины;
– Получение обратной последовательности элементов в списке;
– Создание всех возможных преобразований сиволов, например: ABCD -> ACBD, DBCA, BCAD и т.д.;
– Замена нескольких символов одним;
– Поиск и замена символов и элементов;

Функции обрезания:
– Обрезание элементов начинающихся/заканчивающихся с букв/цифр/специальных символов;
– Обрезание элементов не заканчивающихся на букву;
– Обрезание сивмолов до/после определенной позиции;
– Обрезание сивмолов до/после [определенной пользователем строки];

Функции сортировки:
– Сортировка элементов списка по длине;
– Сортировка элементов списка по алфавиту (поддержка как маленьких, так и больших списков);

Функции работы с правилами – в настоящее время отключены.

ULM homepage

Download 241 kb

Generator mini dictionaries for combined attack

Generator mini dictionaries for combined attack by -=lebed=

RUS

Генератор минисловарей для комбинированной атаки в PassworsPro
Параметры ini-файла:

Файл словаря
pass.txt
Полное необходимой время атаки при скорости 100000 пас/сек. в часах.
24
Тип минисловарей 2-4-символов
3

Работает с иходным словарём любого размера (чтобы анализ был правильным словарь не должен содержать повторов).
В комплекте бонус! Словарь реалпассов распредбрута из которого исключены хэши в качестве пароля и слова с длинной более 31 символов.

Download 5.56 MB

Sort File v1.1

RUS

Программа предназначена в основном для очистки большого словаря от повторений.
Для этого поместите ваш файл в каталог с программой, переименуйте его в dictionary.txt, запустите программу и последовательно выполняйте предложенные программой шаги 1, 2 и 3.
При этом первый шаг работы может быть прерван нажатием [CTRL]-[BREAK].
При возобновлении работы можно указать количество уже созданных временных файлов и программа продолжит временную нарезку большого файла с текущего места, тем самым не начиная процесс с начала.
После нарезки большого файла на маленькие упорядоченные запускаем второй режим (2).
Маленькие упорядоченные файлы объединяются в большие, при этом сортируясь.
И на заключительном 3-ем шаге большие очищенные файлы объединяются в один, вновь очищаясь.
Если у вас уже есть несколько очищенных упорядоченных словарей, их можно объединить используя 2 и 3 шаги работы программы.
При этом файлы должны называться 1001tempd.txt, 1002tempd.txt и так далее по возрастанию номера. Максимум 9999tempd.txt
Ограничение на колчиство файлов – их количество должно делиться нацело на 512 (можно создать пустышки).
Второй режим для очистки использует оперативную память, третий на уровне винчестера, что гораздо медленнее.
Но зато нет ограничения, что количество временных файлов должно делиться на 512, только на два.
Поэтому если файлов немного, можно использовать третий режим (при необходимости создать одну пустышку).

Download 41 kb

ArxParsing

RUS

Функции:
1. Анти – дубль
2. Парсер колонок
3. Генератор UIN:PASS
4. Генератор паролей (Англ, цифры, символы, длина)
5. Генератор паролей по маске ( qwerty{gen} )
6. Соединение нескольких словарей в один (до трёх сразу)
7. Соединение двух словарей, логин и пасс
8. Удаление переносов из файла, текст в одну строку
9. Регулярные выражения – поиск
10. Регулярные выражения – замена
11. Файл помощи по использованию программы
12. Логирование работы
Отличается быстротой работы.

Download 387 kb