Тренировка частотки слов - дело хорошее. Но ведь часто попадаются много однотипных слов, со схожими буквенными сочетаниями и они которые не являются топовыми по частоте употребления.

Я думаю вы поняли о чем я. Возникла идея рассортировать буквенные сочетания по частоте использования в словах для дальнейшего использования в тренировках и доведения до автоматизма набор их.

Выборки на основе анализа самого большого словаря русских слов (160 000+) слов.

Формат простой: слева кол-во совпадений в словах, справа само сочетание. Отсортированы по кол-ву совпадений.

5 букв
6 букв
7 букв
8 букв

Исходный большой словарь находится по этой ссылке. К слову, там 125723 строки (слова).
Словарь в UTF-8.


Для того что бы самостоятельно сгенерировать совпадение, обладатели unix tools, могут использовать такую конструкцию.



В приведенных выше файлах присутствует баг алгоритма генерации, учитываются не все комбинации.

P.S. катайте обычку

У кого это работает, отпишитесь

Оригинальный словарь тут: https://www.dropbox.com/s/40i3dfnicwookbl/pldb-win.txt?dl=1

проверить правильность словарей по ссылкам выши могут обладатели unix tools, использовать такую конструкцию

за место авший любую комбинацию букв из словарей по ссылкам.
цифра должна соответствовать количеству совпадений в них.

И да, учитываются все комбинации соответствующие условию.

Поставил на виртуалку Lubuntu.

Скрипт работает, но есть пара моментов.
1) Потерялись фигурные скобки перед END и перед закрывающий одиночной кавычкой (клавогоночный форум сжирает).
2) У awk на поставленной ОС какие-то лютые проблемы с кодировкой. UTF-8 оно в упор не воспринимает (особо не разбираюсь, но какие-то параметры locale подёргал, не помогло), поэтому и length, и substr работают с байтами, а не символами. Соответственно, ничего не работает. Как выяснилось, помимо awk существует еще и gawk, у которого таких проблем нет. Поэтому использовал gawk.

В итоге скрипт такой:

Добро пожаловать в ботнет

Злой ты. :/