Буферный разгоняет в частотке и в буквах =)

Словарь отличный! Тренироваться в нем легко и приятно. Прокачивает пробельный скил, непрерывную печать коротких слов, опережающее чтение и, наверное, много чего еще :)

Как сильно этот словарь может продвинуть ваши скоростные показатели на обычных текстах? - сложный вопрос, но ранг маньяка я получил только тогда, когда в буферном сумел выехать за 500.

Кстати, о частотных словарях. В них учитывается только частота слова, а надо бы учитывать ещё и длину, ведь вес вклада слова в набор зависит и от длины тоже.

Это реализовано в словаре "Частотный расширенный". Там слова длиной от 1 до 12 символов.

А что там реализовано? Я не вижу учёта веса слова в нём. Там даже по частотам немало слов не из первых 10 000. Это какая-то хитрость?

Реализовано наличие слов разной длины в диапазоне от 1 до 12.
Таки да - этого нет :).
Хитрости нет. Решалась задача не только наличия частотных слов, но и наиболее частотных двухбуквенных сочетаний. И если среди частотных слов не находились слова, содержащие частотные сочетания, то приходилось брать нечастотные слова, которые их содержат :).

Мне сегодня пришло в голову посчитать, и оказалось, что с учётом длины расклад несколько меняется.
Расклад по длинам для первой тысячи самых частотных (слева) и самых «тяжёлых» (справа) слов (левые столбики в паре — количество слов, правые — длина):

Значимость длинных слов выше, чем можно было подумать беря в расчёт только частоту.

А что это за сочетания такие, которые сами частотны, но содержатся в редких словах? O_o

Ну... просто... для краткости я пожертвовал полнотой ответа :). А полный ответ таков: "И если среди частотных слов не находились слова, содержащие частотные сочетания и иные необходимые параметры, то приходилось брать нечастотные слова, которые их содержат :)."


А на этот вопрос я поспешил ответить отрицательно. На самом деле вес слова учтен. Другой вопрос - в какой мере :). Вот в этом источнике есть данные, как в русских текстах распределены слова по их длине. Сравнив их и данные по "Частотному расширенному словарю", я получил такую табличку:



Как видите, вес учтен. Во всяком случае, тенденция отражена верно :).

Ну, даже по этим данным видна переоценка коротких слов (1—4 символа) и недооценка всех остальных.
Моя статистика распределения частоты по длинами немного другая:


Под весом я имел в виду произведение длины на частоту, то есть объёмную долю слова в тексте. И поэтому показателю распределение совсем другое:

Статистика интересная. Взяв за основу словарь "Частотный расширенный", я уменьшил количество коротких слов, добавил недостающие длинные и сделал словарь "Весодлинный", в котором длины слов соответствуют вашей статистике.



Пробуйте :). Изменилось ли ваше мнение о ценности реализации идеи с учетом веса слов после ее практической проверки?

Мне лень упражнение делать. :)
Я поступил проще: взял первую тысячу самых «тяжёлых» слов. Правда, на ней я ещё не катался. Пока катаюсь на выборках первых 200 самых частотных слов одинаковой длины.
Кстати, у меня есть аналогичные графики по буквосочетаниям.

:))

Выкладывайте - пригодятся кому-нибудь :).

Tolstij
Словарь "Весодлинный".

Но слова в словаре совсем не подходят по параметру большой "вес".
"телефончик", "фломастер", "ошибочка" и т.д. - имеют катастрофически малый "вес" из-за низкой частоты встречи в тексте.
Это я к тому, что существуют сотни и даже тысячи слов такой же длины, имеющих бОльшую частоту.

Я ить могу сами списки выложить, хоть по весу, хоть по частоте, хоть и то и другое, хоть слова, хоть буквосочетания. :) Они таки полезнее графиков.

График распределения частот по длинам буквосочетаний неинтересный (частота монотонно убывает с ростом длины).
Вес интереснее:

Согласен. Словарь создавался на коленке и с весами у него проблемы :). Но меня интересовал другой вопрос - как будет смотреться и набираться словарь с таким распределением слов по их длине. Посмотрел - не понравилось. "Частотный расширенный" как-то попрозрачнее что ли :). Поэтому, даже если заменить в "Весодлинном" слова на более частотные - все равно не понравится :).

Не понял насчёт смотреться/набираться. O_o

Вот одна крайность. Слишком много пробелов, которые тормозят и от перегрузки отваливаются большие пальцы :). Невозможно разогнаться - в оперативную память за один раз грузится лишь пробел с одной буквой.





А вот другая. Мало пробелов, но в оперативную память за раз все слово не грузится - его приходится подчитывать несколько раз при наборе. Пробел ждешь как манну небесную :). А если допускается ошибка, то времени на ее исправление уходит гораздо больше, чем в коротком слове.





А вот это, лично для меня, является золотой серединой. И пробелов не так уж много, и разогнаться на многих словах можно. Оперативка со всеми словами справляется. И разнообразненько :).





Вот это же находится на пути от золотой середины до второй крайности. Поэтому и не понравилось :).

По приведённому тут заполнению текста в словаре "Весодлинный" он очень похож по структуре набора на труъ-каноничный "5000 самых частых слов".

При наличии ещё 8 труъ-каноничных частотных словарей, закрывающих самые частые слова его необходимость - не ясна.

Плюс есть ещё "Русский частотный" - в нём вообще попытка создать усечённую модель языка, вплоть до частоты встречаемости. Тоже очень похоже получится на этот всеодлинный. Думаю что будет довольно безразлично где кататься - в русском частотном, в 5000 самых частых слов или во всеодлинном.

У Tolstij со всеми его словарями хотя бы есть идея: в словаре должно быть много коротких частиц и слов для тренировки "буфера". Вы не верите в "буфер" и аргументы по его нахождению вас не убеждают? Тогда может не стоит даже задумываться над этими словарями?