Алгоритм оценки содержательного разнообразия

1. Определение предметной области, с позиций которой будет рассматриваться содержание. Что в общем и целом нас интересует в данном тексте или в данных текстах ?

2. Определение основных категорий анализа:

2.1. Дедуктивно: на основе представлений аналитика об основных компонентах — сторонах — данной предметной области. Априорное — до опыта — выделение тем, подтем, микротем, которые могут (или должны) быть раскрыты в тексте;

2.2. Индуктивно: на основе впечатления от подлежащего анализу текста (текстов). О чем именно в нем говориться? Выделение тем, подтем, микротем, фактически раскрытых в тексте (текстах).

3. Выделение в тексте единиц счета — слов и/или выражений — и распределение их по категориям.

4. Подсчет количества различных единиц L и частоты каждой из них f , где i == 1, 2, .... L.

5. Расчет относительной частоты — частотности р^ — для каждой из выделенных единиц содержания как отношения ее частоты f к общей сумме всех единиц Xi, с точностью до одной сотой (0,01)(как показывает практика, большая точность здесь не требуется).

6. Оценка разнообразия, или неопределенности, для каждой единицы (по К. Шеннону, в битах):

h, = - Р log^p, бит.

На практике используется таблица перехода от относительных частот р к оценкам неопределенности li (таблица 4).

Таблица 4 Значения h= - P log^p, в битах. Выдержки из таблицы 20А

7. Подсчет суммарной оценки разнообразия для каждой категории анализа и для текста в целом.