На третьем уровне, «уровне последовательностей», единицей является фонетическое слово, а на четвертом, «интеграционном», — соответственно слог (выполняющий функцию кодирования) и фонема {декодирование).

Как считает А. А. Леонтьев, вероятностные модели «работают» только на взаимоотношениях отдельных слов в процессах порождения связной речи; для моделирования процессов грамматического оформления речи они не приемлемы (123, 139). Это касается и моделей «грамматик с конечным числом состояний». Во многом, это определяется следующим. Во-первых, в языке существуют определенные типы грамматических конструкций, которые не могут быть порождены при помощи грамматики с конечным числом состояний. Это так называемые «самовставляющиеся», а также — «гнездующиеся» предложения, которые в русской грамматике соответствуют сложноподчиненным предложениям. Во-вторых, такая модель не объясняет закономерности процесса овладения языком. Согласно этой теории, для того чтобы обучиться производить речь «в последовательности, построенной по принципу «слева направо» (S — Р — О), ребенок должен прослушать огромное количество — 2100 предложений на родном языке, прежде чем сам сможет самостоятельно создавать высказывания. Критики этой теории отмечают, что для этого не хватит и десяти жизней (167, с. 158-159 и др.)

Несмотря на «известную ограниченность», «стохастические модели» речепорождения по некоторым своим концептуальным составляющим могут, как считает А. А. Леонтьев, найти применение в современной психолингвистике (139, с. 89). В частности, в речевой деятельности человека «...есть коммуникативные ситуации, для моделирования которых может оказаться оптимальной именно грамматика с конечным числом состояний. Это, например, детская речь в том периоде ее развития, когда словарь уже усвоен, а грамматика в строгом смысле (морфосинтаксис) еще отсутствует. Это спонтанная жестово-мимическая речь глухонемых, автономная речь, креолизованные жестовые языки, используемые для межэтнического общения народами, говорящими на различных языках, и др.» (там же, с. 89). «Стохастические модели» применимы и для моделирования разговорной речи (А. А. Леонтьев, А. С. Маркосян, 139, 164).