Stateful & low latency ASR architecture

[solyarisoftware]

See alphacep/vosk-api#553

                       state(s-1) -> grammar(s-1)
                      ┌────────────────────────────────────────────────────────────▲
                      │                                                            │
                      │                                                            │
                      │                                                            │
                      │       (1)                                                  │
           ┌──────────▼─────────┐                                                  │
           │                    │                                                  │
           │                    │                                (2)               │
           │                    │   ┌──────────────┐   ┌────────────┐              │
           │                    │   │              │   │            │              │
           │                    │   │ Grammar 1    │   │            │              │
           │                    ◄───┤ Recognizer 1 ◄───┤            │              │
           │                    │   │              │   │            │              │   (3)
           │                    │   │              │   │            │        ┌─────┴─────┐
           │                    │   └──────────────┘   │            │        │           │
           │                    │                      │            │        │           │
           │                    │   ┌──────────────┐   │            │        │           │
           │                    │   │              │   │            │        │           │
           │                    │   │ Grammar 2    │   │            │        │           │
           │                    ◄───┤ Recognizer 2 ◄───┤            │        │           │
           │                    │   │              │   │            │        │           │
           │                    │   │              │   │            │        │           │
           │                    │   └──────────────┘   │            │        │           │
pcm audio  │       DECODER      │                      │  MODEL     │        │  DIALOG   │
───────────►       MANAGER      │   ┌──────────────┐   │  ALLOWING  │        │  MANAGER  ├───────►
           │                    │   │              │   │  GRAMMARS  │        │           │
           │                    │   │ Grammar N    │   │            │        │           │
           │                    ◄───┤ Recognizer N ◄───┤            │        │           │
           │                    │   │              │   │            │        │           │
           │                    │   │              │   │            │        │           │
           │                    │   └──────────────┘   │            │        │           │
           │                    │                      │            │        │           │
           │                    │                      │            │        │           │
           │                    │                      │            │        │           │
           │                    │   ┌──────────────┐   │            │        │           │
           │                    │   │              │   │            │        │           │
           │                    │   │ No-Grammar   │   │            │        └─────▲─────┘
           │                    ◄───┤ Recognizer 0 ◄───┤            │              │
           │                    │   │              │   │            │              │
           │                    │   │              │   │            │              │
           │ ┌────────────────┐ │   └──────────────┘   └────────────┘              │
           │ │ acceptWaveForm │ │                                                  │
           │ │                │ │                                                  │
           │ └───────┬────────┘ │                                                  │
           │         │          │                                                  │
           │         │          │                                                  │
           └─────────┼──────────┘                                                  │
                     │                                                             │
                     │                                                             │
                     │                                                             │
                     │                                                             │
                     ▼─────────────────────────────────────────────────────────────┘
                     decode result(s)