Пример работы анализатора

Рассмотрим работу лексического анализатора на примере.

Пусть на вход поступает строка

x: int = 1.0 + y

Разбиение этого выражения на токены представлено на схеме: