2.3.8. НОРМАЛИЗАЦИЯ ПОТОКА ЛЕКСЕМ
В процессе ввода программы сканер разбивает входной поток литер на лексемы. Многие лексемы имеют один и тот же смысл. Так, например, все три лексемы
125 000125 +125
обозначают одно и то же число 125. Именно поэтому при описании лексической структуры программы мы употребляли такие термины как "изображение числа" и "изображение слова" вместо "число" и "слово". Кроме того, такая лексема как "изображение цепочки литер" является изображением не одного синтаксического объекта, а конечной последовательности литер.В дальнейшем, при описании синтаксиса, мы будем считать, что сканер произвел "нормализацию" лексем, т.е. преобразовал лексемы к стандартному виду таким образом, чтобы одним и тем же синтаксическим объектам всегда соответствовали одни и те же лексемы. При этом изображение цепочки из N литер разбивается на N отдельных лексем, каждая из которых изображает ровно одну литеру. Таким образом, появляется возможность при описании синтаксиса говорить не об "изображениях объектов", а об "объектах".
Соответствие между исходными лексемами и нормализованными лексемами следующее:
ИзображениеЦепочкиЛитер ==> Литера1 Литера2 ... ЛитераN
ИзображениеСлова ==> Слово
ИзображениеЧисла ==> Число
Не следует путать литеры, из которых составлены исходные лексемы с символами-литерами, которые получаются на выходе сканера.