Programming Language & Automata 1 - Lexeme & token

프로그래밍 언어론과 오토마타와 형식언어 라는 수업은 두 개의 수업으로 취급되고 있다. 그러나 공부하면서 개인적으로 느꼈을 때, 둘을 함께 공부하는 것이 이해가 더 쉽다고 생각하여 하나의 분류로 묶어 정리하였다.

 

우리가 프로그래밍을 할 때 컴퓨터가 어떻게 받아들일지, 컴파일러의 작동과 컴퓨터 구조에 대한 작동을 알아보는 것이 해당 과목들의 내용이다.

 

1. Lexeme 

우리가  프로그래밍을 할 때 컴파일러에 코드를 입력하면, 해당 내용들을 컴파일러가 읽고 단어와 식별자, operator 등으로 분류하여 해석해야 한다. 

이 때 입력되는 구문의 가장 작은 단위를 Lexeme이라 한다. 이 lexeme은 대부분의 언어에서 비슷하게 구분된다.


2. Token

Token은 각 Lexeme 종류의 그룹이다. 쉽게 말해 +, -, *, / 등은 operator라는 분류로 묶이고, int, float, char 등은 type이라는 분류로 묶는 것이다.


ex)    int        i                =              2               +           j      ;

        ^type   ^indentifier  ^assignOp  ^int_literal    ^plusOp ^identifier

댓글

이 블로그의 인기 게시물

IIKH Class from Timothy Budd's introduction to OOP

Compiler 9 - Efficient Code generation

Software Engineering 10 - V&V, SOLID principle