Programming Language & Automata 1 - Lexeme & token
프로그래밍 언어론과 오토마타와 형식언어 라는 수업은 두 개의 수업으로 취급되고 있다. 그러나 공부하면서 개인적으로 느꼈을 때, 둘을 함께 공부하는 것이 이해가 더 쉽다고 생각하여 하나의 분류로 묶어 정리하였다.
우리가 프로그래밍을 할 때 컴퓨터가 어떻게 받아들일지, 컴파일러의 작동과 컴퓨터 구조에 대한 작동을 알아보는 것이 해당 과목들의 내용이다.
1. Lexeme
우리가 프로그래밍을 할 때 컴파일러에 코드를 입력하면, 해당 내용들을 컴파일러가 읽고 단어와 식별자, operator 등으로 분류하여 해석해야 한다.
이 때 입력되는 구문의 가장 작은 단위를 Lexeme이라 한다. 이 lexeme은 대부분의 언어에서 비슷하게 구분된다.
2. Token
Token은 각 Lexeme 종류의 그룹이다. 쉽게 말해 +, -, *, / 등은 operator라는 분류로 묶이고, int, float, char 등은 type이라는 분류로 묶는 것이다.
ex) int i = 2 + j ;
^type ^indentifier ^assignOp ^int_literal ^plusOp ^identifier
댓글
댓글 쓰기