詞法分析英文scanning,又叫 tokenization 或者 lexical analysis)係指將字串或者字符串流變做記號[暫譯]token,臺譯符記)嘅過程,負責做爾樣嘢嘅軟件叫掃描器scanner,又叫 tokenizerlexical analyzer 等等)。

所謂符記係一種數據,代表語言入面可以視為詞位或者有意義嘅符號嘅嘢;符記代表嘅可以包括識別碼保留字數字算子[1]:94字串或者其他符號等等,符記入面會maak1分類,通常亦會記低本來嘅字串係乜嘢(但係保留字同算子係有限集合,通常唔使記低)。

編輯

  1. Sethi, Ravi (1990) [1989]. Programming Languages: Concepts and Constructs. Reading, MA: Addison-Wesley. ISBN 0-201-10365-6.