这个过程更正式的称呼是解析（parsing）（更准确地说，是标记解释（tokenizing）、词法解析（lexing）和语法解析）。
如果人们以固定的格式编写程序和数据，那么词法分析将非常简单——但是我们不那么做。
词法分析结束后，无意义的数据流被转变为一个有意义的单词序列，提供给解析器。
此外还实现了一个IDLlexer，允许将预处理器库用作某个面向IDL的工具的lexing组件。
从简单的固定域到相当复杂的嵌套模式，正则表达式可以封装多种词法分析模式。
如果您想要理解Perl6语法，就不得不去深入学习您可能曾经想过要学的lexing和parsing。
从定义来看，词法分析是将输入内容分解为有意义的单词（也叫做词法分析记号（lexingtokens）或词位（lexemes））的动作。
类似于P：：RD，那些语法使用简单的规则来进行词法分析，然后使用更复杂的规则来解析经过词法分析后的输入内容。