tokenizing

分词
常用释义
分词

扩展信息

标记化
LEX与YACC 词汇表 - BlueTzar - 博客园 ... token( 标记) Tokenizing标记化) Value( 值) ...
语汇单元化
语汇单元化tokenizing)的 输入动作 459 streamtokenizer 459 stringtokenizer 462 检验大小写 464 摘要 471 练习 472 第12...
标记配置
标记配置tokenizing)内容助手 大纲视图 集成错误反馈 集成帮助 RPG and COBOL Development Tools for i 中的 Remote Sy…
标志法
内爆法(impoding),标志法(tokenizing)(从来没有公开发布)和紧缩法(deflating).

例句

这个过程更正式的称呼是解析(parsing)(更准确地说,是标记解释(tokenizing)、词法解析(lexing)和语法解析)。

方法返回一个扫描程序,该扫描程序会简化对一串Java代码作标记的工作。

At the level of tokenizing, we are not yet interested in how the tokens are structured, just what they are.

在记号赋予这一层,我们还不想讨论如何构造记号,让它们维持原样就可以了。