Python 创建声明性迷你语言

　2007-03-30 12:31:54　来源：WEB开发网　　　

核心提示： 清单 5. PLY 样本tokens = ('ALPHANUMS','WORDPUNCT','CONTRACTION','WHITSPACE')t_ALPHANUMS = r"[a-zA-Z0-0]+"t_

清单 5. PLY 样本

tokens = ('ALPHANUMS','WORDPUNCT','CONTRACTION','WHITSPACE')
t_ALPHANUMS = r"[a-zA-Z0-0]+"
t_WORDPUNCT = r"[-_]"
t_CONTRACTION = r"'(clock|d|ll|m|re|s|t|ve)"
def t_WHITESPACE(t):
　　r"s+"
　　t.value = " "
　　return t
import lex
lex.lex()
lex.input(sometext)
while 1:
　　t = lex.token()
　　if not t: break

我已经在我即将出版的书籍 Text Processing in Python 中编写了有关 PLY 的内容，并且在本专栏文章中编写了有关 Spark 的内容（请参阅参考资料以获取相应链接）。不必深入了解库的详细信息，这里您应当注意的是：正是 Python 绑定本身配置了解析（在这个示例中实际是词法分析/标记化）。 PLY 模块在 Python 环境中运行以作用于这些模式声明，因此就正好非常了解该环境。

PLY 如何得知它自己做什么，这涉及到一些非常奇异的 Python 编程。起初，中级程序员会发现可以查明 globals() 和 locals() 字典的内容。如果声明样式略有差异的话就好了。例如，假想代码更类似于这样：

清单 6. 使用导入的模块名称空间

import basic_lex as _
_.tokens = ('ALPHANUMS','WORDPUNCT','CONTRACTION')
_.ALPHANUMS = r"[a-zA-Z0-0]+"
_.WORDPUNCT = r"[-_]"
_.CONTRACTION = r"'(clock|d|ll|m|re|s|t|ve)"
_.lex()

这种样式的声明性并不差，而且可以假设 basic_lex 模块包含类似下面这样的简单内容：

上一页 1 2 3 4 5 6 7 8 下一页