首页 > TAG信息列表 > 词法

Antlr词法分析之技巧——保留空白符

Antlr是一个功能非常强大的编译器前端工具。 之前我们都把关注点放在他的语法分析上，其实它在词法分析方面也有很多强大的功能。 比方我们有一个SQL，但有些子查询没有写库名，我们想给他补充上库名，将SQL重新打印出来。 这个看似简单，其实也要经历词法分析、语法分析，将所有表名符号识别

词法分析

小C语言--词法分析程序 Description 小C语言文法 1. <程序>→<main关键字>(){<声明序列><语句序列>}2. <声明序列>→<声明序列><声明语句>|<声明语句>|<空>3. <声明语句>→<标识符表>;4. <标识符表>→<标识符>,<标识符表>|<标识符>5. <语句序列>→<语

简单理解 JavaScript 的词法作用域

前言 关于作用域的有关知识点有全局作用域、局部作用域、函数作用域、块级作用域、词法作用域、作用域链。 作用域 作用域就像是一个教室，上课时教室里面的人互相可见，A 教室里的人不可以看见 B 教室里的人。作用域决定了代码生效的区域以及资源（变量、函数）可见的区域。 function fun

用 Antlr 重构脚本解释器

前言 在上一个版本实现的脚本解释器 GScript 中实现了基本的四则运算以及 AST 的生成。 当我准备再新增一个 % 取模的运算符时，会发现工作很繁琐而且几乎都是重复的；主要是两步： 需要在词法解析器中新增对 % 符号的支持。 在语法解析器遍历 AST 时对 % token 实现具体逻辑。 其中

NLP分词算法简介

1. 简介 NLP的底层任务由易到难大致可以分为词法分析、句法分析和语义分析。分词是词法分析（还包括词性标注和命名实体识别）中最基本的任务，可以说既简单又复杂。说简单是因为分词的算法研究已经很成熟了，大部分的准确率都可以达到95%以上，说复杂是因为剩下的5%很难有突破，主要因为三点：

编译原理-词法分析 python实现

上学的时候，老师让写实验。我看到这破旧的vc++6.0，心生厌恶，于是申请用python写。 老师同意了，那么就有了我的代码。 我分享出来，希望供大家参考。 词法分析的python代码参考了C语言版本的代码 ： https://www.cnblogs.com/zyrblog/p/6885922.html # 参考C语言代码 ： https://www.cnblogs.

编译原理-词法分析-基于lex实现 python

为了不使用破旧的vc++6.0，我去网上找到了python可以调用的库 PLY库，官方网站是http://www.dabeaz.com/ply/ply.html 同时也参考了文章：https://blog.csdn.net/chosen0ne/article/details/8077880 通过PLY库，我很方便地实现了词法分析，简单快捷。下面把代码贴上来 import ply.lex as lex

词法分析器的设计

一、设计目的 通过设计、编写调试一个词法分析程序，加深对词法分析原理的理解，并掌握对 程序设计语言源程序进行扫描过程中将其分解为各位单词符号的词法分析方法。 二、设计内容 编写一个词法分析程序，从输入的源程序中识别出各个具有独立意义的单词，即 基本字、标识符、常数、运算

几百行代码实现一个脚本解释器

前言 最近又在重新学习编译原理了，其实两年前也复习过，当初是为了能实现通过 MySQL 的 DDL 生成 Python 中 sqlalchemy 的 model。 相关文章在这里：手写一个词法分析器 虽然完成了相关功能，但现在看来其实实现的比较糙的，而且也只运用到了词法分析；所以这次我的目的是可以通过词法分析

实验一、简单的词法设计——DFA模拟程序

利用有穷确定自动机M=( K有穷状态集, Σ输入字母表, f转换函数，从状态s出发，沿着标记为a的边所能到达的状态 S,开始状态，S属于K Z，接收状态，Z是K的子集 ）行为模拟程序算法，来对于任意给定的串，若属于该语言时，该过程经有限次计算后就会停止并回答“是”，若不属于，要么能停止并回答“不是” K

为什么变量名不能够以数字开头

编程语言有个规定： 变量名的首字母不能是数字。 理解： 在写编译器时，才明白原来是词法分析器为了提高效率才这样约定的。 原因： 词法分析器在判断一个单词是否以数字开头，如果是以数字开头则把他当作数字常量处理，否则当作普通单词处理。这样子可以提高词法分析器的效率。 为什么变量名

一条查询语句的解析和执行过程

无所不能的程序猿吐出一句魔法[SQL]，刹那间，IO 犹如千军万马奔流不息，内存 似鲸吸牛饮，海纳百川，CPU 更是狂暴着以360%负荷高速运转，瞬间，一个美妙的身影出现了……一条SQL的背后，数据库到底做了什么，本文将深入浅出的聊一下SQL的解析和执行过程。 一、SQL简介SQL是上世纪70年代，基于关系型

词法分析（二）：词法规则的形式化——正规式与正规集

语法描述的基本概念 复习一下语法描述的基本概念： 字母表：一个有穷字符集，记为Σ 字母表中的每个元素称为字符 Σ上的字（字符串）：由Σ中的字符构成的一个有穷序列 不包含任何字符的序列称为空字，记为ε Σ*表示Σ上所有字的全体（Σ上所有字符所能产生的字），包含空字ε 例：设Σ={ a，b }，则 Σ* =

【编译原理】上 编译原理绪论，词法分析，语法分析

一、编译原理绪论白话概述 1，我们知道编译程序可以将Java这种高级语言编写的源程序转换成与之在逻辑上等价的目标程序。而目标程序就可以是汇编语言程序或者是机器语言程序了。汇编语言程序就是微机原理与接口技术和计算机组成原理还有单片机中常见的汇编语言 Mov jmp等等。 具体

都2202年了，你还不懂JavaScript的执行上下文和执行栈？

前言 作为一名 JavaScript 开发者，那么你是必须要知道 JavaScript 程序内部的执行机制的。执行上下文和执行栈是JavaScript中非常关键的概念之一， 理解执行上下文和执行栈同样有助于理解其他的 JavaScript中的其他 概念如变量提升、作用域和闭包等。本文尽可能帮助你搞懂执行上下文

go词法作用域陷进

问题 // 创建一些目录，再将目录删除 // 错误写法 var rmdirs []func() for _, dir := range tempDirs() { os.MkdirAll(dir, 0755) rmdirs = append(rmdirs, func(){ os.RemoveAll(dir) }) } // 正确写法 var rmdirs []func() for _, d := range tempDirs() { dir := d

【python教程入门学习】Python词法结构

这篇文章主要介绍了Python词法结构，变量是一种存储数据的载体，也就是一个容器。计算机中的变量是实际存在的数据或者说是存储器中存储数据的一块内存空间，变量的值可以被读取和修改，这是所有计算机和控制的基础，下面 目录 1、变量和类型 1.1 Python常用的类型 1.2 变量命令 1.3 变

编译三个步骤

在传统编译语言的流程中，程序中的一段源代码在执行之前会经历三个步骤，统称为“编译”。 1、分词/词法分析(Tokenizing/Lexing) 这个过程会将由字符组成的字符串分解成(对编程语言来说)有意义的代码块，这些代码块被称为词法单元。 2、解析/语法分析(Parsing) 这个过程是将词法单元流(

SQL解析器详解

1.概述 最近，有同学留言关于SQL解析器方面的问题，今天笔者就为大家分享一下SQL解析器方便的一些内容。 2.内容 2.1 SQL解析器是什么？ SQL解析与优化是属于编辑器方面的知识，与C语言这类编程语言的解析上是类似的。SQL解析主要包含：词法分析、语义语法分析、优化和执行代码生成、例如，我

# 初始ANTLR

一、ANTLR入门 1、概念 ANTLR是一款强大的语法分析器生成工具，可用于读取、处理、执行和翻译结构化的文本或二进制文件。其主要由Java编写的。 通过ANTLR可以解析代码的grammar并且生成另一种语言的parser，例如Java，c++，python等。 2、安装 （1）Java-jdk1.7(or more high) 下载

c语言（常用）c程序简单讲解/数据显示/词法符号/数据类型/常量变量运算符

一 第一个c程序简单讲解 1.1 代码注释 1.2 中英文切换 1.3 代码讲解 1.4 gcc编译出现问题的解决方式 正确编译：编译完成后没有任何现象 出现警告：警告还是会生成可执行文件，一般的警告可以忽略不管，但是能处理的还是要处理 出现错误：出现错误就不会生成可执行文件，必须要处理，可以根据

js块级作用域:为什么要引入let和const?

前言 前面我已经讲了js的调用栈是怎么工作的,以及js引擎是如何解析和执行js代码的,正是由于这些前面所讲的一些特性.才引起了js的一些问题,或者说js的设计缺陷 前面我们说过,js只有全局作用域和函数作用域,这对于我们一些学过其他高级语言,比如java或者c语言的人来说,写js代

Go编译原理系列3（词法分析）

前言 在上一篇文章中，介绍了词法分析中的核心技术，有穷自动机（DFA），以及两个常见的词法分析器的使用及工作原理。在这个基础上去看Go的词法分析源码会轻松许多 本文主要包含以下内容： Go编译的入口文件，以及在编译入口文件中做了哪些事情词法分析处在Go编译的什么位置，以及详细过程是

js中var的重复声明

腾讯的一个笔试题，先看一下 var a = 100; function fn() { alert(a); //undefined，因为fn函数不是一个闭包 var a = 200; alert(a); //200 } fn(); alert(a); //100 var a; alert(a); //100 var a = 300; alert(a); //300 根据《你不知道的JavaScript》上册，提升这章所说，函数提

编译原理 实验一 源程序的预处理及词法分析程序设计 （6学时 ）

实验一 源程序的预处理及词法分析程序设计 （6学时 ） 一、 实验目的 设计并实现一个包含预处理功能的词法分析程序，加深对编译中词法分析过程的理解。 二、 实验要求 1、实现预处理功能 源程序中可能包含有对程序执行无意义的符号，要求将其剔除。 首先编制一个源程序的输入过程，从