antlr snippet のバックアップ(No.4)

import org.antlr.runtime.*;

public class Main {
	public static void main(String[] args) throws Exception {
	    for (int i=0; i<args.length; i++) {
		CharStream input = new ANTLRFileStream(args[i]);
		FuzzyJava lex = new FuzzyJava(input);
		TokenStream tokens = new CommonTokenStream(lex);
		tokens.toString();
		//System.out.println(tokens);
	    }
	}
}

simplecTreeParser?ならばinputファイルは

char c;
int x;

void bar(int x);

int foo(int y, char d) {
 int i;
 for (i=0; i<3; i=i+1) {
   x=3;
   y=5;
 }
}

こんなかんじだ。

一番ちいさいのは、hoistedPredicatesフォルダのサンプルで、次は、importフォルダかな。

一番小さいのは、基本がよく分かるので大好きだ。だからこのサンプルから学んでいくことにした。

文法ファイルはT.gだとおもうので、なかをみてみる

System.out.println()でくくられた中身をスニペットしたいものに置き換えればいいっておもった。

スニペットに反応させるキーワードは、

stat: identifier    {System.out.println("enum is an ID");}
    | enumAsKeyword {System.out.println("enum is a keyword");}
    ;

enumAsKeyword : {enableEnum}? 'enum' ;

のenumAsKeyword?に関連する箇所を自分で追加したい分だけ増やせばいいのではないかとおもった。

とりあえず、大体はあくしたから、動かしてみる。

↑

動かしてみる †

T.gファイルをみると、コメントに

Run "java org.antlr.Tool -dfa t.g" to generate DOT (graphviz) files.

と、かいてある。org.antlr.Tool　ってなんだ？

antlr-3.4-complete-no-antlrv2.jarを拡張子をzipに変換して解凍してみる。あった、あった、classファイルがあった、つまり、コンパイルされている状態で格納されていました。

これを使うようにするには、同じディレクトリに置くとかすればいいのかな。

やってみたコマンド

java -jar antlr-3.4-complete-no-antlrv2.jar  t.g

結果

error(8):  file t.g contains grammar T; names must be identical

エラー　orz

こんな簡単なサンプルさえ動かせないなんて。。。正解はこちら

java -jar antlr-3.4-complete-no-antlrv2.jar  T.g

ファイルの大文字と小文字をきっちり合わせないとだめなんですね。

Javaのソースコードがでてきた。

T.tokens
TLexer.java
TPaser.java

↑

コンパイルしてみる。 †

javac -cp antlr-3.4-complete-no-antlrv2.jar Main.java TLexer.java TParser.java

↑

実行してみる †

java -cp .;antlr-3.4-complete-no-antlrv2.jar Main input

おおっenum is anIDって出た。

↑

前のバージョンantlr-2.7.2.jarでもやってみる †

ネットも外部ディスクも使えない作業場には、antlr-2.7.xがあるようなので、こやつをどうにか使えないものかということで、前のバージョンでもどうさするか確認してみる。

strutsとかにはいっているantlr-2.7.2.jar では動くかな

だめだ、org.antlr.runtime.CharStream?が無いといわれた。

java -jar antlr-2.7.2.jar T.g

ではどうか？

Failed to load Main-Class manifest attribute

ってでた。

java -classpath antlr-2.7.2.jar antlr.Tool T.g

動いたっぽいけど、文法が違うらしい。ちなみにこんなエラー

T.g:9:1: unexpected token: grammar
error: Token stream error reading grammar(s):
T.g:11:1: unexpected char: '@'
T.g:9:1: rule classDef trapped:
T.g:9:1: unexpected token: grammar
error: aborting grammar 'unknown grammar' due to errors
TokenStreamException: unexpected char: '@'

antlr-2.7.2のサンプルでやってみるべきだろう。

http://www.antlr2.org/

からGetting Startedをたどってt.gのサンプルをみる

class P extends Parser;

startRule
   :   n:NAME
       {System.out.println("Hi there, "+n.getText());}
   ;

class L extends Lexer;

// one-or-more letters followed by a newline
NAME:   ( 'a'..'z'|'A'..'Z' )+ NEWLINE
    ;

NEWLINE
   :   '\r' '\n'   // DOS
   |   '\n'        // UNIX
   ;

解説サイトには

java antlr.Tool t.g

とかいてあるが、実際には、

java -classpath antlr-2.7.2.jar antlr.Tool t.g

で動く。

つくられたファイルは、

L.java
P.java
PTokenTypes?.java
PTokenTypes?.txt

である。

↑

実行用Main.java †

実行用のメインクラスが掲載されていたのでつくる

import java.io.*;

class Main {
   public static void main(String[] args) {
       try {
           L lexer = new L(new DataInputStream(System.in));
           P parser = new P(lexer);
           parser.startRule();
       } catch(Exception e) {
           System.err.println("exception: "+e);
       }
   }
}