token_get_all

例1 token_get_all() の例
 

$tokens = token_get_all('
');foreach ($tokens as $token) {    if (is_array($token)) {        echo "Line {$token[2]}: ", token_name($token[0]), " ('{$token[1]}')", PHP_EOL;    }}?> 
上の例の出力は、たとえば以下のようになります。
 
Line 1: T_OPEN_TAG ('<?php ')
Line 1: T_ECHO ('echo')
Line 1: T_WHITESPACE (' ')
Line 1: T_CLOSE_TAG ('?>')
 
例2 token_get_all() の間違った使いかた
 

$tokens = token_get_all('/* comment */');

foreach ($tokens as $token) {
    if (is_array($token)) {
        echo "Line {$token[2]}: ", token_name($token[0]), " ('{$token[1]}')", PHP_EOL;
    }
}

 
上の例の出力は、たとえば以下のようになります。
 
Line 1: T_INLINE_HTML ('/* comment */')
 先ほどの例では、文字列が T_COMMENT ではなく T_INLINE_HTML とパースされていたことに注意しましょう。 これは、指定した "code" の中に開始タグが含まれていないからです。 通常のファイルで、コメントを PHP タグの外部に書いた場合にも同じようになります。 
例3 予約語を使ったクラスでの token_get_all() の例 
 


$source = <<<'code'

 
上の例の出力は、たとえば以下のようになります。
 
T_OPEN_TAG
T_WHITESPACE
T_CLASS
T_WHITESPACE
T_STRING
T_CONST
T_WHITESPACE
T_STRING
T_LNUMBER
 TOKEN_PARSE フラグを指定しなければ、最後から二番目のトークン (T_STRING) が T_PUBLIC と解釈されてしまいます。