Funkcje tokenizera są interfejsem dostępu do wewnętrznego tokenizera wbudowanego w silniku Zend. Używając tych funkcji możesz napisać swoje własne narzędzia do analizy lub modyfikacji kodu PHP bez potrzeby zajmowania się specyfikacją języka na poziomie analizy leksykalnej.
Patrz także dodatek o tokenach.
Do zbudowania tego rozszerzenia nie są wymagane żadne zewnętrzne biblioteki.
Począwszy od PHP 4.3.0 funkcje te są dostępne domyślnie. Dla starszych
wersji musisz skonfigurować i skompilować PHP z opcją
--enable-tokenizer
. Możesz wyłączyć
wsparcie tokenizera opcją --disable-tokenizer
.
PHP w wersji dla systemów Windows posiada wbudowaną obsługę dla tego rozszerzenia. Nie trzeba ładować żadnych dodatkowych rozszerzeń aby korzystać z tych funkcji.
Notatka: Wbudowane wsparcie dla tokenizera dostępne jest od PHP 4.3.0.
Kiedy rozszerzenie zostało skompilowane z PHP lub załadowane dynamicznie, lista tokenów zdefiniowanych jako stałe znajduje się w Dodatek Q.
Poniżej prosty skrypt PHP używający tokenizera który wczyta plik PHP, usunie wszystkie komentarze ze źródła i wydrukuje tylko czysty kod.
Poprzedni | Spis treści | Następny |
tidyNode::getParent | Początek rozdziału | token_get_all |