در زبان C برنامه‌ای بنویسید که یک خط کد ساده شبیه عبارت‌های مورد استفاده در مفسرها (مثلاً "int a = b + 5;") را از ورودی بخواند و با استفاده از strtok از هدر string.h آن را به توکن‌هایی مانند شناسه‌ها، اعداد و عملگرها تقسیم کرده و هر توکن را در یک خط چاپ کند.

برای حل مسئله می‌توانید ابتدا با fgets یک بافر بخوانید، سپس با پیمایش رشته پیش‌پردازشی انجام دهید تا قبل و بعد عملگرهای تک‌کاراکتری (مثل + - * / = ( ) ;) فاصله اضافه کنید تا عملگرها به تنهایی توکن شوند. پس از آن از strtok با delimiterهای فضای سفید (" \t\n") برای گرفتن توکن‌ها استفاده کنید و تا بازگشت NULL در یک حلقه هر توکن را چاپ کنید. توجه داشته باشید strtok رشته را تغییر می‌دهد (بنابراین اگر نیاز به نگهداری رشته اصلی دارید، یک کپی بسازید) و در هنگام اضافه کردن فاصله‌ها از اندازه بافر جدید مطمئن شوید تا از سرریز جلوگیری شود؛ این روش همان مرحله‌ی lexical analysis در طراحی مفسر/کامپایلرها را شبیه‌سازی می‌کند.