یک برنامه پایتون بنویسید که با استفاده از کتابخانه nltk یک متن ورودی را توکنایز کند، کلمات توقف را حذف کرده و فراوانی هر کلمه را به صورت یک دیکشنری بازگرداند.

قبل از توکنایز کردن متن با word_tokenize حتماً متن را به حروف کوچک تبدیل و با regex یا str.translate علائم نگارشی را حذف کنید چون word_tokenize علائم را هم جدا می‌کند و روی شمارش تاثیر می‌گذارد. دانلود ماژول‌های nltk با nltk.download('punkt') و nltk.download('stopwords') را فراموش نکنید و برای زبان‌های غیرانگلیسی لیست کلمات توقف مناسب یا stemmer/lemmatizer مربوطه را استفاده کنید. برای شمارش از collections.Counter استفاده کنید که ساده و بهینه است و در صورت نیاز تعداد top-N را با most_common برگردانید. اگر متن بزرگ است، پردازش دسته‌ای و حذف توقف‌ها قبل از شمارش می‌تواند حافظه و زمان اجرا را بهبود دهد.