یک برنامه پایتون بنویسید که یک متن ورودی را با استفاده از کتابخانه nltk توکنایز، پاک‌سازی (حذف حروف بزرگ و علائم نگارشی و حذف stopwords) کند و پنج کلمه پرتکرار را همراه با فراوانی‌شان نمایش دهد.

برای حل این مسئله از Python و کتابخانه nltk استفاده کنید: ابتدا بسته‌های مورد نیاز مثل 'punkt' و 'stopwords' را با nltk.download دانلود کنید، سپس با nltk.word_tokenize متن را به توکن‌ها تبدیل کنید، همه حروف را به حروف کوچک تبدیل و با توابع یا regex علائم نگارشی را حذف کنید، stopwords فارسی یا انگلیسی را از توکن‌ها کنار بگذارید و با collections.Counter فراوانی هر کلمه را محاسبه کرده و پنج کلمه پرتکرار را چاپ کنید. نکات: نرمال‌سازی (حذف اعداد یا شکل‌دهی واحدها) و استفاده از lemmatizer یا stemmer می‌تواند کیفیت نتایج در مسائل یادگیری ماشین افزایش دهد؛ برای متن‌های فارسی ممکن است نیاز به مجموعه stopwords مناسب یا پردازش پیشرفته‌تر باشد.