توکن و پنجره‌ی متن (Context Window) در هوش مصنوعی چیست؟

اگر با هوش مصنوعی کار می‌کنید — به‌خصوص با API — دو واژه را زیاد می‌شنوید: توکن (Token) و پنجره‌ی متن (Context Window). فهم این دو، هم به شما کمک می‌کند پاسخ بهتری بگیرید و هم هزینه‌تان را کنترل کنید.

توکن چیست؟

مدل‌های زبانی متن را به‌صورت کلمه نمی‌بینند، بلکه آن را به قطعات کوچک‌تری به نام توکن می‌شکنند. هر توکن تقریباً بخشی از یک کلمه است. به‌طور تقریبی در انگلیسی، هر ۱ توکن ≈ ۴ کاراکتر یا حدود ۳/۴ یک کلمه است. مثلاً جمله‌ی «هوش مصنوعی عالی است» چند توکن می‌شود، نه لزوماً به تعداد کلمات.

چرا مهم است؟ چون هزینه‌ی استفاده از API بر اساس تعداد توکن (ورودی + خروجی) حساب می‌شود. متن کوتاه‌تر و دقیق‌تر = توکن کمتر = هزینه‌ی کمتر.

پنجره‌ی متن (Context Window) چیست؟

هر مدل می‌تواند فقط مقدار مشخصی توکن را یک‌جا ببیند و پردازش کند؛ به این محدودیت پنجره‌ی متن می‌گویند. این پنجره شامل هم ورودی شما و هم پاسخ مدل است. مثل میز کاری است که فقط تعداد مشخصی کاغذ روی آن جا می‌شود.

• اگر متن شما از پنجره بزرگ‌تر شود، مدل بخش‌های قدیمی‌تر را «فراموش» می‌کند.
• مدل‌های جدید پنجره‌های بسیار بزرگ دارند (ده‌ها تا صدها هزار توکن) و می‌توانند کتاب‌ها را یک‌جا بخوانند.

چرا این دو مفهوم برای شما مهم‌اند؟

• کنترل هزینه: پرامپت‌های کوتاه‌تر و حذف اطلاعات اضافی، توکن و هزینه را کم می‌کند.
• کیفیت پاسخ: در گفت‌وگوهای خیلی طولانی، مدل ممکن است ابتدای مکالمه را از یاد ببرد؛ نکات مهم را دوباره یادآوری کنید.
• طراحی اپلیکیشن: اگر اپ هوش مصنوعی می‌سازید، باید مصرف توکن را مدیریت کنید (اینجاست که RAG کمک می‌کند فقط بخش‌های مرتبط به مدل داده شود).

یک نکته‌ی کاربردی

قانون سرانگشتی: ۱۰۰۰ توکن ≈ ۷۵۰ کلمه‌ی انگلیسی (در فارسی به‌خاطر ساختار متفاوت، تعداد توکن معمولاً بیشتر است). پس وقتی می‌گویند مدلی پنجره‌ی ۱۲۸ هزار توکنی دارد، یعنی می‌تواند چیزی حدود یک کتاب متوسط را یک‌جا پردازش کند.

جمع‌بندی

توکن واحد اندازه‌گیریِ متن برای مدل‌هاست و پنجره‌ی متن، ظرفیتِ حافظه‌ی کوتاه‌مدتِ آن. فهم این دو به شما کمک می‌کند هم پاسخ‌های باکیفیت‌تر بگیرید و هم هزینه‌ی هوش مصنوعی‌تان را بهینه کنید. برای نوشتن ورودیِ بهتر، پرامپت‌نویسی حرفه‌ای را ببینید.