مقدمه با پیشرفت‌های روزافزون در هوش مصنوعی و یادگیری عمیق، استنباط مدل‌های بزرگ زبان (LLM) به یک چالش جدی برای تولیدکنندگان تبدیل شده است. اکنون دیگر نمی‌توان تنها به مکانیزم‌های ساده مانند حلقه‌های generate() اتکا کرد. برای بارهای واقعی، انتخاب روش استنباط تأثیر قابل توجهی بر روی سرعت پردازش توکن‌ها،…