مدل‌های زبانی و متن فارسی: چرا خروجی همیشه دقیق نیست؟

اگر با یک مدل زبانی بزرگ (LLM) متن فارسی تولید کرده باشید، حتماً به مواردی برخورده‌اید که خروجی از نظر دستوری درست به نظر می‌رسد اما در جزئیات می‌لنگد: نیم‌فاصله‌های نامنظم، افعال ناهمخوان با فاعل، ترکیب‌های نادرست اضافه، یا تغییر ناگهانی لحن در میانه متن. این مشکل معمولاً به «هوش» مدل مربوط نیست، بلکه ریشه در لایه‌های پایین‌تر دارد: نحوه تقسیم متن به توکن، ساختار صرفی و نحوی فارسی و کیفیت داده‌ای که مدل روی آن آموزش دیده است.

فارسی زبانی است با ویژگی‌های خاص؛ از صرف فعل‌های پیوسته و شناسه‌های چسبیده گرفته تا ابهام‌های معنایی که فقط با بافت جمله رفع می‌شوند. مدل‌های زبانی که عمدتاً روی انگلیسی طراحی شده‌اند، این ویژگی‌ها را نه به‌صورت بومی بلکه از طریق نگاشت به واحدهای زیرکلمه‌ای یاد می‌گیرند؛ و همین‌جاست که بخشی از دقت از دست می‌رود.

در این مقاله بررسی می‌کنیم چرا مدل‌های زبانی در تولید متن فارسی خطا می‌کنند، توکن‌سازی فارسی چه چالشی ایجاد می‌کند و با چه روش‌هایی می‌توان کیفیت خروجی را به‌طور محسوس بالا برد. اگر به برنامه‌نویسی پایتون علاقه دارید، این مباحث پیش‌نیاز خوبی برای کار با کتابخانه‌های NLP است.

توکن‌سازی فارسی؛ ریشه‌ای‌ترین گلوگاه

مدل‌های زبانی متن را به‌صورت کاراکتر به کاراکتر پردازش نمی‌کنند؛ آن را به واحدهایی به نام توکن تقسیم می‌کنند. در انگلیسی، توکن‌ها اغلب نزدیک به کلمه یا بخشی از کلمه هستند. اما در فارسی، به دلیل نبود فاصله استاندارد میان اجزای واژه (مثل «می‌روم»، «کتاب‌ها»، «نمی‌دانم»)، توکنایزرهای عمومی که برای انگلیسی ساخته شده‌اند، این واژه‌ها را به قطعات بی‌معنا می‌شکنند.

نتیجه این است که مدل برای بیان یک مفهوم ساده، توکن‌های بیشتری مصرف می‌کند. این هم هزینه محاسباتی را بالا می‌برد و هم پنجره بافت (context window) را سریع‌تر پر می‌کند. بدتر از آن، چون هر واژه به چند توکن تکه‌تکه تقسیم می‌شود، مدل باید رابطه میان این تکه‌ها را هم یاد بگیرد و این فرایند یادگیری برای زبان‌هایی با منابع کمتر دشوارتر است.

مقایسه توکن‌سازی در انگلیسی و فارسی

این جدول نشان می‌دهد که چرا یک توکنایزر انگلیسی‌محور برای فارسی بهینه نیست. برای بهبود، باید از توکنایزرهایی استفاده کرد که روی پیکره فارسی آموزش دیده‌اند یا حداقل واژگان آن‌ها شامل زیرواژه‌های پرتکرار فارسی باشد.

ساختار دستوری فارسی و ابهام‌های آن

فارسی از نظر ترتیب اجزای جمله انعطاف‌پذیر است؛ فاعل، مفعول و فعل می‌توانند جابه‌جا شوند بدون آنکه معنا از دست برود. این آزادی برای انسان طبیعی است، اما برای مدلی که الگوهای آماری را از داده یاد می‌گیرد، ابهام ایجاد می‌کند. مدل باید از بافت بفهمد کدام کلمه فاعل است و کدام مفعول؛ کاری که در غیاب نشانه‌های صریح، خطاپذیر است.

افزون بر این، فارسی در نوشتار رسمی و محاوره‌ای تفاوت‌های زیادی دارد. یک مدل ممکن است در یک پاراگراف، ناگهان از لحن کتابی به لحن گفتاری بپرد؛ چون داده آموزشی آن ترکیبی از هر دو بوده و مرز کاربردشان را به‌درستی یاد نگرفته است. ضمایر چسبیده، افعال مرکب و اصطلاحات نیز لایه‌های دیگری از پیچیدگی‌اند که هر کدام احتمال خطا را بالا می‌برند.

نمونه‌ای از خطاهای رایج دستوری در خروجی مدل‌ها

• ناهمخوانی شناسه فعل با فاعل در جمله‌های مرکب طولانی
• حذف نابجای «را» یا افزودن آن به جای نامناسب
• استفاده از «می‌باشد» در متن غیررسمی به‌جای «است»
• نیم‌فاصله نادرست در واژه‌هایی مثل «کتابها» به‌جای «کتاب‌ها»
• ترکیب نادرست اضافه و صفت در عبارت‌های تخصصی

نقش داده آموزشی و حجم پیکره فارسی

کیفیت خروجی هر مدل زبانی، بازتابی از کیفیت داده‌ای است که روی آن آموزش دیده. سهم فارسی در پیکره‌های بزرگ چندزبانه نسبت به انگلیسی اندک است و بخش قابل توجهی از همین سهم هم از منابع وب با کیفیت نامطمئن جمع‌آوری شده. نتیجه اینکه مدل، الگوهای پرتکرار وب را یاد می‌گیرد که همیشه با فارسی معیار هم‌خوان نیستند.

راه‌حل این مشکل دو بخش دارد: نخست، ساخت و پاک‌سازی پیکره فارسی با کیفیت بالا (متون ادبی، مطبوعات معتبر، اسناد رسمی و محتوای آموزشی)؛ دوم، استفاده از روش‌های تنظیم دقیق (fine-tuning) روی داده فارسی برای کاربردی خاص. مدل‌های چندزبانه امروزی در درک فارسی بهتر از گذشته‌اند، اما هنوز برای تولید متن تخصصی به بازبینی انسانی نیاز دارند.

هرچه پیکره فارسی منظم‌تر و از نظر دستوری یکدست‌تر باشد، مدل در تولید متن، احتمال کمتری برای انتخاب ساختارهای نادرست خواهد داشت.

نمونه کد: سنجش توکن‌سازی فارسی با پایتون

برای اینکه تصویر روشنی از چالش توکن‌سازی داشته باشید، می‌توانید با کتابخانه‌های رایج پایتون، متن فارسی را توکن‌سازی و شمارش کنید. این کار به شما نشان می‌دهد یک متن فارسی چقدر «گران‌تر» از متن انگلیسی معادلش تمام می‌شود.

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-multilingual-cased")

fa_text = "مدل‌های زبانی در تولید متن فارسی با چالش توکن‌سازی روبه‌رو هستند."
en_text = "Language models face tokenization challenges in Persian text generation."

fa_tokens = tokenizer.tokenize(fa_text)
en_tokens = tokenizer.tokenize(en_text)

print("Persian tokens:", len(fa_tokens))
print("English tokens:", len(en_tokens))
print("Persian token list:", fa_tokens[:15])

با اجرای این کد معمولاً می‌بینید که تعداد توکن‌های متن فارسی بیشتر از معادل انگلیسی است و فهرست توکن‌ها شامل قطعاتی است که به‌تنهایی معنای کاملی ندارند. این همان نکته‌ای است که بر هزینه و دقت اثر می‌گذارد.

نمونه کد: نرمال‌سازی متن فارسی پیش از ارسال به مدل

یکی از مؤثرترین و کم‌هزینه‌ترین راهکارها، نرمال‌سازی متن ورودی است. یکسان‌سازی حروف عربی و فارسی، اصلاح نیم‌فاصله و حذف کاراکترهای کنترلی، کیفیت خروجی را به‌طور محسوس بهتر می‌کند. کتابخانه hazm در پایتون این کار را ساده می‌کند.

from hazm import Normalizer

normalizer = Normalizer()

raw_text = "كتابهاي  فارسي را مي‌خوانم  و از آن لذت ميبرم"
clean_text = normalizer.normalize(raw_text)

print(clean_text)
# خروجی: کتاب‌های فارسی را می‌خوانم و از آن لذت می‌برم

توجه کنید که نرمال‌سازی نباید معنا را تغییر دهد؛ هدف فقط یکدست‌سازی صورت نوشتاری است تا مدل با نسخه‌های مختلف یک واژه روبه‌رو نشود. برای کارهای جدی‌تر در NLP فارسی، آشنایی با ابزارهایی مثل hazm و parsivar ضروری است.

راهکارهای عملی برای بهبود دقت خروجی فارسی

خبر خوب این است که نیازی نیست منتظر مدل‌های جدید بمانید. با مجموعه‌ای از تکنیک‌ها می‌توانید در همان مدل موجود، کیفیت خروجی را بالا ببرید. این تکنیک‌ها از پیش‌پردازش ساده تا انتخاب هوشمندانه مدل و طراحی پرامپت را شامل می‌شوند.

• نرمال‌سازی ورودی: یکسان‌سازی حروف، نیم‌فاصله و اعداد پیش از ارسال به مدل.
• انتخاب مدل مناسب: مدل‌هایی که سهم بیشتری از داده آموزشی‌شان فارسی است، معمولاً خروجی روان‌تری می‌دهند.
• پرامپت ساختارمند: مشخص کردن لحن، سطح رسمیت و قالب خروجی در پرامپت، خطا را کاهش می‌دهد.
• تنظیم دقیق روی داده فارسی: برای کاربردهای تخصصی، آموزش مدل روی پیکره دامنه‌محور بسیار اثرگذار است.
• بازبینی خودکار: استفاده از ابزارهای غلط‌یابی و بررسی نیم‌فاصله در خروجی نهایی.
• ارزیابی انسانی: هیچ معیار خودکاری جای خواندن خروجی توسط انسان را نمی‌گیرد.

اگر قصد دارید مدل‌ها را روی سیستم خود اجرا کنید، راهنمای بهترین ابزارهای اجرای هوش مصنوعی لوکال نقطه شروع مناسبی است. همچنین برای درک کاربردهای عملی این فناوری، مقاله چت‌بات‌ها؛ دستیار دیجیتال شما دید خوبی از کاربرد مدل‌های زبانی در محصولات واقعی می‌دهد.

اشتباه‌های رایج در کار با مدل‌های زبانی فارسی

• فرض اینکه مدل انگلیسی‌محور به‌طور طبیعی فارسی روان تولید می‌کند.
• نادیده گرفتن نرمال‌سازی متن و ارسال ورودی خام و ناهمگون.
• سنجش کیفیت فقط با یک نمونه کوتاه و تعمیم آن به همه کاربردها.
• استفاده از معیارهای انگلیسی برای ارزیابی خروجی فارسی.
• بی‌توجهی به تفاوت لحن رسمی و محاوره‌ای در طراحی پرامپت.
• عدم بازبینی انسانی در محتوای حساس یا تخصصی.

جمع‌بندی و قدم بعدی

دقت مدل‌های زبانی در تولید متن فارسی، بیش از آنکه به «هوش» مدل وابسته باشد، به توکن‌سازی، ساختار دستوری و کیفیت داده بستگی دارد. با نرمال‌سازی ورودی، انتخاب مدل مناسب، پرامپت ساختارمند و بازبینی خروجی می‌توانید بخش زیادی از خطاها را کاهش دهید.

قدم مشخص پیشنهادی: همین امروز یک متن فارسی از کاربرد واقعی خود انتخاب کنید، آن را با کد نمونه این مقاله نرمال‌سازی کنید و تعداد توکن‌هایش را با نسخه خام مقایسه کنید. اگر می‌خواهید مهارت برنامه‌نویسی لازم برای این کار را از پایه بسازید، دوره برنامه‌نویسی پایتون از صفر تا پیشرفته در آکادمی webpy مسیر مناسبی است.

پرسش‌های پرتکرار

چرا مدل‌های زبانی در متن فارسی خطا می‌کنند؟

دلیل اصلی ترکیبی از توکن‌سازی نامناسب برای فارسی، ساختار دستوری خاص این زبان (مثل نیم‌فاصله و شناسه‌های چسبیده) و سهم کم داده باکیفیت فارسی در آموزش مدل است.

آیا مدل‌های چندزبانه فارسی را خوب پشتیبانی می‌کنند؟

بهتر از گذشته، اما نه بی‌نقص. این مدل‌ها معمولاً فارسی روان تولید می‌کنند ولی در جزئیات دستوری، نیم‌فاصله و لحن یکدست، به بازبینی انسانی و نرمال‌سازی ورودی نیاز دارند.

نرمال‌سازی متن فارسی چه تأثیری بر خروجی دارد؟

نرمال‌سازی حروف هم‌شکل، نیم‌فاصله و اعداد باعث می‌شود مدل با نسخه‌های مختلف یک واژه روبه‌رو نشود و احتمال خطا کاهش یابد. این کار هزینه محاسباتی را هم کمی پایین می‌آورد.

چطور تعداد توکن‌های یک متن فارسی را بشمارم؟

با استفاده از کتابخانه transformers در پایتون و توکنایزر یک مدل چندزبانه می‌توانید متن را توکن‌سازی و تعداد توکن‌ها را بشمارید؛ نمونه کد آن در این مقاله آمده است.