ارزیابی پرامپت؛ چطور کیفیت پاسخ AI را مقایسه کنیم؟

برای ارزیابی پرامپت، چند ورودی واقعی یا نمونه نماینده را ثابت نگه دارید، معیار موفقیت را پیش از دیدن پاسخ‌ها بنویسید و نسخه‌های دستور را در شرایط قابل مقایسه اجرا کنید. سپس خطاها، کیفیت و هزینه عملی استفاده را جدا بررسی کنید. یک پاسخ خوب یا یک نمونه انتخاب‌شده، برای نتیجه‌گیری درباره برتری همیشگی یک پرامپت کافی نیست.

این راهنما برای نویسنده، مدیر محتوا و تیمی است که از AI در یک کار تکرارشونده استفاده می‌کند. مثال‌ها مربوط به خلاصه‌سازی درخواست پشتیبانی فرضی‌اند. نتیجه‌ها داده آزمایش واقعی GPT Plus یا رتبه‌بندی عمومی مدل‌ها نیستند؛ هدف، طراحی یک روند سنجش قابل بازبینی است.

کار را به یک خروجی مشخص محدود کنید#

اگر یک پرامپت هم ترجمه، هم تحلیل، هم پاسخ مشتری و هم تولید کد انجام دهد، امتیاز کلی به‌سختی معنی پیدا می‌کند. ابتدا یک کار انتخاب کنید: «خلاصه یک پیام پشتیبانی در سه فیلد مسئله، اقدام انجام‌شده و سؤال باز». خروجی موفق باید با نیاز مصرف‌کننده بعدی سازگار باشد. برای این مثال، پاسخ زیبا اما دارای وضعیت ساختگی ناموفق است.

نسخه فعلی دستور را به‌عنوان خط مبنا ذخیره کنید. اگر بعداً فقط بهترین نسخه را نگه دارید، نمی‌دانید تغییر واقعاً چه اثری داشته است. تاریخ، مدل، تنظیم‌های در دسترس و منبع ورودی‌ها را ثبت کنید. تفاوت مدل یا زمینه گفتگو می‌تواند نتیجه را تغییر دهد، حتی اگر متن دستور یکسان باشد.

مجموعه نمونه را با حالت‌های معمول و دشوار بسازید#

پنج نمونه آموزشی می‌تواند شامل پیام روشن، پیام مبهم، پیام چندمسئله‌ای، پیام بدون اقدام انجام‌شده و پیام دارای دستور نامرتبط باشد. نمونه‌ها را فقط از مواردی انتخاب نکنید که نسخه جدید در آن‌ها خوب جواب داده است. اطلاعات هویتی و محرمانه را حذف کنید و حق استفاده از داده را بررسی کنید.

این مجموعه کوچک برای شروع و یافتن خطا مفید است، اما نماینده همه کاربران نیست. برای تصمیم مهم، نمونه بیشتری از شرایط واقعی لازم است. بخشی از داده را برای بررسی نهایی کنار بگذارید تا فقط روی همان نمونه‌های توسعه پرامپت تنظیم نکنید.

معیارها را قابل مشاهده بنویسید#

برای هر پاسخ، دقت، کامل بودن، نبود ادعای ساختگی و رعایت قالب را جدا بررسی کنید. «حرفه‌ای بودن» بدون تعریف، معیار ثابتی نیست. اگر لحن مهم است، توضیح دهید منظور کوتاهی، احترام، پرهیز از وعده یا ویژگی دیگری است. معیارها را به رفتار قابل دیدن در خروجی تبدیل کنید.

خطای بحرانی را از خطای جزئی جدا کنید. در مثال پشتیبانی، ساختن قول بازپرداخت می‌تواند بحرانی باشد؛ یک جمله کمی بلندتر ممکن است جزئی باشد. امتیاز کلی نباید خطای مهم را پشت خوبی‌های زبانی پنهان کند. برای هر رد شدن، دلیل و بخش شاهد را ثبت کنید تا اصلاح بعدی هدفمند باشد.

پرامپت برای بازبین پاسخ‌ها#

پاسخ‌های ناشناس A و B را فقط با معیارهای زیر و متن ورودی مقایسه کن. برای هر معیار، شاهد کوتاه از پاسخ و نتیجه قبول، رد یا نیازمند بررسی بده. طول بیشتر یا لحن قاطع را به‌تنهایی نشانه کیفیت ندان. اگر هر دو پاسخ خطای بحرانی دارند، هیچ‌کدام را برنده اعلام نکن. امتیاز و دلیل را جدا بنویس. معیار تازه اضافه نکن و پاسخ مرجع ناقص را قطعی فرض نکن.

بازبینی با مدل می‌تواند کمک کند اما باید خودش هم بررسی شود. ترتیب A و B را در چند نمونه عوض کنید و ناسازگاری‌ها را ببینید. داوری انسانی برای نمونه‌های مرزی و پیامدهای مهم لازم است. مرور سرویس ارزیابی مولد گوگل انواع ارزیابی را توضیح می‌دهد؛ روش ساده این مقاله به استفاده از آن سرویس وابسته نیست.

نسخه‌ها را با یک تغییر قابل توضیح مقایسه کنید#

در نسخه دوم، مثلاً فقط قاعده «اطلاعات ناموجود را صریحاً نامعلوم بنویس» اضافه کنید. ورودی و تنظیم‌های دیگر را ثابت نگه دارید. اگر هم‌زمان نقش، قالب، نمونه‌ها و مدل را عوض کنید، علت بهبود روشن نمی‌شود. تغییر کوچک و مستند، اصلاح بعدی را آسان‌تر می‌کند.

در بعضی کارها پاسخ‌ها بین اجراها متفاوت‌اند. برای نمونه‌های مهم، چند اجرا ثبت کنید و فقط بهترین خروجی را انتخاب نکنید. تعداد تکرار را با اثر خطا و هزینه آزمایش هماهنگ کنید. نبود خطا در چند اجرا، تضمین نبود خطا در استفاده آینده نیست.

نتیجه را با مخرج درست گزارش کنید#

اگر نسخه A در چهار نمونه از پنج نمونه پذیرفته شده، نرخ پذیرش همین مجموعه ۸۰ درصد است. این عدد به معنی دقت ۸۰ درصد روی همه کاربران نیست. اگر نسخه B پنج مورد را قبول شود اما یک قول ساختگی بحرانی داشته باشد که معیار اولیه ندیده، باید معیار را اصلاح و هر دو نسخه را دوباره بررسی کنید.

خروجی نهایی می‌تواند شامل تعداد نمونه، نوع داده، خطاهای بحرانی، موارد نیازمند بررسی و تصمیم باشد. اگر معیارها ناسازگارند، تصمیم «نیازمند آزمایش بیشتر» معتبر است. انتخاب اجباری برنده، وقتی شواهد کافی نیست، فقط عدم قطعیت را پنهان می‌کند.

دفتر نسخه و برنامه بازآزمایی#

متن پرامپت، مجموعه ورودی، معیارها و پاسخ‌های خام را با شماره نسخه نگه دارید. پس از تغییر مدل، افزودن ابزار یا تغییر منبع داده، مجموعه پایه را دوباره اجرا کنید. خطاهای تازه تولید را نیز با حذف اطلاعات حساس به نمونه‌های بعدی اضافه کنید تا آزمون از تجربه واقعی رشد کند.

برای نوشتن دستور اولیه، نکات پرامپت‌نویسی و برای کنترل قالب ماشینی، خروجی JSON را ببینید. در GPT Plus می‌توانید نسخه‌ها و معیارها را آماده کنید؛ تصمیم درباره استفاده پایدار را بر اساس مجموعه نمونه، خطا و نیاز واقعی خود بگیرید.

فایل تمرین همراه مقاله#

دانلود کاربرگ CSV و دریافت پرامپت متنی برای شروع در دسترس‌اند. کاربرگ شامل نمونه آموزشی است؛ اطلاعات مجاز و تأییدشده خود را جایگزین کنید و قبل از استفاده، نتیجه را بازبینی کنید.

یادداشت تحریریه: این راهنما با کمک هوش مصنوعی تهیه و از نظر منابع، مثال‌ها و ساختار بازبینی شده است. تصویر جلد، تصویرسازی مفهومی تولیدشده با هوش مصنوعی است.