وقتی صحبت از آزمون‌های زبان انگلیسی و به‌خصوص Duolingo English Test (DET) می‌شود، یکی از پرسش‌های مهم داوطلبان این است که پاسخ‌های Speaking و Writing چگونه نمره‌دهی می‌شوند.

آیا پاسخ داوطلب را یک انسان بررسی می‌کند؟ آیا هوش مصنوعی فقط به دنبال اشتباهات گرامری است؟ آیا ممکن است یک مدل زبانی مانند ChatGPT پاسخ را بخواند و بر اساس یک دستور ساده به آن نمره بدهد؟

پاسخ، بسیار پیچیده‌تر از این تصورهاست.

پژوهش‌ها و توضیحات فنی منتشرشده از سوی تیم Duolingo نشان می‌دهند که نمره‌دهی بخش‌های Speaking و Writing در DET حاصل ترکیبی از Machine Learning، Deep Learning، پردازش زبان طبیعی، پردازش گفتار، ویژگی‌های زبانی و قواعد کنترلی است. در سال 2026 نیز Duolingo همچنان در حال انتشار پژوهش‌های جدید درباره ارزیابی خودکار زبان، Speaking و Writing است.

در نتیجه، برای درک نمره‌دهی DET باید از تصور ساده «هوش مصنوعی جواب را می‌خواند و نمره می‌دهد» فاصله بگیریم.

نمره DET فقط یک عدد نیست

Duolingo English Test در حال حاضر نتیجه را در مقیاس 10 تا 160 گزارش می‌کند و نمره‌ها در فواصل پنج‌نمره‌ای ارائه می‌شوند.

در گزارش نمره، علاوه بر Overall Score، چهار نمره مهارتی نیز ارائه می‌شود:

• Reading
• Writing
• Listening
• Speaking

همچنین چهار Integrated Subscore وجود دارد:

• Literacy = Reading + Writing
• Comprehension = Reading + Listening
• Conversation = Listening + Speaking
• Production = Speaking + Writing

بر اساس توضیح رسمی Duolingo، هر Integrated Subscore از میانگین دو Individual Subscore مربوطه به دست می‌آید و Overall Score نیز از میانگین چهار مهارت اصلی محاسبه می‌شود و به نزدیک‌ترین مضرب 5 گرد می‌شود. این ساختار از سال 2024 تغییر مهمی در نحوه گزارش نتایج DET ایجاد کرد و مقایسه مهارت‌های چهارگانه با آزمون‌هایی مانند IELTS و TOEFL را ساده‌تر کرد.

بنابراین، اگر هدف شما کسب نمره مشخصی در DET است، نباید فقط به Overall Score توجه کنید. ممکن است دانشگاه یا برنامه‌ای که برای آن درخواست می‌دهید علاوه بر نمره کل، برای یکی از مهارت‌ها نیز حداقل تعیین کرده باشد.

چهار رویکرد اصلی برای نمره‌دهی خودکار

برای درک فناوری مورد استفاده در DET ابتدا باید بدانیم Automated Scoring به یک روش واحد محدود نمی‌شود.

به‌طور کلی می‌توان چهار رویکرد را در نظر گرفت:

1. Rule-Based Scoring

در این روش مجموعه‌ای از قواعد از قبل تعریف می‌شوند.

برای مثال، در یک سؤال با پاسخ مشخص می‌توان بررسی کرد که آیا پاسخ کاربر با پاسخ صحیح مطابقت دارد یا خیر.

این روش برای سؤال‌هایی که پاسخ درست و غلط مشخص دارند بسیار مناسب است و Duolingo نیز برای بخش قابل توجهی از سؤال‌های Reading و Listening از روش‌های ساختاریافته و مبتنی بر قواعد استفاده می‌کند.

2. Machine Learning

در این رویکرد، سیستم به جای آنکه برای هر پاسخ یک مجموعه قانون ثابت داشته باشد، با استفاده از داده‌های آموزشی یاد می‌گیرد که چه ویژگی‌هایی با نمره‌های انسانی ارتباط دارند.

برای مثال، در Writing می‌توان ویژگی‌هایی مربوط به واژگان، دستور زبان، ساختار متن و ارتباط پاسخ با موضوع را استخراج کرد و سپس این ویژگی‌ها را وارد یک مدل آماری یا یادگیری ماشین کرد.

3. Deep Learning

در Deep Learning مدل‌ها می‌توانند الگوهای پیچیده‌تری را از داده‌ها استخراج کنند.

این فناوری به‌خصوص در حوزه‌هایی مانند:

• Speech Recognition
• Natural Language Processing
• Pronunciation Analysis
• Semantic Analysis

کاربرد دارد.

4. Hybrid Scoring

رویکرد چهارم ترکیبی از روش‌های مختلف است.

طبق توضیح منتشرشده درباره مدل نمره‌دهی DET، سیستم Duolingo برای Speaking و Writing از یک رویکرد Hybrid استفاده می‌کند؛ یعنی مدل‌های Machine Learning در مرکز سیستم قرار دارند، برخی ویژگی‌ها با فناوری‌های Deep Learning تولید می‌شوند و یک لایه Rule-Based نیز برای کنترل برخی پاسخ‌های نامعتبر یا اصطلاحاً bad-faith responses روی خروجی مدل اعمال می‌شود.

این نکته مهم است؛ زیرا نشان می‌دهد سیستم نمره‌دهی DET یک مدل زبانی عمومی نیست که صرفاً یک متن را دریافت کند و بر اساس یک Prompt برای آن نمره تعیین کند.

آیا ChatGPT پاسخ شما را نمره می‌دهد؟

یکی از برداشت‌های اشتباه درباره آزمون‌های زبان مجهز به AI این است که تصور کنیم سیستم چیزی شبیه این کار انجام می‌دهد:

«این پاسخ را بر اساس معیارهای آزمون IELTS یا Duolingo از 0 تا 160 نمره بده.»

اما سیستم نمره‌دهی DET چنین ساختار ساده‌ای ندارد.

در توضیحات فنی Duolingo، پاسخ Speaking یا Writing ابتدا به مجموعه‌ای از Features تبدیل می‌شود. سپس این ویژگی‌ها وارد مدل‌های یادگیری ماشین می‌شوند و مدل خروجی را بر اساس ارتباط آن ویژگی‌ها با عملکرد ارزیابی‌شده توسط متخصصان تعیین می‌کند.

نکته بسیار مهم این است که متخصصان زبان و ارزیابی آموزشی همچنان نقش اصلی را در تعیین چیزی که باید اندازه‌گیری شود ایفا می‌کنند.

به بیان ساده:

انسان تعیین می‌کند چه چیزی نشانه مهارت زبان انگلیسی است؛ مدل یادگیری ماشین یاد می‌گیرد چگونه این ویژگی‌ها را در پاسخ‌های واقعی تشخیص دهد.

این تفاوت بسیار مهمی میان یک سیستم تخصصی Automated Scoring و استفاده عمومی از یک LLM ایجاد می‌کند.

در Speaking دقیقاً چه چیزهایی بررسی می‌شود؟

Speaking یکی از پیچیده‌ترین مهارت‌های زبان برای ارزیابی خودکار است؛ زیرا پاسخ داوطلب فقط یک متن نیست.

صدای فرد، سرعت صحبت کردن، مکث‌ها، تلفظ، ساختار جمله، واژگان، ارتباط ایده‌ها و محتوای پاسخ همگی می‌توانند اطلاعاتی درباره توانایی زبانی او ارائه کنند.

Duolingo در توضیحات رسمی خود معیارهایی مانند موارد زیر را برای ارزیابی Speaking مطرح کرده است:

Content

آیا پاسخ به سؤال مربوط است؟

آیا داوطلب واقعاً موضوع را توسعه داده است یا فقط چند جمله کوتاه و عمومی گفته است؟

Discourse Coherence

آیا ایده‌ها منطقی و منسجم به یکدیگر متصل شده‌اند؟

آیا شنونده می‌تواند مسیر فکری گوینده را دنبال کند؟

Vocabulary

سیستم می‌تواند ویژگی‌هایی مانند تنوع واژگان و سطح استفاده از واژگان را بررسی کند.

Grammar

تنوع و پیچیدگی ساختارهای دستوری و همچنین میزان دقت آنها اهمیت دارد.

Fluency

سرعت صحبت کردن، نحوه قطعه‌بندی گفتار و برخی ویژگی‌های مربوط به روانی بیان بررسی می‌شوند.

Pronunciation

در تلفظ، هدف صرفاً «شبیه Native Speaker بودن» نیست.

یکی از پژوهش‌های جدید Duolingo روی Intelligibility یا قابل‌فهم‌بودن گفتار تمرکز دارد؛ یعنی اینکه تلفظ تا چه اندازه برای شنونده قابل درک است. این رویکرد با ایده قدیمی «تلفظ باید کاملاً شبیه یک گویشور بومی باشد» تفاوت دارد.

این موضوع برای زبان‌آموزان بسیار مهم است.

هدف Speaking در آزمون، نمایش یک لهجه خاص نیست؛ بلکه توانایی استفاده قابل‌فهم، منسجم و مؤثر از زبان انگلیسی است.

در Writing چه چیزهایی اهمیت دارد؟

در Writing نیز مسئله فقط تعداد خطاهای گرامری نیست.

پاسخ نوشتاری باید از جنبه‌های مختلف بررسی شود؛ از جمله:

• ارتباط محتوا با سؤال
• توسعه ایده‌ها
• انسجام و سازمان‌دهی متن
• تنوع واژگان
• سطح و تنوع ساختارهای دستوری
• دقت گرامری
• کیفیت کلی تولید زبانی

به همین دلیل، ممکن است متنی از نظر Grammar نسبتاً درست باشد اما به دلیل پاسخ ناقص یا ضعیف به موضوع، عملکرد مطلوبی نداشته باشد.

برعکس، استفاده از چند واژه دشوار نیز به‌تنهایی تضمین‌کننده نمره بالا نیست.

در واقع، چیزی که سیستم تلاش می‌کند اندازه‌گیری کند مجموعه‌ای از ویژگی‌های مرتبط با توانایی واقعی تولید زبان است.

نقش LLMها در این فرآیند چیست؟

یکی از بخش‌های جالب تحقیقات جدید این است که برخی ویژگی‌هایی که وارد سیستم نمره‌دهی می‌شوند می‌توانند با کمک مدل‌های زبانی بزرگ یا Large Language Models (LLMs) تولید یا برچسب‌گذاری شوند.

برای مثال، پژوهش Phoebe Mulcaire و Nitin Madnani درباره استفاده از LLMها برای برچسب‌گذاری ویژگی‌های زبانی نشان می‌دهد که مدل‌های زبانی می‌توانند در تولید داده‌های آموزشی برای برخی ویژگی‌های پیچیده زبانی مورد استفاده قرار گیرند.

اما این موضوع با این ادعا که «LLM مستقیماً نمره نهایی داوطلب را تعیین می‌کند» یکسان نیست.

در یک سیستم ارزیابی حرفه‌ای، باید بین این مراحل تفاوت قائل شد:

LLM → استخراج یا تولید برخی اطلاعات زبانی → Feature Engineering → مدل نمره‌دهی → کنترل‌های کیفیت و امنیت → Score

این معماری بسیار متفاوت از یک Chatbot عمومی است.

چرا «Feature» در نمره‌دهی اهمیت زیادی دارد؟

یکی از مهم‌ترین بخش‌های پژوهش جدید درباره نمره‌دهی DET، توجه به Features است.

Feature را می‌توان به زبان ساده «ویژگی قابل اندازه‌گیری» دانست.

فرض کنید می‌خواهیم Speaking یک داوطلب را بررسی کنیم.

به جای اینکه سیستم فقط بگوید:

«این پاسخ خوب است.»

می‌توانیم ویژگی‌هایی مانند اینها را استخراج کنیم:

• سرعت گفتار
• میزان مکث
• طول و ساختار جملات
• تنوع واژگان
• پیچیدگی نحوی
• میزان ارتباط پاسخ با سؤال
• انسجام گفتار
• ویژگی‌های تلفظ
• قابل‌فهم بودن گفتار
• میزان توسعه ایده‌ها

سپس مجموعه این اطلاعات وارد یک مدل آماری یا Machine Learning می‌شود.

بنابراین نمره نهایی نتیجه یک ترکیب چندبعدی از شواهد زبانی است، نه نتیجه یک عامل واحد.

چرا انسان هنوز در پشت سیستم حضور دارد؟

ممکن است این سؤال مطرح شود که اگر AI می‌تواند پاسخ‌ها را ارزیابی کند، نقش متخصصان زبان چیست؟

پاسخ این است که در یک سیستم ارزیابی معتبر، مسئله اصلی فقط ساختن یک مدل پیش‌بینی‌کننده نیست.

ابتدا باید مشخص شود:

چه چیزی را می‌خواهیم اندازه‌گیری کنیم؟

برای مثال، آیا Speaking خوب یعنی:

• تلفظ شبیه Native؟
• سرعت زیاد؟
• استفاده از واژگان دشوار؟
• پاسخ طولانی؟
• یا ترکیبی از ارتباط محتوا، انسجام، واژگان، Grammar، Fluency و Pronunciation؟

این تصمیم‌ها ماهیت آموزشی و روان‌سنجی دارند.

در توضیحات پژوهشی Duolingo نیز بر این موضوع تأکید شده که ساختارها و ویژگی‌هایی که مدل اندازه‌گیری می‌کند، بر اساس دانش و تخصص انسانی در حوزه زبان و ارزیابی تعیین می‌شوند. این موضوع با دیدگاه گسترده‌تر پژوهشگران حوزه Automated Scoring نیز همخوان است؛ یعنی ساخت یک سیستم نمره‌دهی معتبر فقط یک مسئله Machine Learning نیست و به زبان‌شناسی، روان‌سنجی، طراحی آزمون و ارزیابی اعتبار نیز وابسته است.

آیا همه سؤال‌های Speaking و Writing وزن یکسانی دارند؟

خیر؛ این تصور نیز می‌تواند گمراه‌کننده باشد.

یکی از نکات قابل توجه در پژوهش جدید Madnani، Mulcaire و Cai، توضیح درباره نحوه مشارکت انواع مختلف Taskها در نمره‌های Speaking و Writing است.

به عبارت دیگر، برای فهم نمره نهایی نمی‌توان صرفاً گفت:

«هر سؤال یک امتیاز دارد و مجموع امتیازها نمره من را می‌سازد.»

سیستم نمره‌دهی بر اساس مدل‌های آماری و ویژگی‌های مرتبط با مهارت طراحی شده است و انواع Taskها می‌توانند نقش متفاوتی در برآورد مهارت داشته باشند.

این نکته برای داوطلب یک پیام عملی دارد:

نباید برای آماده‌سازی DET فقط روی یک نوع سؤال تمرکز کرد.

اگر هدف، بهبود Speaking است، باید مجموعه‌ای از توانایی‌های مرتبط با تولید گفتار را تقویت کرد؛ نه اینکه فقط برای یک Template مشخص چند پاسخ حفظ شود.یک تغییر مهم در Speaking: حرکت از Monologue به Interaction

یکی از تحولات مهم DET در سال‌های اخیر، اضافه شدن Interactive Speaking است.

در آزمون‌های سنتی، Speaking کامپیوتری اغلب به شکل یک پاسخ یک‌طرفه انجام می‌شود: سؤال ارائه می‌شود و داوطلب پاسخ می‌دهد.

اما در Interactive Speaking، سیستم می‌تواند بر اساس پاسخ داوطلب، سؤال بعدی را انتخاب کند و یک گفت‌وگوی چندمرحله‌ای ایجاد کند.

Duolingo این قابلیت را در سال 2025 معرفی کرد و اعلام کرد که سؤال‌های بعدی بر اساس پاسخ‌های قبلی انتخاب می‌شوند. در این فرآیند، پاسخ‌ها به‌صورت خودکار Transcribe، تحلیل و ارزیابی می‌شوند.

در سال 2026 نیز Duolingo تحقیقات خود را در زمینه Adaptive Speaking Assessment ادامه داده است؛ پژوهشی که به این مسئله می‌پردازد که چگونه می‌توان ماهیت غیرقابل‌پیش‌بینی مکالمه واقعی را با استانداردسازی یک آزمون زبان ترکیب کرد.

این روند نشان می‌دهد آینده آزمون‌های Speaking احتمالاً فقط در «تشخیص تلفظ و Grammar» خلاصه نمی‌شود؛ بلکه تعامل واقعی‌تر با زبان اهمیت بیشتری پیدا می‌کند.

این اطلاعات برای داوطلب DET چه معنایی دارد؟

شاید مهم‌ترین سؤال این باشد:

دانستن این اطلاعات چگونه باید روش مطالعه ما را تغییر دهد؟

پاسخ این است که بهتر است به جای تلاش برای «گول زدن الگوریتم»، روی کیفیت واقعی زبان تمرکز کنید.

در Speaking:

روی این موارد کار کنید:

• پاسخ مستقیم به سؤال
• توسعه ایده
• استفاده از واژگان متنوع و طبیعی
• ساختارهای گرامری متنوع
• کاهش مکث‌های غیرضروری
• افزایش Fluency
• تلفظ قابل‌فهم
• استفاده مناسب از Linking و Discourse Markers
• توانایی پاسخ‌دادن بدون وابستگی شدید به متن‌های حفظ‌شده

در Writing:

تمرکز باید روی موارد زیر باشد:

• فهم دقیق Prompt
• پاسخ مستقیم و کامل
• سازمان‌دهی منطقی
• توسعه ایده‌ها
• استفاده دقیق و متنوع از Vocabulary
• تنوع ساختارهای گرامری
• کاهش خطاهای گرامری
• ارتباط منطقی بین جملات و پاراگراف‌ها

آیا استفاده از Template برای DET اشتباه است؟

Template می‌تواند برای سازمان‌دهی ذهن مفید باشد، اما نباید جای توانایی واقعی زبان را بگیرد.

برای مثال، دانستن اینکه چگونه:

• مقدمه بسازیم،
• مثال ارائه کنیم،
• یک ایده را توضیح دهیم،
• مقایسه کنیم،
• نتیجه‌گیری کنیم،

مفید است.

اما اگر داوطلب یک متن کاملاً حفظ‌شده را بدون توجه به سؤال ارائه کند، مشکل ایجاد می‌شود.

زیرا سیستم فقط به شکل ظاهری پاسخ توجه نمی‌کند؛ ارتباط پاسخ با Task، محتوا و توسعه ایده‌ها نیز اهمیت دارد.

به همین دلیل، روش مؤثرتر این است که به جای حفظ ده‌ها پاسخ آماده، چندین ساختار انعطاف‌پذیر برای تولید پاسخ یاد بگیرید.

آیا پاسخ طولانی‌تر همیشه نمره بالاتری می‌گیرد؟

خیر.

طول پاسخ می‌تواند یکی از اطلاعات مورد استفاده در ارزیابی باشد، اما طول به‌تنهایی مساوی با کیفیت نیست.

یک پاسخ طولانی اما:

• خارج از موضوع،
• تکراری،
• نامنسجم،
• پر از خطا،
• یا فاقد توسعه واقعی ایده

لزومًا پاسخ خوبی محسوب نمی‌شود.

هدف باید تولید پاسخ کافی، مرتبط، منسجم و زبانی باکیفیت باشد.

DET آزمونی که بیش از پیش به AI وابسته شده است

روند توسعه Duolingo English Test در چند سال گذشته نشان می‌دهد که AI در بخش‌های مختلف چرخه آزمون وارد شده است.

این استفاده فقط به نمره‌دهی محدود نیست.

Duolingo از فناوری‌های جدید برای:

• طراحی و تولید سؤال،
• تحلیل ویژگی‌های سؤال،
• Adaptive Testing،
• ارزیابی Speaking،
• ارزیابی Writing،
• تحلیل تلفظ،
• کنترل کیفیت،
• امنیت آزمون

استفاده می‌کند.

برای نمونه، پژوهش BERT-IRT که در توسعه DET استفاده شده، نشان می‌دهد مدل‌های زبانی و ویژگی‌های NLP می‌توانند حتی در برآورد پارامترهای سؤال و کاهش زمان مورد نیاز برای Pilot کردن سؤال‌ها نیز کاربرد داشته باشند.

در طرف دیگر، تحقیقات سال 2025 و 2026 درباره Interactive Speaking و Adaptive Speaking نشان می‌دهند که مسیر توسعه آزمون به سمت ارزیابی تعاملی‌تر و واقعی‌تر زبان حرکت می‌کند.

آیا این یعنی AI جای متخصص زبان را گرفته است؟

نه.

تعبیر دقیق‌تر این است که نقش انسان و ماشین تغییر کرده است.

ماشین در کارهایی مانند:

• پردازش حجم بسیار زیادی از پاسخ‌ها،
• استخراج ویژگی‌های زبانی،
• تحلیل صوت،
• Transcription،
• اجرای مدل‌های آماری،
• و ایجاد نمره‌گذاری سریع و استاندارد

مزیت بزرگی دارد.

اما انسان همچنان در زمینه‌هایی مانند:

• تعریف Construct،
• طراحی Task،
• تدوین Rubric،
• بررسی اعتبار،
• تحلیل روان‌سنجی،
• بررسی Fairness،
• کنترل کیفیت،
• و ارزیابی عملکرد مدل

نقش اساسی دارد.

خود Duolingo نیز گزارش کرده است که مدل‌های نمره‌دهی با داده‌های حاصل از ارزیابی متخصصان آموزش داده و اعتبارسنجی می‌شوند و میزان توافق مدل‌های خودکار با ارزیابی انسانی را به‌صورت مستمر بررسی می‌کند.