تستند دراستنا ذات العنوان "اندماج المونولوج في مسرح بومارشيه" بشكل أساسي إلى العناصر التي تسمح بربط المونولوج بالنص المسرحي بشكل عام والعناصر التي تمنحه استقلاليته, هذا الشكل النصي المسرحي ، الذي يتميز بنوع من الاستقلالية النسبية ، يحافظ في الوقت نفس
ه على تسلسله وترابطه وتماسكه مع بقية النص المسرحي.
غالباً ما تكون بداية المونولوج مشروطة بنوع من الحدود الشكلية التوسطية التي تعلن الإنتقال إلى مجال نطق آخر. في الوقت نفسه ، نجد في المونولوج عدة مجالات نطق في وجود أو عدم وجود إشارات وسيطة: المجال النطقي الرئيسي الذي هو مجال المتحدث ، المجال الابلاغي للكاتب المسرحي الذي يتميز بتدخلاته من لحظة إلى أخرى من خلال الموضحات الإخراجية الداخلية، والإشارات المشهدية, لخ.
يؤدي المتحدث في المونولوج أحيانًا دور الناقل الذي ينقل كلمات الآخرين ، وهذا يقودنا إلى موضوع الخطاب المنقول ،والكلام المباشر ، والكلام غير المباشر ، والكلام الحر غير المباشر ، إلخ. وإلى تعددية الأصوات في الكلام.
ركزت أبحاث جيل النص الحديثة بشكل متزايد على المجالات المفتوحة مثل القصة وتوليد الشعر. نظرا لأن النماذج التي تم بناؤها لهذه المهام يصعب تقييمها تلقائيا، يبرر معظم الباحثين في الفضاء خيارات النمذجة عن طريق جمع الأحكام البشرية الجماعية لجودة النص (على س
بيل المثال، عشرات Likert من الاتساق أو النحاس) من Amazon Mechanical Turk (AMT). في هذه الورقة، نقوم أولا بإجراء دراسة استقصائية قدرها 45 ورقة من جيل النص مفتوح العضوية وتجد أن الغالبية العظمى منهم يفشلون في الإبلاغ عن تفاصيل حاسمة حول مهام AMT الخاصة بهم، مما أعاق الاستيلاء. بعد ذلك، قم بتشغيل سلسلة من تجارب تقييم القصة مع كل من عمال AMT ومعلمي اللغة الإنجليزية واكتشف أنه حتى مع مرشحات التأهيل الصارمة، يفشل عمال AMT (على عكس المعلمين) في التمييز بين النص النموذجي والمراجع التي تم إنشاؤها الإنسان. نظهر أن أحكام عامل AMT تتحسن عند إظهار الناتج الناتج عن النموذج إلى جانب المراجع التي يتم إنشاؤها من قبل الإنسان، مما يتيح العمال معا معايرة تقييماتهم بشكل أفضل. أخيرا، توفر المقابلات مع معلمي اللغة الإنجليزية رؤى أعمق في تحديات عملية التقييم، خاصة عند تصنيف النص الذي تم إنشاؤه النموذج.
نقترح أول هجوم مقاوم للتدرج على المستوى العام على نماذج المحولات.بدلا من البحث عن مثال خصم واحد، نبحث عن توزيع الأمثلة الخصومة المعلمة بواسطة مصفوفة مستمرة قيمة، وبالتالي تمكين التحسين المستندة إلى التدرج.إننا نوضح تجريبيا أن هجومنا الأبيض الخاص بنا
يصل إلى أداء الهجوم الحديثة في مجموعة متنوعة من المهام اللغوية الطبيعية، مما يتفوق على العمل السابق من حيث معدل النجاح العديي مع مطابقة غير محسنة حسب التقييم الآلي والبشري.علاوة على ذلك، نظير على أن هجوم قوي عبر الصندوق الأسود، تم تمكينه بواسطة أخذ العينات من التوزيع العديزي أو يطابق أو يتجاوز الطرق الحالية، في حين يتطلب فقط مخرجات التسمية الصعبة.
تستند نماذج نقل النمط غير المزروعة بشكل رئيسي إلى نهج التعلم الاستقرائي، والذي يمثل النمط كمعلمات أو معلمات فك الترميز، أو معلمات تمييزية، وتطبق مباشرة هذه القواعد العامة لحالات الاختبار. ومع ذلك، فإن عدم وجود Corpus الموازي يعيق قدرة طرق التعلم الاس
تقرائي هذه في هذه المهمة. نتيجة لذلك، من المحتمل أن تسبب التعبيرات النمطية غير المتناسقة الشديدة، مثل السلطة غير مهذب ". لمعالجة هذه المشكلة، نقترح نهجا تعليميا عبر جديد في هذه الورقة، بناء على تمثيل نمط السياق على علم الاسترجاع. على وجه التحديد، يتم استخدام وحدة فك ترميز تشفير الاهتمام مع إطار المسترد. أنه ينطوي على الجمل ذات الصلة أعلى K في النمط المستهدف في عملية النقل. وبهذه الطريقة، يمكننا أن نتعلم تضمين أسلوب مدرك السياق لتخفيف مشكلة عدم التناقض أعلاه. في هذه الورقة، يتم استخدام كل من وظائف استرجاع شديد (BM25) ووظائف استرجاع كثيفة (MIPS)، وتم تصميم وظيفتان موضوعيتان لتسهيل التعلم المشترك. تظهر النتائج التجريبية أن أسلوبنا تتفوق على العديد من خطوط الأساس القوية. نهج التعلم المتنقل المقترح عام وفعال لمهمة نقل النمط غير المنسق، وسوف نطبقه على الطريقة الوظيفتين الأخرى في المستقبل.
لقد جاء الكثير من التقدم المحرز في NLP المعاصر من تمثيلات التعلم، مثل Embeddings Manked Language Model (MLM)، يتحول إلى مشاكل تحديا في مهام التصنيف البسيطة. ولكن كيف يمكننا تحديد وتفسير هذا التأثير؟ نحن نتكيف مع أدوات عامة من نظرية التعلم الحاسوبية ل
تناسب الخصائص المحددة لمجموعات البيانات النصية وتقديم طريقة لتقييم التوافق بين التمثيلات والمهام. على الرغم من أن العديد من المهام يمكن حلها بسهولة مع تمثيلات بسيطة من الكلمات (القوس)، فإن القوس لا ضعيف على مهام الاستدلال باللغة الطبيعية الثابت. لأحد هذه المهمة، نجد أن القوس لا يستطيع التمييز بين اللقطات الحقيقية والعشوائية، في حين تظهر تمثيلات الامتيازات المدربة مسبقا تمييزا أكبر بنسبة 72x بين وضع علامات حقيقية وعشوائية من القوس. توفر هذه الطريقة مقياسا معايرة وكمية لصعوبة مهمة NLP القائمة على التصنيف، مما يتيح المقارنات بين التمثيلات دون الحاجة إلى تقييمات تجريبية قد تكون حساسة للتهيئة والفظايات. توفر الطريقة منظورا جديدا على الأنماط الموجودة في مجموعة بيانات ومحاذاة تلك الأنماط مع ملصقات محددة.
أدت نماذج اللغة مثل GPT-2 بشكل جيد على إنشاء جمل سليمة نصنية لمهام إكمال تلقائي للنصوص.ومع ذلك، غالبا ما تتطلب هذه النماذج جهدا تدريبيا كبيرا للتكيف مع مجالات الكتابة المحددة (على سبيل المثال، الطبية).في هذه الورقة، نقترح استراتيجية تدريبية متوسطة لت
عزيز أداء نماذج اللغة المدربة مسبقا في مهمة إكمال تلقائي النص وتكييفها بشكل مستقل إلى مجالات محددة.تضم استراتيجيتنا هدفا جديدا للتدريب على الإشراف على الذات يسمى التنبؤ بالعبارة التالية (NPP)، والذي يشجع نموذج اللغة لإكمال الاستعلام الجزئي مع العبارات المخصبة وتحسين أداء الانتهاء التلقائي للنموذج في النهاية.أظهرت التجارب الأولية أن نهجنا قادر على تفوق خطوط الأساس في الإنجاز التلقائي للنطاقات البريدية والكتابة الأكاديمية.
تهدف توليد السؤال الطبيعي (QG) إلى توليد أسئلة من مقطع، ويتم الرد على الأسئلة التي تم إنشاؤها من المقطع.معظم النماذج مع نموذج الأداء الحديث النص الذي تم إنشاؤه سابقا في كل خطوة فك التشفير.ومع ذلك، (1) يتجاهلون معلومات الهيكل الغني المخفية في النص الذ
ي تم إنشاؤه سابقا.(2) يتجاهلون تأثير الكلمات المنسوخة على مرور.ندرك أن المعلومات في الكلمات التي تم إنشاؤها مسبقا بمثابة معلومات مساعدة في الجيل اللاحق.لمعالجة هذه المشكلات، نقوم بتصميم وحدة فك الترميز المستندة إلى شبكة الرسم البياني للتكرار (IGND) لنموذج الجيل السابق باستخدام شبكة عصبية رسم بيانية في كل خطوة فك التشفير.علاوة على ذلك، يلتقط نموذج الرسم البياني لدينا علاقات التبعية في المقطع الذي يعزز الجيل.توضح النتائج التجريبية أن نموذجنا يتفوق على النماذج الحديثة مع مهام QG على مستوى الجملة على مجموعات بيانات الفريق وماركو.
لقد تم استخراج العلاقات عبر مجموعة نصية كبيرة غير مستمدة نسبيا في NLP، لكنه مهم للغاية بالنسبة لمجالات عالية القيمة مثل الطب الحيوي، حيث يكون الحصول على استدعاء عالية من أحدث النتائج أمر حاسم للتطبيقات العملية. بالمقارنة مع استخراج المعلومات التقليدي
ة المحصورة على تمديد النص القصير، فإن استخراج العلاقات على مستوى المستند يواجه تحديات إضافية في كل من الاستدلال والتعلم. وبالنظر إلى تمديدات نصية أطول، فإن الهندسة العصبية الحديثة هي الإشراف الذاتي الأقل فعالية ومحددة المهام مثل الإشراف البعيد يصبح صاخبا جدا. في هذه الورقة، نقترح انحلال استخراج العلاقات على مستوى الوثيقة في الدقة المتعلقة بالكشف عن العلاقة والحجة، مما أدى إلى إلهام من دلالات ديفيدسون. تمكننا هذا من دمج نماذج الخطاب الصريحة والاستفادة من الإشراف الذاتي المعياري لكل مشكلة فرعية، وهو أقل عرضة للضوضاء ويمكن أن يكون مزيدا من النهايات المكررة عبر التباين. نقوم بإجراء تقييم شامل في قراءة الآلة الطبية الحيوية لعلم الأورام الدقيقة، حيث تذكر علاقة الفقرة الشاملة سائدة. تتفوق طريقةنا على الدولة السابقة للفن، مثل التعلم متعدد النطاق والشبكات العصبية الرسمية، بأكثر من 20 نقطة F1 المطلقة. وانطبق الربح بشكل خاص بين أكثر حالات العلاقات الأكثر تحديا التي لا تحدث حججها في فقرة.
تم اعتبار تحيز التعرض مشكلة مركزية لنماذج اللغة التراجعية التلقائية (LM). وهذا يدعي أن المعلم يجبر سيؤدي إلى تشويه جيل وقت الاختبار تدريجيا بسبب تباين توليد التدريب. على الرغم من أن الكثير من الخوارزميات قد اقترحت تجنب التغلب على المعلم وبالتالي تخفي
ف تحيز التعرض، إلا أن هناك ضئيل من العمل الذي يظهر مدى خطورة مشكلة تحيز التعرض في الواقع. في هذا العمل، نركز على مهمة توليد اللغة المفتوح العضوية، اقترح المقاييس لتحديد تأثير تحيز التعرض في جوانب الجودة والتنوع والاتساق. الحدس الرئيسي الخاص بنا هو أنه إذا قمت بإطعام بادئات بيانات الحقيقة الأرضية (بدلا من البادئات الناتجة عن النموذج نفسه) في النموذج واطلب من مواصلة الجيل، يجب أن يصبح الأداء أفضل بكثير لأن التناقض في توليد التدريب في البادئة إزالة. يتم إجراء التقييمات التلقائية والإنسانية في تجاربنا. على عكس الاعتقاد الشعبي بتحيز التعرض، نجد أن التشويه الناجم عن تناقض البادئة محدود، ولا يبدو أنه تدريجي خلال الجيل. علاوة على ذلك، يكشف تحليلنا عن قدرة مثيرة للاهتمام للانكماش الذاتي ل LM، والتي نفترض أنها تكافؤها لتكون مواجهة الآثار الضارة من تحيز التعرض.
حقق التعلم التلوي نجاحا كبيرا في الاستفادة من المعرفة المستفادة التاريخية لتسهيل عملية التعلم المهمة الجديدة.ومع ذلك، فإن تعلم معرفة المهام التاريخية، التي اعتمدتها خوارزميات التعلم التلوي الحالية، قد لا تعميم بشكل جيد للاختبار المهام عندما لا تكون م
دعومة جيدا بمهام التدريب.تدرس هذه الورقة مشكلة تصنيف النص المنخفض للموارد ويزيد الفجوة بين مهام اختبار التوطين والاختبار التلوي من خلال الاستفادة من قواعد المعرفة الخارجية.على وجه التحديد، نقترح KGML لإدخال تمثيل إضافي لكل جملة مستفادة من الرسم البياني المعرفي الخاص بالحكم الجملة المستخرجة.توضح التجارب الواسعة على ثلاثة مجموعات بيانات فعالية KGML تحت كلا من إعدادات التكيف والإشراف غير المدفوع.
