مستوحاة من تعلم المناهج الدراسية، نقترح إطار جيل التوليد على التوالي (I.E.، إلى نص إلى نص) حيث نقسم مشكلة جيل تقرير الأشعة في خطوتين.عكس ذلك لتوليد تقرير الأشعة الكاملة من الصورة في وقت واحد، يولد النموذج مفاهيم عالمية من الصورة في الخطوة الأولى ثم إ
صلاحها إلى نصوص أدق ومتماسكة باستخدام الهندسة المعمارية القائمة على المحولات.نحن نتبع نموذج التسلسل المستند إلى التسلسل المحول في كل خطوة.نحن نحسن على أحدث مجموعة من مجموعات البيانات القياسية.
اقترح مجتمع البحث تعديلات غزيرة على بنية المحولات منذ تقديمها منذ أكثر من ثلاث سنوات، قلة قليلة نسبيا والتي شهدت اعتماد واسع النطاق.في هذه الورقة، نقوم بتقييم العديد من هذه التعديلات بشكل شامل في بيئة تجريبية مشتركة تغطي معظم الاستخدامات المشتركة للم
حول في معالجة اللغة الطبيعية.من المستغرب، نجد أن معظم التعديلات لا تحسن بشكل مفيد الأداء.علاوة على ذلك، تم تطوير معظم المتغيرات المحولات التي وجدناها مفيدة في نفس الكود التي استخدمناها أو أنها تغييرات طفيفة نسبيا.نحن نقم التخمين أن تحسينات الأداء قد تعتمد بشدة على تفاصيل التنفيذ وتقديم بعض التوصيات في المقابل لتحسين عمومية النتائج التجريبية.
أصبحت بنية المحولات في كل مكان في مجال معالجة اللغات الطبيعية.لتفسير النماذج القائمة على المحولات، تم تحليل أنماط اهتمامها على نطاق واسع.ومع ذلك، فإن بنية المحولات لا تتكون فقط من الاهتمام متعدد الأطراف؛يمكن أن تسهم مكونات أخرى أيضا في الأداء التدريج
ي المحولات.في هذه الدراسة، مددنا نطاق تحليل المحولات من أنماط الانتباه فقط إلى كتلة الاهتمام بأكمله، أي اهتمام متعدد الأطراف، والاتصال المتبقي، وتطبيع الطبقة.يوضح تحليل النماذج اللغوية المقصودة للمحولات أن التفاعل الرمزي إلى الرمز المميز الذي يؤديه عن طريق الاهتمام له تأثير أقل على التمثيل الوسيط مما كان مفترض سابقا.توفر هذه النتائج تفسيرات جديدة بديهية للتقارير القائمة؛على سبيل المثال، تم تجاهل أنماط الانتباه المستفادة لا تؤثر سلبا على الأداء.رموز تجاربنا متاحة للجمهور.
يقترح هذا العمل تحليلا مكثفا للهندسة المعمارية المحول في إعداد الترجمة الآلية العصبية (NMT).مع التركيز على آلية اهتمام التشفير في فك التشفير، نثبت أن أوزان الاهتمام بانتظام أخطاء المحاذاة من خلال الاعتماد بشكل أساسي على الرموز غير المصنفة من تسلسل ال
مصدر.ومع ذلك، نلاحظ أن نماذج NMT تخصص الاهتمام بهؤلاء الرموز لتنظيم المساهمة في التنبؤ بالسياقتين المصدرين وبادئة التسلسل المستهدف.نحن نقدم دليلا على تأثير محاذاة خاطئة على السلوك النموذجي، مما يدل على أن آلية اهتمام فك تشفير التشفير مفاجأة بشكل جيد كطريقة الترجمة الترجمة الترجمة الشخصية ل NMT.أخيرا، استنادا إلى تحليلنا، نقترح طرق تقلل إلى حد كبير معدل خطأ محاذاة الكلمة مقارنة بالمحاذاة المستحثة القياسية من أوزان الاهتمام.
برزت التعلم المتعدد المهام مع ترميز المحولات (MTL) كتقنية قوية لتحسين الأداء على المهام ذات الصلة عن كثب لكل من الدقة والكفاءة في حين أن السؤال لا يزال يبقى ما إذا كان من شأنه أن يؤدي ذلك على المهام المميزة أم لا بشكل جيد في الطبيعة أم لا. نقوم أولا
بإجراء نتائج MTL على خمس مهام NLP، POS، NER، DEP، CON، SRL، وتصوير نقصها على تعلم المهمة الفردية. ثم نقوم بإجراء تحليل جذري واسع النطاق لإظهار أن مجموعة معينة من رؤساء الاهتمام تعلن أن معظم المهام خلال MTL، والذين يتداخلون مع بعضهم البعض لضبط تلك الرؤوس لأهدافهم الخاصة. استنادا إلى هذا النتيجة، نقترح فرضية الخلايا الجذعية للكشف عن وجود اهتمام يرأس الموهوبين بشكل طبيعي للعديد من المهام التي لا يمكن تدريبها بشكل مشترك على إنشاء شرائح كافية لجميع تلك المهام. أخيرا، نقوم بتصميم تحقيقات خالية من المعلمات الجديدة لتبرير فرضيتنا وإظهار كيفية تحويل رؤساء الانتباه عبر المهام الخمسة خلال MTL من خلال تحليل الملصقات.
نقترح نظام رواية لاستخدام محول Levenshtein لأداء مهمة تقدير جودة مستوى Word.محول Levenshtein هو مناسب طبيعي لهذه المهمة: تم تدريبه على إجراء فك التشفير بطريقة تكرارية، يمكن لمحول Levenshtein أن يتعلم النشر بعد تحرير دون إشراف صريح.لزيادة تقليل عدم ال
تطابق بين مهمة الترجمة ومهمة QE على مستوى الكلمة، نقترح إجراء تعلم نقل من مرحلتين على كل من البيانات المعززة وبيانات ما بعد التحرير البشري.نقترح أيضا الاستدلال لبناء ملصقات مرجعية متوافقة مع Finetuning على مستوى الكلمات الفرعية والاستدلال.النتائج على مجموعة بيانات المهام المشتركة WMT 2020 تشاركت إلى أن طريقةنا المقترحة لها كفاءة بيانات فائقة تحت الإعداد المقيد للبيانات والأداء التنافسي تحت الإعداد غير المقيد.
حققت الطرز المستندة إلى المحولات مثل Bert و Xlnet و XLM-R أداء أحدث في مختلف مهام NLP بما في ذلك تحديد اللغة الهجومية وخطاب الكراهية، وهي مشكلة مهمة في وسائل التواصل الاجتماعي.في هذه الورقة، نقدم Fbert، إعادة تدريب نموذج BERT على الصلبة، أكبر كوربوس
لتحديد اللغة الإنجليزية الهجومية المتاحة مع أكثر من 1.4 مليون حالة هجومية.نقيم أداء Fbert الخاص بتحديد المحتوى الهجومي على مجموعات بيانات باللغة الإنجليزية المتعددة ونختبر عدة عتبات لاختيار المثيلات من الصلبة.سيتم توفير نموذج FberT بحرية للمجتمع.
هدف التنبؤ بالحقائق في الحدث (EFP) هو تحديد درجة الواقعية لذكر الحدث، مما يمثل مدى احتمال ذكر الحدث في النص.أظهرت نماذج التعلم العميق الحالية أهمية الهياكل النحوية واللاللالية للجمل لتحديد كلمات السياق الهامة ل EFP.ومع ذلك، فإن المشكلة الرئيسية في نم
اذج EFP هذه هي أنها تشفص مسارات القفزة الواحدة فقط بين الكلمات (I.E.، والاتصالات المباشرة) لتشكيل هياكل الجملة.في هذا العمل، نظهر أن مسارات القفزات متعددة القفزة بين الكلمات ضرورية أيضا لحساب هياكل الجملة ل EFP.تحقيقا لهذه الغاية، نقدم نموذجا للتعليم العميق الجديد ل EFP الذي يعتبر صراحة مسارات القفزات متعددة القفزات مع كل من الحواف القائمة على بناء الجملة والدلية بين الكلمات للحصول على هياكل الجملة للتعلم في EFP.نوضح فعالية النموذج المقترح عبر التجارب الواسعة في هذا العمل.
تستكشف هذه الورقة متغيرا من أساليب جيلات العناوين التلقائية، حيث يلزم وجود عنوان تم إنشاؤه لتضمين عبارة معينة مثل الشركة أو اسم المنتج. الأساليب السابقة باستخدام النماذج القائمة على المحولات تولد عنوانا يتضمن عبارة معينة من خلال توفير التشفير مع معلو
مات إضافية مقابلة العبارة المحددة. ومع ذلك، لا يمكن أن تتضمن هذه الأساليب دائما العبارة في العنوان الذي تم إنشاؤه. مستوحاة من الأساليب السابقة القائمة على RNN توليد تسلسل رمزي في الاتجاهات الخلفية والأمام من العبارة المعينة، نقترح طريقة بسيطة قائمة على المحولات التي تضمن تضمين العبارة المحددة في العنوان الرفيع الناتج عن الجودة. ونحن ننظر أيضا في استراتيجية توليد عنوان جديدة تستفيد من ترتيب الجيل القابل للتحكم في المحولات. توضح تجاربنا مع Corpus الأخبار اليابانية أن أساليبنا، التي تضمن إدراج العبارة في العنوان الرئيسي، وتحقيق درجات Rouge مماثلة للأساليب السابقة القائمة على المحولات. نوضح أيضا أن استراتيجية توليدنا تؤدي أفضل من الاستراتيجيات السابقة.
على الرغم من التطورات الأخيرة في تطبيق نماذج اللغة المدربة مسبقا لتوليد نصوص عالية الجودة، فإن توليد مقاطع طويلة تحافظ على تماسك طويل المدى أمر صعب للغاية لهذه النماذج.في هذه الورقة، نقترح Discodvt، وهو محول متغيرات منفصلة على درايته لمعالجة مشكلة عد
م الاتساق.يتعلم Discodvt تسلسل متغير منفصل يلخص الهيكل العالمي للنص، ثم ينطبق عليه لتوجيه عملية التوليد في كل خطوة فك التشفير.لزيادة تضمين المعلومات التي تدرك الخطاب في التمثيلات الكامنة المنفصلة، نقدم هدف إضافي لنموذج علاقات الخطاب داخل النص.نقوم بإجراء تجارب واسعة على مجموعة من مجموعات بيانات من القصة المفتوحة وإثبات أن الرموز الكامنة تعلم مراسلات ذات معنى لهياكل الخطاب التي توجه النموذج لتوليد النصوص الطويلة مع التماسك طويل المدى أفضل.
