ترغب بنشر مسار تعليمي؟ اضغط هنا

تستكشف هذه الورقة متغيرا من أساليب جيلات العناوين التلقائية، حيث يلزم وجود عنوان تم إنشاؤه لتضمين عبارة معينة مثل الشركة أو اسم المنتج. الأساليب السابقة باستخدام النماذج القائمة على المحولات تولد عنوانا يتضمن عبارة معينة من خلال توفير التشفير مع معلو مات إضافية مقابلة العبارة المحددة. ومع ذلك، لا يمكن أن تتضمن هذه الأساليب دائما العبارة في العنوان الذي تم إنشاؤه. مستوحاة من الأساليب السابقة القائمة على RNN توليد تسلسل رمزي في الاتجاهات الخلفية والأمام من العبارة المعينة، نقترح طريقة بسيطة قائمة على المحولات التي تضمن تضمين العبارة المحددة في العنوان الرفيع الناتج عن الجودة. ونحن ننظر أيضا في استراتيجية توليد عنوان جديدة تستفيد من ترتيب الجيل القابل للتحكم في المحولات. توضح تجاربنا مع Corpus الأخبار اليابانية أن أساليبنا، التي تضمن إدراج العبارة في العنوان الرئيسي، وتحقيق درجات Rouge مماثلة للأساليب السابقة القائمة على المحولات. نوضح أيضا أن استراتيجية توليدنا تؤدي أفضل من الاستراتيجيات السابقة.
هدف التنبؤ بالحقائق في الحدث (EFP) هو تحديد درجة الواقعية لذكر الحدث، مما يمثل مدى احتمال ذكر الحدث في النص.أظهرت نماذج التعلم العميق الحالية أهمية الهياكل النحوية واللاللالية للجمل لتحديد كلمات السياق الهامة ل EFP.ومع ذلك، فإن المشكلة الرئيسية في نم اذج EFP هذه هي أنها تشفص مسارات القفزة الواحدة فقط بين الكلمات (I.E.، والاتصالات المباشرة) لتشكيل هياكل الجملة.في هذا العمل، نظهر أن مسارات القفزات متعددة القفزة بين الكلمات ضرورية أيضا لحساب هياكل الجملة ل EFP.تحقيقا لهذه الغاية، نقدم نموذجا للتعليم العميق الجديد ل EFP الذي يعتبر صراحة مسارات القفزات متعددة القفزات مع كل من الحواف القائمة على بناء الجملة والدلية بين الكلمات للحصول على هياكل الجملة للتعلم في EFP.نوضح فعالية النموذج المقترح عبر التجارب الواسعة في هذا العمل.
حققت الطرز المستندة إلى المحولات مثل Bert و Xlnet و XLM-R أداء أحدث في مختلف مهام NLP بما في ذلك تحديد اللغة الهجومية وخطاب الكراهية، وهي مشكلة مهمة في وسائل التواصل الاجتماعي.في هذه الورقة، نقدم Fbert، إعادة تدريب نموذج BERT على الصلبة، أكبر كوربوس لتحديد اللغة الإنجليزية الهجومية المتاحة مع أكثر من 1.4 مليون حالة هجومية.نقيم أداء Fbert الخاص بتحديد المحتوى الهجومي على مجموعات بيانات باللغة الإنجليزية المتعددة ونختبر عدة عتبات لاختيار المثيلات من الصلبة.سيتم توفير نموذج FberT بحرية للمجتمع.
يقترح هذا العمل تحليلا مكثفا للهندسة المعمارية المحول في إعداد الترجمة الآلية العصبية (NMT).مع التركيز على آلية اهتمام التشفير في فك التشفير، نثبت أن أوزان الاهتمام بانتظام أخطاء المحاذاة من خلال الاعتماد بشكل أساسي على الرموز غير المصنفة من تسلسل ال مصدر.ومع ذلك، نلاحظ أن نماذج NMT تخصص الاهتمام بهؤلاء الرموز لتنظيم المساهمة في التنبؤ بالسياقتين المصدرين وبادئة التسلسل المستهدف.نحن نقدم دليلا على تأثير محاذاة خاطئة على السلوك النموذجي، مما يدل على أن آلية اهتمام فك تشفير التشفير مفاجأة بشكل جيد كطريقة الترجمة الترجمة الترجمة الشخصية ل NMT.أخيرا، استنادا إلى تحليلنا، نقترح طرق تقلل إلى حد كبير معدل خطأ محاذاة الكلمة مقارنة بالمحاذاة المستحثة القياسية من أوزان الاهتمام.
نقترح نظام رواية لاستخدام محول Levenshtein لأداء مهمة تقدير جودة مستوى Word.محول Levenshtein هو مناسب طبيعي لهذه المهمة: تم تدريبه على إجراء فك التشفير بطريقة تكرارية، يمكن لمحول Levenshtein أن يتعلم النشر بعد تحرير دون إشراف صريح.لزيادة تقليل عدم ال تطابق بين مهمة الترجمة ومهمة QE على مستوى الكلمة، نقترح إجراء تعلم نقل من مرحلتين على كل من البيانات المعززة وبيانات ما بعد التحرير البشري.نقترح أيضا الاستدلال لبناء ملصقات مرجعية متوافقة مع Finetuning على مستوى الكلمات الفرعية والاستدلال.النتائج على مجموعة بيانات المهام المشتركة WMT 2020 تشاركت إلى أن طريقةنا المقترحة لها كفاءة بيانات فائقة تحت الإعداد المقيد للبيانات والأداء التنافسي تحت الإعداد غير المقيد.
المحولات هي وحدات خفيفة الوزن تسمح بضبط النماذج الدقيقة التي يتمتع بها المعلمة. تم اقتراح محولات اللغة والمهمة المتخصصة مؤخرا لتسهيل التحويل عبر اللغات للنماذج المحددة متعددة اللغات (Pfeiffer et al.، 2020b). ومع ذلك، يتطلب هذا النهج تدريب محول لغة من فصل لكل لغة ترغب في الدعم، مما قد يكون غير صحيح لغات مع بيانات محدودة. الحل البديهي هو استخدام محول لغة ذات صلة لتنوع اللغات الجديدة، لكننا نلاحظ أن هذا الحل يمكن أن يؤدي إلى الأداء دون الأمثل. في هذه الورقة، نهدف إلى تحسين متانة المحولات اللغوية باللغات غير المكشوفة دون تدريب محولات جديدة. نجد أن الكشف عن محولات متعددة اللغات متعددة يجعل النموذج الدقيق أكثر قوة أكثر بكثير من أصناف اللغة الأخرى غير المدرجة في هذه المحولات. بناء على هذه الملاحظة، نقترح Entropy Minimized Entermble of Adrapters (EMEA)، وهي طريقة تعمل على تحسين أوزان مجموعة محولات اللغة المحددة مسبقا لكل جملة اختبار عن طريق تقليل انتروبيا من تنبؤاتها. تبين التجارب في ثلاث مجموعات متنوعة من الأصناف اللغوية أن طريقتنا تؤدي إلى تحسينات كبيرة على كل من الاعتراف الكياري المسمى ووضع علامات جزء من الكلام في جميع اللغات.
العديد من الأعمال الحديثة في إظهار كلمة التحليل المعجمي ثنائي اللغة (BLI) Word Adgetdings كمنتجات في الفضاء Euclidean.على هذا النحو، يتم حلها عادة من خلال العثور على تحول خطي يقوم بخرائط Ageddings إلى مساحة مشتركة.بدلا من ذلك، قد تكون مفهومة Word Age ddings كما العقد في رسم بياني مرجح.هذا الإطار يتيح لنا فحص حي الرسم البياني للعقدة دون تولي التحول الخطي، ويستغل التقنيات الجديدة من أدب الأمثل في مطابقة الرسم البياني.لم تتم مقارنة هذه الأساليب المتناقضة في Bli حتى الآن.في هذا العمل، ندرس سلوك الأساليب Euclidean مقابل الأساليب القائمة القائم على الرسم البياني إلى Bli تحت شروط البيانات المختلفة وإظهار أنها تكمل بعضها البعض عند الجمع.نطلق سردنا في https://github.com/kellymarchisio/euc-v-graph-bli.
النمذجة المتنقلة المتسلسلة قوية هي مهمة أساسية في العالم الحقيقي حيث تكون المدخلات صاخبة في كثير من الأحيان. تحتوي المدخلات التي تم إنشاؤها عن المستخدمين والآلة على أنواع مختلفة من الضوضاء في شكل أخطاء إملائية، والأخطاء النحوية، وأخطاء التعرف على الأ حرف، والتي تؤثر على مهام المصب وتأثر على الترجمة الشفوية للنصوص. في هذا العمل، نرتند بنية جديدة للتسلسل إلى التسلسل للكشف عن وتصحيح مختلف العالم الحقيقي والضوضاء الاصطناعية (هجمات الخصومة) من النصوص الإنجليزية. نحو ذلك اقترحنا بنية فك التشفير المعدلة التي تعتمد على المحولات التي تستخدم آلية Gating للكشف عن أنواع التصحيحات المطلوبة وبناء على تصحيح النصوص. تظهر النتائج التجريبية أن الهندسة المعمارية المصورة لدينا مع نماذج لغوية مدربة مسبقا تؤدي بشكل أفضل بشكل كبير إلى أن النظيرات غير الدائرين ونماذج تصحيح الأخطاء الأخرى غير المدرجة في تصحيح الأخطاء الإملائية والحدائية. التقييم الخارجي لنموذجنا على الترجمة الآلية (MT) ومهام التلخيص تظهر الأداء التنافسي للنموذج مقابل نماذج تسلسل تسلسل أخرى أخرى تحت المدخلات الصاخبة.
تتطلب أساليب التعلم المنهج الحالية للترجمة الآلية العصبية (NMT) أخذ العينات مبالغ كافية من العينات "من بيانات التدريب في مرحلة التدريب المبكر. هذا غير قابل للتحقيق دائما لغات الموارد المنخفضة حيث تكون كمية البيانات التدريبية محدودة. لمعالجة مثل هذا ا لقيد، نقترح نقه نهج تعليمي مناهج رواية حكيمة ينشئ كميات كافية من العينات السهلة. على وجه التحديد، يتعلم النموذج التنبؤ بتسلسل فرعي قصير من الجزء التالي من كل جملة مستهدفة في المرحلة المبكرة للتدريب. ثم يتم توسيع التسلسل الفرعي تدريجيا مع تقدم التدريب. مثل هذا التصميم المناهج الدراسي الجديد مستوحى من التأثير التراكمي لأخطاء الترجمة، مما يجعل الرموز الأخيرة أكثر تحديا للتنبؤ أكثر من البداية. تبين تجارب واسعة أن نهجنا يمكن أن تتفوق باستمرار على الأساس على خمسة أزواج لغات، خاصة لغات الموارد المنخفضة. يجمع بين نهجنا مع طرق مستوى الجملة يحسن أداء لغات الموارد العالية.
يتم تدريب نماذج اللغة بشكل عام على تسلسل المدخلات القصيرة والمتقطعة، والتي تحد من قدرتها على استخدام معلومات مستوى الخطاب الموجودة في سياق طويل المدى لتحسين تنبؤاتها. أدت الجهود الأخيرة لتحسين كفاءة اهتمام الذات إلى انتشار نماذج لغة محول طويلة المدى، والتي يمكن أن تعالج تسلسل أطول بكثير من نماذج الماضي. ومع ذلك، تبقى الطرق التي تستفيد منها هذه النماذج من السياق الطويل المدى غير واضح. في هذه الورقة، نقوم بإجراء تحليل جيد الحبيبات من طرازات لغة محول طويلة المدى (بما في ذلك محول التوجيه، والذي يحقق حيرة من الفن الحيرة على مجموعة بيانات BG-19 المتسلسلة LM Transmark) التي تقبل المدخلات تسلسل يصل إلى 8K الرموز. نتائجنا تكشف عن توفير سياق طويل المدى (أي، خارج الرموز 2K السابقة) لهذه النماذج يحسن فقط تنبؤاتها على مجموعة صغيرة من الرموز (على سبيل المثال، تلك التي يمكن نسخها من السياق البعيد) ولا يساعد على الإطلاق لمهام التنبؤ على مستوى الجملة. أخيرا، نكتشف أن PG-19 تحتوي على مجموعة متنوعة من أنواع المستندات والمجالات المختلفة، وأن السياق الطويل المدى يساعد معظمها على الروايات الأدبية (بدلا من الكتب المدرسية أو المجلات).
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا