ترغب بنشر مسار تعليمي؟ اضغط هنا

النعالة عبارة عن مبالغة متعمدة وإبداعية لا تؤخذ حرفيا.على الرغم من كل مكانه في الحياة اليومية، فإن الاستكشافات الحسابية من النعالة نادرة.في هذه الورقة، نتعامل مع المهمة غير المستكشفة والتحديات: توليد بطول الأغلبية على مستوى الجملة.نبدأ بنمط نصي تمثيل ي للتكثيف والدراسة بشكل منهجي العلاقات الدلالية (المنطقية وغير المصنفة) بين كل مكون في مثل هذه المفرط.بعد ذلك، فإن الاستفادة من المنطقي والاستدلال المضاد لإنتاج مرشحين غاضبين يستند إلى نتائجنا من النمط، وتدريب الأقراص العصبية على الترتيب وتحديد Hyperboles عالية الجودة.تبين التقييمات التلقائية والبشرية أن طريقة جيلنا قادرة على توليد فرط النعثال مع ارتفاع معدل النجاح والكثافة والتموية والإبداع.
أظهرت نماذج المحادثة العصبية إمكانات كبيرة تجاه توليد ردود بطلاقة وإمعلومات عن طريق إدخال معرفة خلفية خارجية. ومع ذلك، فمن الشائع بناء هذه الحوارات المدرجة في المعرفة، وعادة ما تؤدي النماذج الحالية بشكل سيء عند النقل إلى مجالات جديدة مع عينات تدريب م حدودة. لذلك، فإن بناء نظام حوار مدرج في المعرفة بموجب إعداد الموارد المنخفضة هو قضية حاسمة لا تزال. في هذه الورقة، نقترح إطارا لتعليم تعليمي رواية ثلاث مراحل يستند إلى التعلم الإشرافه ضعيف يفيد من الحوارات على نطاق واسع وقاعدة المعرفة غير المنظمة. للتعاون بشكل أفضل مع هذا الإطار، نضع متغير من المحولات مع فك فك التشفير التي تسهل التعلم المنطلق لتوليد الاستجابة وإدماج المعرفة. تشير نتائج التقييم إلى معيارين إلى أن نهجنا يمكن أن يتفوق على أساليب حديثة أخرى مع بيانات تدريب أقل، وحتى في سيناريو الموارد الصفرية، فإن نهجنا لا يزال ينفذ جيدا.
للعثور على تضمين مناسب لرجل المعرفة يظل تحديا كبيرا في الوقت الحاضر. باستخدام أساليب شرطة المعرفة السابقة، عادة ما يتم تمثيل كل كيان في رسم بياني المعرفة كجاغر K- الأبعاد. كما نعلم، يمكن التعبير عن تحول أفيني في شكل مضاعفة مصفوفة تليها ناقلات الترجمة . في هذه الورقة، نستفيد أولا مجموعة من التحولات الفوضى المتعلقة بكل علاقة بتشغيل على ناقلات الكيان، ثم يتم استخدام هذه المتجهات المحولة لأداء التضمين مع الأساليب السابقة. تتمثل الميزة الرئيسية لاستخدام تحويلات Affine خصائص هندسة جيدة مع إمكانية الترجمة الشفوية. توضح نتائجنا التجريبية أن التصميم الفديهي المقترح مع تحويلات تفكيك يوفر زيادة ذات دلالة إحصائية في الأداء مع إضافة بعض خطوات معالجة إضافية أو إضافة عدد محدود من المتغيرات الإضافية. اتخاذ Transe كمثال، فإننا نوظف تحويل المقياس (الحالة الخاصة لتحويل أفيركي)، ويعرض فقط متغيرات إضافية لكل علاقة. من المستغرب، فإنه ينطبق على التدوير إلى حد ما على مجموعات البيانات المختلفة. نحن نقدم أيضا تحويلات تفكيكية إلى التدوير والضيق والمعقدة، على التوالي، وكل واحد يتفوق على طريقته الأصلية.
يستخدم النظورات الشائعات بشكل متزايد محتوى الوسائط المتعددة لجذب الاهتمام والثقة للمستهلكين الأخبار.على الرغم من أن مجموعة من نماذج الكشف عن الشائعات قد استغلت البيانات متعددة الوسائط، إلا أنها نادرا ما تنظر في العلاقات غير المتسقة بين الصور والنصوص. علاوة على ذلك، فشلوا أيضا في العثور على طريقة قوية لتحديد معلومات التناقض بين محتويات المنشورات ومعرفة الخلفية.بدافع من الحدس أن الشائعات أكثر عرضة للحصول على معلومات غير متناسق في دلالات، ويقترح شبكة متناسقة مزدوجة موجهة إلى المعرفة على المعرفة للكشف عن شائعات مع محتويات الوسائط المتعددة.يمكنه التقاط دلالات غير متناسقة على المستوى الشامل ومستوى المعرفة المحتوى في إطار واحد موحد.تثبت تجارب واسعة على مجموعات بيانات حقيقية في العالم الحقيقي أن اقتراحنا يمكن أن يتفوق على خطوط الأساس الحديثة.
أظهر العمل السابق أن الإشراف الهيكلية يساعد نماذج اللغة الإنجليزية على تعلم التعميمات حول الظواهر النحوية مثل اتفاقية الفعل الفعل. ومع ذلك، فإنه لا يزال غير واضح إذا كان مثل هذا التحيز الاستقرائي ستحسن أيضا قدرة نماذج اللغة على تعلم التبعيات النحوية بلغات مختلفة من الناحية النموذجية. نحن هنا التحقيق في هذا السؤال في لغة الماندرين الصينية، والتي لديها نظام كتابة من مقدم من لفائف التروج، إلى حد كبير؛ ترتيب كلمة مختلفة و sparser التشكل من الإنجليزية. نحن ندرب LSTMS، ونواسيب الشبكة العصبية المتكررة، ونماذج لغة المحولات، ونماذج تحليل التلال المعلمة للمحول على مجموعات بيانات ماندرين الصينية بأحجام مختلفة. نقيم قدرة النماذج على تعلم جوانب مختلفة من قواعد اللغة الماندرين التي تقييم العلاقات النحوية والدالة. نجد أدلة منهية أن الإشراف الهيكلية يساعد في تمثيل الحالة النحوية عبر المحتوى المتداخلة ويحسن الأداء في إعدادات البيانات المنخفضة، مما يشير إلى أن فوائد التحيزات الاستقرائي التسلسل الهرمي في الحصول على علاقات التبعية قد تتجاوز الإنجليزية.
يظهر مطابقة الطبقة الوسيطة كهدوث فعال لتحسين تقطير المعرفة (KD). ومع ذلك، تنطبق هذه التقنية مطابقة في المساحات المخفية لشبكتين مختلفتين (أي طالب ومدرس)، والتي تفتقر إلى التفسير الواضح. علاوة على ذلك، لا يمكن للطبقة المتوسطة KD التعامل بسهولة مع مشاكل أخرى مثل البحث عن تعيين الطبقة وعدم عدم تطابق الهندسة المعمارية (أي أن المعلم والطالب ليكون من نفس النوع النموذجي). لمعالجة المشاكل المذكورة أعلاه، نقترح عالمي دينار كويتي لمطابقة الطبقات الوسيطة من المعلم والطالب في مساحة الإخراج (عن طريق إضافة مصنفات زائفة على الطبقات المتوسطة) عبر إسقاط الطبقة المستندة إلى الاهتمام. من خلال القيام بذلك، يتمتع نهجنا الموحد بثلاث مزايا: (1) يمكن دمجها بمرونة مع تقنيات تقطير الطبقة المتوسطة الحالية لتحسين نتائجها (2) يمكن نشر مصنفات الزائفة من المعلم بدلا من شبكات مساعد المعلم باهظة الثمن مشكلة فجوة القدرة في KD وهي مشكلة شائعة عندما تصبح الفجوة بين حجم المعلم وشبكات الطلاب كبيرة جدا؛ (3) يمكن استخدامه في الطبقة الوسيطة عبر الهندسة الوسطى دينار كويتي. لقد قمنا بتجارب شاملة في تقطير Bert-Base في Bert-4، Roberta-Large في Distilroberta وقاعدة Bert-Base في نماذج CNN و LSTM. تظهر النتائج على مهام الغراء أن نهجنا قادر على تفوق تقنيات KD الأخرى.
تتحول نماذج المحادثة واسعة النطاق إلى الاستفادة من المعرفة الخارجية لتحسين الدقة الواقعية في توليد الاستجابة.بالنظر إلى عدم التعليق على المعرفة الخارجية لعوريا الحوار واسعة النطاق، من المستحسن معرفة اختيار المعرفة وتوليد الاستجابة بطريقة غير منشأة.في هذه الورقة، نقترح أفلاطون كاج (توليد المعرفة المعزز)، ونهج تعليمي غير مخطط له لنمذجة المحادثة المحفوظة على المعرفة الطرفية.لكل سياق حوار، يتم اختيار عناصر المعرفة ذات الصلة من الأعلى وبعد ذلك في توليد الاستجابة المدرجة في المعرفة.يتم تحسين مكونين اختيار المعرفة وتوليد الاستجابة بشكل مشترك وفعال تحت هدف متوازن.النتائج التجريبية على اثنين من مجموعات البيانات المتاحة للجمهور التحقق من تفوق أفلاطون كاج.
تم إثبات المشفرات المستندة إلى المحولات المسبدة مسبقا مثل بيرت لتحقيق الأداء الحديث في العديد من مهام NLP العديدة. على الرغم من نجاحهم، فإن ترميز نمط بيرت كبير الحجم ولديها زمن بيانات عالية أثناء الاستدلال (خاصة في آلات وحدة المعالجة المركزية) مما يج علها غير جذابة للعديد من التطبيقات عبر الإنترنت. قدمت أساليب الضغط والتقطير مؤخرا طرقا فعالة لتخفيف هذا القصور. ومع ذلك، فإن محور هذه الأعمال كان أساسا في ترميز أحادي الأونلينغ. بدافع من النجاحات الأخيرة في التعلم عبر التحويل المتبادل في صفر تسديدة باستخدام ترميز مسببات اللغات المسبق، مثل MBERT، فإننا نقيم فعالية تقطير المعرفة (دينار كويتي) خلال مرحلة الاحتجاج وأثناء مرحلة ضبط الدقيقة على نماذج بيرت متعددة اللغات. نوضح أنه في تناقض الملاحظة السابقة في حالة التقطير أحادي الأونلينغ، في الإعدادات المتعددة اللغات، يكون التقطير أثناء الاحتجاز أكثر فعالية من التقطير أثناء ضبط الصفر عن التعلم تحويل الصفر. علاوة على ذلك، فإننا نلاحظ أن التقطير أثناء ضبط الرصيف قد يضر أداء الصفر اللغوي الصفر. أخيرا، نوضح أن تقطير نموذج أكبر (بيرت كبير) ينتج عن أقوى النموذج المقطر الذي يؤدي أفضل سواء على لغة المصدر وكذلك اللغات المستهدفة في إعدادات الطلقة الصفرية.
يهدف كتابة كيان الرسم البياني للمعرفة إلى أن ينتج أنواع الكيانات المفقودة في الرسوم البيانية المعرفة التي تعد قضية مهمة ولكنها غير مستحقة.تقترح هذه الورقة طريقة رواية لهذه المهمة من خلال الاستفادة من المعلومات السياقية للكيانات.على وجه التحديد، نقوم بتصميم آليات الاستدلال: I) N2T: استخدام كل جار كل جار بشكل مستقل لاستنتاج نوعه؛2) AGG2T: إجمالي جيران كيان لاستنتاج نوعها.ستنتج هذه الآليات نتائج الاستدلال المتعددة، وتستخدم طريقة تجميع مضاعفة بشكل كبير لتوليد نتيجة الاستدلال النهائي.علاوة على ذلك، نقترح وظيفة خسارة جديدة لتخفيف المشكلة السلبية الخاطئة أثناء التدريب.تجارب على اثنين من كلغ العالم الحقيقي توضح فعالية طريقتنا.يمكن الحصول على شفرة المصدر وبيانات هذه الورقة من https://github.com/cciiplab/cet.
تتمثل التعريف بإعادة الصياغة (PI)، وهي مهمة أساسية في معالجة اللغة الطبيعية، هي تحديد ما إذا كانت الجملتين تعبر عن نفس المعنى المماثل، وهي مشكلة تصنيف ثنائية. في الآونة الأخيرة، كانت النماذج اللغوية المدربة مسبقا بيرت هي خيارا شائعا لأطر نماذج PI الم ختلفة، ولكن جميع الطرق الحالية تقريبا تنظر في نص مجال عام. عندما يتم تطبيق هذه الأساليب على مجال معين، لا يمكن أن تكتب النماذج الحالية تنبؤات دقيقة بسبب نقص المعرفة المهنية. في ضوء هذا التحدي، نقترح إطارا جديدا، وهو، الذي يمكن أن يستفيد من المعرفة الخارجية غير المنظمة في ويكيبيديا لتحديد المواطن بدقة. نقترح علما مخلاصة المعرفة بالمفاهيم المتعلقة بحكمات معينة من ويكيبيديا عبر نموذج BM25. بعد استرداد المعرفة المخططة ذات الصلة، يجعل التنبؤات بناء على كل من المعلومات الدلالية للجملتين ومعرفة الخطوط العريضة. إضافة إلى ذلك، نقترح آلية Gating تجميع التنبؤ الدلالي القائم على المعلومات والتنبؤ القائم على المعرفة. تتم إجراء تجارب واسعة على مجموعة بيانات عامين: العرض (مجموعة بيانات مجال علوم الكمبيوتر) و Clinicalsts2019 (مجموعة بيانات مجال الطب الحيوي). تشير النتائج إلى أن الأساليب المتوفرة التي تتفوقت على أحدث الأحوال.
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا