أدت نماذج اللغة مثل GPT-2 بشكل جيد على إنشاء جمل سليمة نصنية لمهام إكمال تلقائي للنصوص.ومع ذلك، غالبا ما تتطلب هذه النماذج جهدا تدريبيا كبيرا للتكيف مع مجالات الكتابة المحددة (على سبيل المثال، الطبية).في هذه الورقة، نقترح استراتيجية تدريبية متوسطة لت
عزيز أداء نماذج اللغة المدربة مسبقا في مهمة إكمال تلقائي النص وتكييفها بشكل مستقل إلى مجالات محددة.تضم استراتيجيتنا هدفا جديدا للتدريب على الإشراف على الذات يسمى التنبؤ بالعبارة التالية (NPP)، والذي يشجع نموذج اللغة لإكمال الاستعلام الجزئي مع العبارات المخصبة وتحسين أداء الانتهاء التلقائي للنموذج في النهاية.أظهرت التجارب الأولية أن نهجنا قادر على تفوق خطوط الأساس في الإنجاز التلقائي للنطاقات البريدية والكتابة الأكاديمية.
يتم تعريف Sememes على أنها الوحدات الذرية لوصف المعنى الدلالي للمفاهيم.نظرا لصعوبة التعليق يدويا في التسجيل يدويا واستنادا إلى التعليق بين الخبراء، فقد تم اقتراح مهمة تنبؤات النظرة المعجمية.ومع ذلك، فإن الأساليب السابقة تعتمد بشدة على Word أو Artters
dings، وتجاهل المعلومات المحبوسة الدقيقة.في هذه الورقة، نقترح طريقة رواية ما قبل التدريب والتي تم تصميمها لتحسين دمج المعلومات الداخلية للشخصية الصينية.يتم استخدام تمثيل الأحرف الصيني المحسنة Glyph (دول مجلس التعاون الخليجي) لمساعدة تنبؤة النظر.نقوم بتجربة وتقييم النموذج لدينا على HOWNET، وهو قاعدة المعرفة الشمالية الشهيرة.تظهر النتائج التجريبية أن أسلوبنا تتفوق على نماذج المعلومات غير الخارجية الموجودة.
تنبؤ نوع نقطة الفائدة (POI) هو مهمة استنتاج نوع المكان الذي تم فيه مشاركة مشاركة وسائل التواصل الاجتماعي. إن الاستنتاج من نوع POI مفيد للدراسات في العلوم الاجتماعية الحاسوبية بما في ذلك الاجتماع الاجتماعي، والجيولوجيوسيوس، والجغرافيا الثقافية، ولديه
تطبيقات في تكنولوجيات الشبكات الجيولوجية مثل أنظمة التوصية والتصور. الجهود السابقة في التنبؤ بنوع POI التركيز فقط على النص، دون أخذ معلومات مرئية في الاعتبار. ولكن في الواقع، مجموعة متنوعة من الطرائق، فضلا عن علاقاتهم شبهية مع بعضها البعض، شكل التواصل والتفاعلات في وسائل التواصل الاجتماعي. تقدم هذه الورقة دراسة حول التنبؤ بنوع POI باستخدام معلومات متعددة الوسائط من النص والصور المتوفرة في وقت النشر. لهذا الغرض، فإننا نشعر بإثراء البيانات المتاحة حاليا لتنبؤ بنوع POI مع الصور التي ترافق الرسائل النصية. يتم استخراج الأسلوب المقترح لدينا المعلومات ذات الصلة من كل طريقة لالتقاط التفاعلات الفعالة بين النصوص والصورة تحقيق ماكرو F1 من 47.21 من 4 فئات تتفوق بشكل كبير على الطريقة التي من بين الفني للتنبؤ بنوع POI بناء على طرق النص فقط. أخيرا، نقدم تحليلا مفصلا لإلقاء الضوء على التفاعلات عبر الوسائط والقيود المتمثلة في أفضل نموذج أداء لدينا.
تم تلخيص الاستخراج هو الدعامة الرئيسية للتلخيص التلقائي لعدة عقود. على الرغم من كل التقدم المحرز، ما زالت الملخصات الاستخراجية تعاني من أوجه القصور بما في ذلك مشاكل Aquerence الناشئة عن استخراج الجمل بعيدا عن سياقها الأصلي في المستند المصدر. هذا يؤثر
على تماسك وكمية ملخصات الاستخراجية. في هذا العمل، نقترح خطوة خفيفة الوزن لتحرير الوزن للملخصات الاستخراجية التي تقوم بمراكز حول قرار لغز واحد: استئناف عبارات الاسم. نقوم بإجراء دراسات التقييم البشرية التي تظهر أن قضاة الخبراء البشري يفضلون بشكل كبير إنتاج نظامنا المقترح على الملخصات الأصلية. علاوة على ذلك، بناء على دراسة تقييم تلقائي، نقدم دليلا على قدرة نظامنا على توليد القرارات اللغوية التي تؤدي إلى تحسين ملخصات الاستخراجية. نرسم أيضا رؤى حول كيفية استغلال النظام الأوتوماتيكي بعض الإشارات المحلية المتعلقة بأسلوب كتابة نصوص المقال الرئيسية أو النصوص الموجزة لجعل القرارات، بدلا من التفكير حول السياقات بشكل عملي.
هدف التنبؤ بالحقائق في الحدث (EFP) هو تحديد درجة الواقعية لذكر الحدث، مما يمثل مدى احتمال ذكر الحدث في النص.أظهرت نماذج التعلم العميق الحالية أهمية الهياكل النحوية واللاللالية للجمل لتحديد كلمات السياق الهامة ل EFP.ومع ذلك، فإن المشكلة الرئيسية في نم
اذج EFP هذه هي أنها تشفص مسارات القفزة الواحدة فقط بين الكلمات (I.E.، والاتصالات المباشرة) لتشكيل هياكل الجملة.في هذا العمل، نظهر أن مسارات القفزات متعددة القفزة بين الكلمات ضرورية أيضا لحساب هياكل الجملة ل EFP.تحقيقا لهذه الغاية، نقدم نموذجا للتعليم العميق الجديد ل EFP الذي يعتبر صراحة مسارات القفزات متعددة القفزات مع كل من الحواف القائمة على بناء الجملة والدلية بين الكلمات للحصول على هياكل الجملة للتعلم في EFP.نوضح فعالية النموذج المقترح عبر التجارب الواسعة في هذا العمل.
تكييف ترتيب الكلمات من لغة واحدة إلى أخرى هو مشكلة رئيسية في التنبؤ المنظم عبر اللغات.تشفير الجملة الحالية (على سبيل المثال، RNN، محول مع تضيير الموقف) هي عادة ترتيب الكلمة الحساسة.حتى مع وجود تمثيلات نموذج موحدة (MUSE، MBERT)، قد تؤذي تناقضات ترتيب
الكلمات التكيف مع النماذج.في هذه الورقة، نبني نماذج التنبؤ الهيكلية بمدخلات كيس من الكلمات، وإدخال وحدة إعادة ترتيب جديدة لتنظيم الكلمات بعد ترتيب لغة المصدر، والذي يتعلم استراتيجيات إعادة ترتيب محددة المهام من نموذج تنبئ النظام للأغراض العامة.تظهر التجارب على تحليل التبعية المتبادلة الصفرية وعلامات نقاط البيع، والعلامات المورفولوجية أن طرازنا يمكن أن يحسن بشكل كبير من أداء اللغات المستهدفة، وخاصة لغات بعيدة عن اللغة المصدر.
في التحقق الآلي المطالبة، نسترجع الأدلة من قاعدة المعرفة لتحديد صحة المطالبة.بشكل حدسي، يلعب استرجاع الأدلة الصحيحة دورا حاسما في هذه العملية.في كثير من الأحيان، يتم تناول اختيار الأدلة بمثابة مهمة تصنيف جملة الزوجية، أي نحن ندرب نموذجا للتنبؤ بكل جم
لة على حدة ما إذا كان دليلا على المطالبة.في هذا العمل، نحن نغلق محولات مستوى المستندات لاستخراج جميع الأدلة من وثيقة ويكيبيديا في وقت واحد.نظل أن هذا النهج ينفذ أفضل من الأحكام المصنفة للنموذج القابل للمقارنة بشكل فردي على جميع مقاييس اختيار الأدلة ذات الصلة في الحمى.ينتج بناء خط أنابيبنا الكامل على إجراء اختيار الأدلة هذا نتيجة جديدة للحمى، وهو معيار التحقق من المطالبات الشعبية.
في السنوات الأخيرة، الأعمال التجارية العالمية في المناقشات عبر الإنترنت وتقاسم الرأي حول وسائل التواصل الاجتماعي مزدهرة. وبالتالي، يقترح ذلك مهمة التنبؤ بإعادة الدخول لمساعدة الناس على تتبع المناقشات التي يرغبون في الاستمرار فيها. ومع ذلك، فإن الأعما
ل الحالية تركز فقط على استغلال سجلات الدردشة ومعلومات السياق، وتجاهل إشارات التعلم المفيدة المحتملة بيانات المحادثة الأساسية، مثل أنماط موضوع المحادثة والمشاركة المتكررة للمستخدمين المستهدفين، والتي تساعد على فهم سلوك المستخدمين المستهدفين بشكل أفضل في المحادثات. في هذه الورقة، نقترح ثلاثة مهام مساعدة مثيرة للاهتمام وأسس بشكل جيد، وهي نمط انتشار، المستخدم المستهدف المتكرر، وتحويل التأتجل، كإشارات الإشراف ذاتيا لإعادة التنبؤ بالدخول. يتم تدريب هذه المهام الإضافية مع المهمة الرئيسية بطريقة متعددة المهام. تظهر النتائج التجريبية على مجموعة بيانات يتم جمعها حديثا من Twitter و Reddit أن أسلوبنا تتفوق على الحالة السابقة من الفنون السابقة مع عدد أقل من المعلمات والتقارب الأسرع. تظهر تجارب وتحليل مستفيضة فعالية نماذجنا المقترحة وأشير أيضا إلى بعض الأفكار الرئيسية في تصميم المهام ذات الإشراف على الذات.
يحتوي الرسم البياني المعرفي المفتوح المجال (KG) على كيانات كعقد، وعلاقات اللغة الطبيعية كحواف، ويتم بناؤها عن طريق الاستخراج (الموضوع، العلاقة، كائن) ثلاث مرات من النص. مهمة التنبؤ ارتباط المجال المفتوح هو أن يستنتج العلاقات المفقودة في كجم. استخدم ا
لعمل السابق التنبؤ بالصلة القياسية للمهمة. نظرا لأن ثلاثة أضعاف استخراج من النص، فيمكننا أن ننظر إليها في السياق النصي الأكبر الذي تم العثور عليه أصلا. ومع ذلك، فإن أساليب التنبؤ بالصلة القياسية تعتمد فقط على هيكل KG وتجاهل السياق النصي الذي تم استخراج كل ثلاث مرات منه. في هذه الورقة، نقدم المهمة الجديدة لتنبؤ ارتباط السياق المفتوح الذي يمكنه الوصول إلى كل من السياق النصي وبنية كجم لإجراء تنبؤ الارتباط. نحن نبني مجموعة بيانات للمهمة واقتراح نموذج لذلك. تظهر تجاربنا أن السياق أمر حاسم في التنبؤ بالعلاقات المفقودة. كما نوضح فائدة التنبؤ بالوصلة السياقية في اكتشاف الاستراتيجية المستقلة للسياق بين العلاقات، في شكل رسوم بيانية استقامة (على سبيل المثال)، والتي تكون فيها العقد العلاقات. تعقد العكس أيضا: المساعدات المستقلة للسياق EGS في التنبؤ بالعلاقات في السياق.
يتكون تنبؤ الحكم القانوني (LJP) عادة في مهمة تصنيف النص يهدف إلى التنبؤ بالحكم على أساس وصف الحقيقة.يظهر الأدب أن استخدام المقالات كميزات الإدخال يساعد على تحسين أداء التصنيف.في هذا العمل، صممنا مهمة تنبؤ بالحكم بناء على نزاعات مستأجرة المالك وقمنا ب
تطبيق النماذج القائمة على بيرت التي تغذيها من مختلف الميزات القائمة على المادة.على الرغم من أن النتائج التي تم الحصول عليها تتفق مع الأدبيات، إلا أن التحسينات المتعلقة بالمقالات التي يتم الحصول عليها في الغالب مع الملصقات الأكثر شيوعا، مما يشير إلى أن النماذج القائمة على المحولات المدربة ومضبوطة مسبقا وغير قابلة للتحجيم كما هو الحال بالنسبة للمنطق القانوني في سيناريوهات الحياة الحقيقيةإنهم سيحلون فقط في التنبؤ بدقة أكبر الأحكام المتكررة على حساب النتائج القانونية الأخرى.
