في حين أن التعرف التلقائي على الكلام قد أظهر عرضة لهجمات الخصومة، فإن الدفاعات ضد هذه الهجمات لا تزال متأخرة.يمكن كسر الدفاعات الحالية والساذجة جزئيا مع هجوم على التكيف.في مهام التصنيف، تبين أن نموذج التجانس العشوائي فعال في النماذج الدفاعية.ومع ذلك،
من الصعب تطبيق هذه النموذج لمهام ASR، بسبب تعقيدها والطبيعة المتسلسلة لمخرجاتها.تتغلب الورق لدينا على بعض هذه التحديات من خلال الاستفادة من الأدوات الخاصة بالكلام مثل التحسين والتصويت Rover لتصميم نموذج ASR قوي للقلق.نحن نطبق الإصدارات التكيفية من الهجمات الحديثة، مثل هجوم ASR غير المحدد، ونموذجنا، وإظهار أن أقوى دفاعنا هو قوي لجميع الهجمات التي تستخدم الضوضاء غير المسموعة، ولا يمكن كسرها إلا مع تشويه كبير للغايةوبعد
أصبح توحيد التعلم الصوتي واللغوي أمرا مهما بشكل متزايد بنقل المعرفة المستفادة بشأن وفرة بيانات لغة الموارد عالية الموارد للحصول على التعرف على الكلام المنخفض الموارد. الأساليب الحالية ببساطة تتالي النماذج الصوتية واللغة المدربة مسبقا لتعلم النقل من ا
لكلام إلى النص. ومع ذلك، فإن كيفية حل تناقض التمثيل في الكلام والنص غير مستكشفة، مما يعيق استخدام المعلومات الصوتية واللغوية. علاوة على ذلك، يعمل الأمر السابق ببساطة استبدال طبقة تضمين نموذج اللغة المدربة مسبقا مع الميزات الصوتية، والتي قد تتسبب في مشكلة نسيان الكارثي. في هذا العمل، نقدم WAV-Bert، وهي طريقة تعليمية تعاونية وصوتية وممثلة على الصمامات والاستفادة من المعلومات السياقية من الكلام والنص. على وجه التحديد، نقوم بتحديد نموذج صوت صوتي مدرب مسبقا (WAV2VEC 2.0) ونموذج لغة (Bert) في إطار قابل للتدريب من طرف إلى نهاية. تم تصميم وحدة تجميع التمثيل لتجميع التمثيل الصوتي واللغوي، ويتم تقديم وحدة الانتباه التضمين لإدماج المعلومات الصوتية في بيرت، والتي يمكن أن تسهل بفعالية تعاون نماذج مدربة مسبقا وبالتالي تعزيز تعلم التمثيل. تشير التجارب الواسعة إلى أن لدينا WAV-Bert تنفأ بشكل كبير على النهج الحالية وتحقيق الأداء الحديث في التعرف على الكلام المنخفض الموارد.
نما خطاب الكراهية بشكل كبير على وسائل التواصل الاجتماعي، مما تسبب في عواقب وخيمة على ضحايا جميع التركيبة السكانية.على الرغم من الاهتمام بالكثير من الاهتمام لتوصيف واكتشاف الكلام التمييزي، ركز معظم الأعمال على خطاب الكراهية الصريح أو الصريح، وفشل في م
عالجة شكل أكثر انتشارا يستند إلى لغة مشفرة أو غير مباشرة.لملء هذه الفجوة، يقدم هذا العمل تصنيفا مبررا من الناحية النظرية لخطاب الكراهية الضمنية والجورتين القياسي مع ملصقات جيدة المحبوب لكل رسالة وتضليلها.نقدم تحليلات منهجية لمجموعة البيانات الخاصة بنا باستخدام خطوط الأساس المعاصرة للكشف عن خطاب الكراهية الضمني، ونناقش الميزات الرئيسية التي تحدي النماذج الحالية.ستستمر هذه البيانات في العمل بمثابة معيار مفيد لفهم هذه المشكلة متعددة الأوجه.
اكتسبت النماذج المستندة إلى المحولات شعبية متزايدة تحقق الأداء الحديث في العديد من مجالات البحث بما في ذلك ترجمة الكلام. ومع ذلك، فإن التعقيد التربيعي للمحول فيما يتعلق بديل تسلسل الإدخال يمنع اعتماده كما هو الحال مع إشارات صوتية، والتي تمثل عادة بال
تسلسلات الطويلة. اللجوء الحلول الحالية إلى ضغط أساسي أساسي على أساس أخذ العينات الثابتة لميزات الصوت الخام. لذلك، فإن المعلومات اللغوية المفيدة المحتملة غير قابلة للوصول إلى طبقات أعلى مستوى في الهندسة المعمارية. لحل هذه المشكلة، نقترح الكلمة، وهي عبارة عن بنية، بفضل انخفاض استخدام الذاكرة في طبقات الاهتمام، وتجنب ضغط المخلفات الأولية والمعلومات المجامعة فقط على مستوى أعلى وفقا لمعايير لغوية أكثر استنارة. تظهر التجارب على ثلاث أزواج اللغات (en → de / es / nl) فعالية حلنا، مع مكاسب تصل إلى 0.8 بلو على Corpus القياسية يجب أن تكون ميديا وعلى ما يصل إلى 4.0 بلو في سيناريو منخفض الموارد.
نظرا للتقدم المؤخرا لمعالجة اللغات الطبيعية، قامت عدة أعمال بتطبيق نموذج اللغة الملثم المدرب مسبقا (MLM) من Bert إلى ما بعد تصحيح التعرف على الكلام.ومع ذلك، فإن النماذج القائمة المدربة مسبقا فقط تنظر فقط في التصحيح الدلالي أثناء إهمال السمات الصوتية
للكلمات.سوف يؤدي الإصلاح الدلالي الوحيد فقط إلى تقليل الأداء لأن الأخطاء هوموفونية شائعة إلى حد ما في الصيني العسكري.في هذه الورقة، اقترحنا نهجا جديدا لاستغلال التمثيل السياقي بشكل جماعي والمعلومات الصوتية بين الخطأ واستبدال المرشحين لتخفيف معدل الخطأ الصيني العسكري.أظهرت نتائج تجربتنا على مجموعات بيانات التعرف على الكلام العالمي الحقيقي أن طريقةنا المقترحة لها من الواضح أن خفضت من النموذج الأساسي، مما استخدم برت مزاملا مدربا مسبقا كصاصر.
في السنوات الأخيرة، يمكن لنظام توليف الكلام إنشاء خطاب بجودة الكلام العالية. ومع ذلك، لا يزال نظام النص إلى كلام متعدد الكلام (TTS) يتطلب كمية كبيرة من بيانات الكلام لكل مكبر صوت مستهدف. في هذه الدراسة، نود إنشاء نظام TTS متعدد المتكلم من خلال دمج وح
دات فرعية في نظام توليف الكلام المصنوع من الشبكة العصبية المصطنعة لتخفيف هذه المشكلة. تتمثل الوحدة الأولى في إضافة مكبر صوت إلى وحدة الترميز لتوليد الكلام في حين أن كمية كبيرة من بيانات الكلام من السماعة المستهدفة ليست ضرورية. بالنسبة لطريقة تضمين المتكلم، في دراستنا، يتم مقارنة طريقتان رئيسيتان لضمان المتكلم، وهي تضمين مكبر الصوت التضمين وإدماج تحويل الصوت، بتحديد ما هو مناسب لنظام TTS الشخصي الخاص بنا. ثانيا، استبدلنا الوحدة النمطية الإضافية التقليدية، التي تم تبنيها لتعزيز تسلسل طيف الإخراج، لزيادة تحسين جودة خطاب الكلام الذي تم إنشاؤه. هنا، يتم استخدام شبكة ما بعد المرشح. أخيرا، أظهرت نتائج التجربة أن تضمين المتكلم مفيد من خلال إضافةه إلى وحدة ترميز ونطق الكلام الناتج ينظر بالفعل إلى السماعة المستهدفة. أيضا، شبكة ما بعد التصفية ليست فقط تحسين جودة الكلام وتعزز أيضا تشابه المتكلم من كلام الكلام الناتج. يمكن لنظام TTS المصمم أن يولد كلام الكلام للمتكلم المستهدف في أقل من 2 ثانية. في المستقبل، نود مزيد من التحقيق في مكافحة قابلية التحكم في معدل التحدث أو حالة المشاعر المتصورة للكلمة التي تم إنشاؤها.
بسبب شعبية خدمات مساعد الحوار الذكي، أصبح التعرف على عاطفي الكلام أكثر وأكثر أهمية.في التواصل بين البشر والآلات، يمكن للتعرف على العاطفة وتحليل العاطفة تعزيز التفاعل بين الآلات والبشر.تستخدم هذه الدراسة نموذج CNN + LSTM لتنفيذ معالجة العاطفة الكلام (
SER) والتنبؤ بها.من النتائج التجريبية، من المعروف أن استخدام نموذج CNN + LSTM يحقق أداء أفضل من استخدام نموذج NN التقليدي.
تعد مهمة الطلاقة اللفظية الدلالية (SVF) أداة للفحص الفعال والغازي في الكلام من أجل ضعف المعرفي المعتدل (MCI). في SVF، يتعين على الشاشات إنتاج أكبر عدد ممكن من الكلمات للحصول على فئة دلالية معينة قدر الإمكان في غضون 60 ثانية. من بين النهج الحديثة للتق
ييم التلقائي ل SVF توظف Word Adgeddings لتحليل أوجه التشابه الدلالي في تسلسل الكلمات هذه. في حين أثبتت هذه الأساليب الواعدة في مجموعة متنوعة من لغات الاختبار، فإن كمية البيانات الصغيرة المتاحة لأي لغة معينة تحد من الأداء. في هذه الورقة، نحن في المرة الأولى التي تحقق فيها مناهج التعلم متعددة اللغات لتصنيف MCI من SVF من أجل مكافحة ندرة البيانات. للسماح للتعميم عبر اللغات، تعتمد هذه الأساليب إما على الترجمة إلى لغة مشتركة، أو الاستفادة من العديد من تضمين كلمة مميزة. في التقييمات في جثة متعددة اللغات من المشاركين الفرنسيين الأكبر سنا والمشاركين الهولنديين والألمانيين (الضوابط = 66، MCI = 66)، نظين أن نهجنا متعددة اللغات تتحسن بوضوح على خطوط خطوط خطوط خطوط وطنية واحدة.
تصف هذه الورقة مشاركة جامعة ماستريخت في مسار الترجمة متعددة اللغات في IWSLT 2021.المهمة في هذه المسار هي بناء أنظمة ترجمة خطاب متعددة اللغات في اتجاهات تحت إشراف ومطلة الصفر.نظامنا الأساسي هو نموذج نهاية إلى نهاية يؤدي إلى نسخ الكلام والترجمة.نلاحظ أ
ن التدريب المشترك للمهامتين مكملتين خاصة عندما تكون بيانات ترجمة الكلام نادرة.على المصدر والجانب المستهدف، نستخدم تكبير البيانات والملصقات الزائفة على التوالي لتحسين أداء أنظمتنا.نقدم أيضا تقنية كفرية تعمل باستمرار على تحسين جودة النسخ والترجمات.تظهر التجارب أن النظام المنتهي تنافسية مع نظيره المتتالي وخاصة في ظروف الطلقة الصفرية.
توضح هذه الورقة التقديم إلى المهمة المشتركة لخطوط خطاب IWSLT 2021 من قبل فريق IMS.نستخدم النماذج الحديثة من النماذج المشتركة مع العديد من أساليب تكبير البيانات ومتعدد المهام والنقل مناهج للتعرف على الكلام التلقائي (ASR) وخطوات الترجمة الآلية (MT) لنظ
امنا المتتالي.علاوة على ذلك، فإننا نستكشف أيضا جدوى نموذج ترجمة خط الكلام (ST) بالكامل في حالة كمية مقيدة للغاية من الحقيقة الأرضية المصنفة.يحقق أفضل نظامنا أفضل أداء بين جميع الأنظمة المقدمة للسواحيلية للإنجليزية والفرنسية مع درجات بلو 7.7 و 13.7 على التوالي، وثاني أفضل نتيجة للسواحيلية السواحلية إلى الإنجليزية مع النتيجة بلو 14.9.
