اكتسبت النماذج المستندة إلى المحولات شعبية متزايدة تحقق الأداء الحديث في العديد من مجالات البحث بما في ذلك ترجمة الكلام. ومع ذلك، فإن التعقيد التربيعي للمحول فيما يتعلق بديل تسلسل الإدخال يمنع اعتماده كما هو الحال مع إشارات صوتية، والتي تمثل عادة بال
تسلسلات الطويلة. اللجوء الحلول الحالية إلى ضغط أساسي أساسي على أساس أخذ العينات الثابتة لميزات الصوت الخام. لذلك، فإن المعلومات اللغوية المفيدة المحتملة غير قابلة للوصول إلى طبقات أعلى مستوى في الهندسة المعمارية. لحل هذه المشكلة، نقترح الكلمة، وهي عبارة عن بنية، بفضل انخفاض استخدام الذاكرة في طبقات الاهتمام، وتجنب ضغط المخلفات الأولية والمعلومات المجامعة فقط على مستوى أعلى وفقا لمعايير لغوية أكثر استنارة. تظهر التجارب على ثلاث أزواج اللغات (en → de / es / nl) فعالية حلنا، مع مكاسب تصل إلى 0.8 بلو على Corpus القياسية يجب أن تكون ميديا وعلى ما يصل إلى 4.0 بلو في سيناريو منخفض الموارد.
أصبح توحيد التعلم الصوتي واللغوي أمرا مهما بشكل متزايد بنقل المعرفة المستفادة بشأن وفرة بيانات لغة الموارد عالية الموارد للحصول على التعرف على الكلام المنخفض الموارد. الأساليب الحالية ببساطة تتالي النماذج الصوتية واللغة المدربة مسبقا لتعلم النقل من ا
لكلام إلى النص. ومع ذلك، فإن كيفية حل تناقض التمثيل في الكلام والنص غير مستكشفة، مما يعيق استخدام المعلومات الصوتية واللغوية. علاوة على ذلك، يعمل الأمر السابق ببساطة استبدال طبقة تضمين نموذج اللغة المدربة مسبقا مع الميزات الصوتية، والتي قد تتسبب في مشكلة نسيان الكارثي. في هذا العمل، نقدم WAV-Bert، وهي طريقة تعليمية تعاونية وصوتية وممثلة على الصمامات والاستفادة من المعلومات السياقية من الكلام والنص. على وجه التحديد، نقوم بتحديد نموذج صوت صوتي مدرب مسبقا (WAV2VEC 2.0) ونموذج لغة (Bert) في إطار قابل للتدريب من طرف إلى نهاية. تم تصميم وحدة تجميع التمثيل لتجميع التمثيل الصوتي واللغوي، ويتم تقديم وحدة الانتباه التضمين لإدماج المعلومات الصوتية في بيرت، والتي يمكن أن تسهل بفعالية تعاون نماذج مدربة مسبقا وبالتالي تعزيز تعلم التمثيل. تشير التجارب الواسعة إلى أن لدينا WAV-Bert تنفأ بشكل كبير على النهج الحالية وتحقيق الأداء الحديث في التعرف على الكلام المنخفض الموارد.
في حين أن التعرف التلقائي على الكلام قد أظهر عرضة لهجمات الخصومة، فإن الدفاعات ضد هذه الهجمات لا تزال متأخرة.يمكن كسر الدفاعات الحالية والساذجة جزئيا مع هجوم على التكيف.في مهام التصنيف، تبين أن نموذج التجانس العشوائي فعال في النماذج الدفاعية.ومع ذلك،
من الصعب تطبيق هذه النموذج لمهام ASR، بسبب تعقيدها والطبيعة المتسلسلة لمخرجاتها.تتغلب الورق لدينا على بعض هذه التحديات من خلال الاستفادة من الأدوات الخاصة بالكلام مثل التحسين والتصويت Rover لتصميم نموذج ASR قوي للقلق.نحن نطبق الإصدارات التكيفية من الهجمات الحديثة، مثل هجوم ASR غير المحدد، ونموذجنا، وإظهار أن أقوى دفاعنا هو قوي لجميع الهجمات التي تستخدم الضوضاء غير المسموعة، ولا يمكن كسرها إلا مع تشويه كبير للغايةوبعد
نما خطاب الكراهية بشكل كبير على وسائل التواصل الاجتماعي، مما تسبب في عواقب وخيمة على ضحايا جميع التركيبة السكانية.على الرغم من الاهتمام بالكثير من الاهتمام لتوصيف واكتشاف الكلام التمييزي، ركز معظم الأعمال على خطاب الكراهية الصريح أو الصريح، وفشل في م
عالجة شكل أكثر انتشارا يستند إلى لغة مشفرة أو غير مباشرة.لملء هذه الفجوة، يقدم هذا العمل تصنيفا مبررا من الناحية النظرية لخطاب الكراهية الضمنية والجورتين القياسي مع ملصقات جيدة المحبوب لكل رسالة وتضليلها.نقدم تحليلات منهجية لمجموعة البيانات الخاصة بنا باستخدام خطوط الأساس المعاصرة للكشف عن خطاب الكراهية الضمني، ونناقش الميزات الرئيسية التي تحدي النماذج الحالية.ستستمر هذه البيانات في العمل بمثابة معيار مفيد لفهم هذه المشكلة متعددة الأوجه.
نظرا للتقدم المؤخرا لمعالجة اللغات الطبيعية، قامت عدة أعمال بتطبيق نموذج اللغة الملثم المدرب مسبقا (MLM) من Bert إلى ما بعد تصحيح التعرف على الكلام.ومع ذلك، فإن النماذج القائمة المدربة مسبقا فقط تنظر فقط في التصحيح الدلالي أثناء إهمال السمات الصوتية
للكلمات.سوف يؤدي الإصلاح الدلالي الوحيد فقط إلى تقليل الأداء لأن الأخطاء هوموفونية شائعة إلى حد ما في الصيني العسكري.في هذه الورقة، اقترحنا نهجا جديدا لاستغلال التمثيل السياقي بشكل جماعي والمعلومات الصوتية بين الخطأ واستبدال المرشحين لتخفيف معدل الخطأ الصيني العسكري.أظهرت نتائج تجربتنا على مجموعات بيانات التعرف على الكلام العالمي الحقيقي أن طريقةنا المقترحة لها من الواضح أن خفضت من النموذج الأساسي، مما استخدم برت مزاملا مدربا مسبقا كصاصر.
بسبب شعبية خدمات مساعد الحوار الذكي، أصبح التعرف على عاطفي الكلام أكثر وأكثر أهمية.في التواصل بين البشر والآلات، يمكن للتعرف على العاطفة وتحليل العاطفة تعزيز التفاعل بين الآلات والبشر.تستخدم هذه الدراسة نموذج CNN + LSTM لتنفيذ معالجة العاطفة الكلام (
SER) والتنبؤ بها.من النتائج التجريبية، من المعروف أن استخدام نموذج CNN + LSTM يحقق أداء أفضل من استخدام نموذج NN التقليدي.
في السنوات الأخيرة، يمكن لنظام توليف الكلام إنشاء خطاب بجودة الكلام العالية. ومع ذلك، لا يزال نظام النص إلى كلام متعدد الكلام (TTS) يتطلب كمية كبيرة من بيانات الكلام لكل مكبر صوت مستهدف. في هذه الدراسة، نود إنشاء نظام TTS متعدد المتكلم من خلال دمج وح
دات فرعية في نظام توليف الكلام المصنوع من الشبكة العصبية المصطنعة لتخفيف هذه المشكلة. تتمثل الوحدة الأولى في إضافة مكبر صوت إلى وحدة الترميز لتوليد الكلام في حين أن كمية كبيرة من بيانات الكلام من السماعة المستهدفة ليست ضرورية. بالنسبة لطريقة تضمين المتكلم، في دراستنا، يتم مقارنة طريقتان رئيسيتان لضمان المتكلم، وهي تضمين مكبر الصوت التضمين وإدماج تحويل الصوت، بتحديد ما هو مناسب لنظام TTS الشخصي الخاص بنا. ثانيا، استبدلنا الوحدة النمطية الإضافية التقليدية، التي تم تبنيها لتعزيز تسلسل طيف الإخراج، لزيادة تحسين جودة خطاب الكلام الذي تم إنشاؤه. هنا، يتم استخدام شبكة ما بعد المرشح. أخيرا، أظهرت نتائج التجربة أن تضمين المتكلم مفيد من خلال إضافةه إلى وحدة ترميز ونطق الكلام الناتج ينظر بالفعل إلى السماعة المستهدفة. أيضا، شبكة ما بعد التصفية ليست فقط تحسين جودة الكلام وتعزز أيضا تشابه المتكلم من كلام الكلام الناتج. يمكن لنظام TTS المصمم أن يولد كلام الكلام للمتكلم المستهدف في أقل من 2 ثانية. في المستقبل، نود مزيد من التحقيق في مكافحة قابلية التحكم في معدل التحدث أو حالة المشاعر المتصورة للكلمة التي تم إنشاؤها.
تعد مهمة الطلاقة اللفظية الدلالية (SVF) أداة للفحص الفعال والغازي في الكلام من أجل ضعف المعرفي المعتدل (MCI). في SVF، يتعين على الشاشات إنتاج أكبر عدد ممكن من الكلمات للحصول على فئة دلالية معينة قدر الإمكان في غضون 60 ثانية. من بين النهج الحديثة للتق
ييم التلقائي ل SVF توظف Word Adgeddings لتحليل أوجه التشابه الدلالي في تسلسل الكلمات هذه. في حين أثبتت هذه الأساليب الواعدة في مجموعة متنوعة من لغات الاختبار، فإن كمية البيانات الصغيرة المتاحة لأي لغة معينة تحد من الأداء. في هذه الورقة، نحن في المرة الأولى التي تحقق فيها مناهج التعلم متعددة اللغات لتصنيف MCI من SVF من أجل مكافحة ندرة البيانات. للسماح للتعميم عبر اللغات، تعتمد هذه الأساليب إما على الترجمة إلى لغة مشتركة، أو الاستفادة من العديد من تضمين كلمة مميزة. في التقييمات في جثة متعددة اللغات من المشاركين الفرنسيين الأكبر سنا والمشاركين الهولنديين والألمانيين (الضوابط = 66، MCI = 66)، نظين أن نهجنا متعددة اللغات تتحسن بوضوح على خطوط خطوط خطوط خطوط وطنية واحدة.
فصل الكلام هو مشكلة في مجال معالجة الكلام التي تمت دراستها على قدم وساق مؤخرا.ومع ذلك، لم يكن هناك الكثير من العمل في دراسة سيناريو لفصل الكلام متعدد اللكنات.أثارت مكبرات الصوت غير المرئية لهجات جديدة والضوضاء مشكلة عدم تطابق المجال والتي لا يمكن حله
ا بسهولة عن طريق أساليب التدريب المشتركة التقليدية.وبالتالي، طبقنا MAML و FOMAML لمعالجة هذه المشكلة وحصلت على أعلى قيم SI-SILRI أعلى من التدريب المشترك على جميع لهجات غير مرئية تقريبا.أثبت ذلك أن هاتين الطريقتين لديها القدرة على توليد معلمات مدربة جيدا للتكييف مع مخاليط الكلام من مكبرات الصوت الجديدة ولوجزات.علاوة على ذلك، اكتشفنا أن Fomaml يحصل على أداء مماثل مقارنة بالماما مع توفير الكثير من الوقت.
تقلص نهج التحيز مع اعتماد النماذج على ميزات البيانات الحساسة للبيانات، مثل رموز المجموعة الاجتماعية (SGTS)، مما يؤدي إلى تنبؤات متساوية عبر الميزات الحساسة.ومع ذلك، في الكشف عن الكلام الكراهية، قد يتجاهل تكالير التعادل النموذجي الاختلافات المهمة بين
الفئات الاجتماعية المستهدفة، حيث يمكن أن يحتوي خطاب الكراهية على لغة نمطية محددة لكل رقاقة.هنا، لاتخاذ لغة محددة حول كل رقص في الاعتبار، نعتمد على الإنصاف المتعارض واستكمال التنبؤات فيما بينها، ولدت من خلال تغيير SGTS.تقوم طريقتنا بتقييم التشابه في احتمالية الجملة (عبر نماذج اللغة المدربة مسبقا) بين الوسائل المتعددة، لعلاج SGTS على قدم المساواة إلا في سياقات قابلة للتبديل.من خلال تطبيق اقتران Logit لتحقيق التوازن في المجموعة المحظورة من مواجهة المصنع لكل حالة، فإننا نحسن مقاييس الإنصاف مع الحفاظ على الأداء النموذجي في اكتشاف خطاب الكراهية.
