يُعد التعرف التلقائي على الكلام، وخاصة التعرف المستمر على الكلام واسع المفردات، مسألة مهمة في مجال التعلم الآلي. لفترة طويلة كان نموذج ماركوف المخفي (HMM) مع نموذج الخليط الغاوسي (GMM) هو الإطار السائد للتعرف على الكلام. لكن في الآونة الأخيرة حقق نموذج HMM مع الشبكة العصبية العميقة (DNN) والنموذج الشامل (end-to-end) القائم على التعلم العميق أداءً متفوقًا على نموذج HMM-GMM. ويحقق النموذجان القائمان على التعلم العميق أداءً متقاربًا، إلا أن نموذج HMM-DNN ما زال مقيدًا بعوامل غير مواتية موروثة من HMM مثل المحاذاة القسرية للبيانات، وفرضية الاستقلال، والتدريب المنفصل متعدد الوحدات، في حين يتمتع النموذج الشامل بمزايا مثل تبسيط النموذج، والتدريب المشترك، والإخراج المباشر، وعدم الحاجة إلى محاذاة قسرية للبيانات. لذلك يُعد النموذج الشامل اتجاهًا بحثيًا مهمًا في التعرف على الكلام.
تستعرض هذه الورقة تطور النموذج الشامل. أولًا تقدم الأفكار الأساسية والمزايا والعيوب لنماذج HMM والنماذج الشاملة، وتشير إلى أن النموذج الشامل هو اتجاه التطور في التعرف على الكلام. ثم تركز المقالة على المبادئ والتقدم والنقاط البحثية الساخنة لثلاثة نماذج شاملة مختلفة: النماذج القائمة على التصنيف الزمني الاتصالي (CTC)، ومحوّل الشبكة العصبية المتكررة (RNN-transducer)، والنماذج القائمة على الانتباه (attention)، مع مقارنات نظرية وتجريبية مفصلة. وأخيرًا تُشير إلى المزايا والعيوب الخاصة بكل منها والتطور المستقبلي المحتمل للنموذج الشامل.
أصبح الناس يشعرون أكثر فأكثر بسهولة التفاعل الصوتي مع انتشار الأجهزة الذكية. وباعتباره وسيلة طبيعية جدًا للتفاعل بين الإنسان والآلة، شكّل التعرف التلقائي على الكلام (ASR) مسألة مهمة في مجال التعلم الآلي منذ سبعينيات القرن الماضي [1]. وتتمثل مهمة ASR في تحديد تسلسل صوتي مدخل X = {x1، ...، xT} بطول T كتسلسل تسميات L = {l1، ...، lN} بطول N (عادة حروف أو كلمات أو حروف صينية)، أي إيجاد تسلسل التسميات الأكثر احتمالًا L بشرط X عبر نمذجة التوزيع البعدي p(L|X) [1].
في مهمة التعرف المستمر على الكلام واسع المفردات (LVCSR)، ظل النموذج القائم على HMM هو التقنية السائدة وما زال مستخدمًا على نطاق واسع؛ وحتى اليوم يأتي أفضل أداء للتعرف على الكلام من نماذج HMM المدمجة مع التعلم العميق، ومعظم الأنظمة المنشورة صناعيًا قائمة على HMM. وفي الوقت نفسه حفّز التعلم العميق بديلًا جديدًا — وهو النموذج الشامل (end-to-end) — الذي يستخدم نموذجًا واحدًا لربط الصوت مباشرة بالحروف أو الكلمات، مستبدلًا مراحل المعالجة الهندسية بالتعلم دون الحاجة إلى خبرة في المجال، فهو أبسط في البناء والتدريب. وقد جعلت هذه المزايا النموذج الشامل سريعًا اتجاهًا بحثيًا ساخنًا في LVCSR.
يمتد تاريخ ASR من مطابقة القوالب المبكرة والالتواء الزمني الديناميكي (DTW) [10]، مرورًا بالنماذج الإحصائية مثل HMM-GMM المدرّبة بخوارزمية باوم-ويلش (EM) [12]، إلى عصر التعلم العميق الذي افتتحته شبكات الاعتقاد العميقة والنماذج الصوتية DNN [15،16]. يُفكك إطار HMM التعرف باستخدام قاعدة بايز إلى نموذج صوتي p(X|W) ومعجم ونموذج لغوي p(W)، يُدرَّب كل منها على حدة، مما يجعل النظام الكلي معقدًا ووحداته المُحسَّنة منفصلة دون المستوى الأمثل عالميًا. وقد خفّض الهجين DNN-HMM، الذي تُقدِّر فيه شبكات DNN احتمالات حالات HMM البعدية، معدلات خطأ الكلمات بشكل كبير وما زال عماد الأنظمة الإنتاجية [16،17].
أما النموذج الشامل فيُحسِّن p(L|X) مباشرة بشبكة عصبية واحدة تربط الإطارات الصوتية برموز الإخراج، دامجًا النمذجة الصوتية ونمذجة النطق والنمذجة اللغوية في تدريب مشترك بدالة خسارة واحدة. وقد تطور عبر ثلاثة مسارات تمثيلية: CTC الذي يُدخل تسمية فارغة (blank) ومحاذاة أمامية-خلفية لمعالجة عدم تطابق الطول بين الإطارات والتسميات [17]؛ ومحوّل RNN الذي يضيف شبكة تنبؤ تعمل كنموذج لغوي داخلي [30]؛ ونماذج التسلسل-إلى-التسلسل القائمة على الانتباه التي تتعلم محاذاة مرنة بين حالات المشفّر وتسميات الإخراج [36،37]. وتُزيل المسارات الثلاثة المحاذاة القسرية على مستوى الإطارات وخطوط المعالجة متعددة المراحل.
الفكرة الأساسية لـ CTC هي السماح للشبكة بإخراج رمز فارغ (blank) إضافة إلى التسميات الحقيقية، بحيث يمكن ربط تسلسل إطارات بطول T بتسلسل تسميات بطول N عبر تجميع المسارات متعدد-إلى-واحد: فاحتمال تسلسل التسميات هو مجموع احتمالات جميع مسارات مستوى الإطارات التي تنطوي عليه بعد إزالة الفراغات والتكرارات، ويُحسب بكفاءة عبر برمجة ديناميكية أمامية-خلفية مشابهة لتدريب HMM [17]. وبما أن CTC يفترض استقلال مخرجات الإطارات شرطيًا بشرط الصوتيات، فإن فك التشفير بسيط وسريع، ويدعم النموذج التعرف المتدفق بأدنى تأخير؛ وتعقيده الحسابي هو عمليات softmax من رتبة O(T) على خطوات الإدخال.
وطوّرت الأعمال القائمة على CTC هذا النموذج على ثلاثة محاور [38]: بنية النموذج، باستبدال شبكات RNN أحادية الاتجاه المبكرة بشبكات LSTM ثنائية الاتجاه (BLSTM) ثم لاحقًا بالمشفّرات الالتفافية ومشفّرات Transformer لالتقاط سياق أغنى؛ والتدريب على بيانات ضخمة، مثل Deep Speech 2 مع التسوية الدفعية (batch normalization) وجداول تدريب متدرجة توسعت إلى آلاف الساعات من الكلام [22،23]؛ ودمج النموذج اللغوي، إذ يفتقر CTC النقي إلى قدرة النمذجة اللغوية — لذا تُدمج نماذج n-gram أو نماذج لغوية عصبية خارجية في فك التشفير عبر الدمج السطحي أو البارد لإصلاح فرضية الاستقلال [38]. وبدون نموذج لغوي خارجي يكون أداء CTC الأسوأ بين النماذج الشاملة (فمثلًا بلغ CTC الحرفي 39.4% WER على بيانات الاختبار النظيفة في المقارنة المضبوطة [38]).
يوسّع محوّل RNN نموذج CTC بشبكة تنبؤ وشبكة مشتركة [30]: إذ يعالج المشفّر (شبكة النسخ) الصوتيات، وتعمل شبكة التنبؤ كنموذج لغوي على التسميات غير الفارغة المنبعثة سابقًا، وتدمج الشبكة المشتركة التدفقين لإخراج توزيع على التسميات إضافة إلى الفراغ عند كل نقطة في شبكة الإدخال-الإخراج. وتجمع دالة الخسارة على جميع المحاذاة في شبكة T×N بخوارزمية أمامية-خلفية، فيتعلم النموذج المحاذاة والاعتماديات اللغوية معًا. ويسير فك التشفير متزامنًا مع الإطارات، مُصدرًا التسميات أو الفراغات، مما يحافظ على قدرة البث المتدفق بتأخير أعلى قليلًا فقط من CTC.
وبما أن شبكة التنبؤ توفر معرفة لغوية داخلية، يتحسن محوّل RNN تحسنًا كبيرًا على CTC في جميع مجموعات الاختبار: ففي المقارنة المضبوطة على مستوى الحروف بلغ 6.6% WER على الكلام النظيف مقابل 39.4% لـ CTC الحرفي، و9.9% على مجموعة الإملاء-مقابل-التلقائي [38]. وتضيف آلية الانتباه داخل المحوّل (محوّل RNN مع الانتباه) تحسنًا إضافيًا طفيفًا (6.5% على النظيف، و9.7% على الإملاء-مقابل-التلقائي [38]). والثمن هو التعقيد: فتكلفة softmax على الشبكة هي O(TN)، والتدريب أصعب، وتكون شبكة التنبؤ عادة GRU بـ 700 بُعد تُدمج عبر شبكة مشتركة بتفعيل tanh وبـ 700 بُعد [38].
تستخدم النماذج القائمة على الانتباه (مثل Listen, Attend and Spell [36،37]) مشفّرًا لربط الصوتيات بحالات عالية المستوى وفاكّ تشفير يحسب عند كل خطوة إخراج أوزان انتباه على جميع حالات المشفّر ويُصدر التسمية التالية شرطيًا على متجه السياق وسجل فك التشفير — وبذلك تُتعلم المحاذاة بمرونة ويمثل فاكّ التشفير اللغة ضمنيًا. وركزت أبحاث المشفّر على تقليل التأخير وتكرار المعلومات (تقليل معدل الإطارات الهرمي والالتفافي)، واعتماد بنى أقوى (رزم BLSTM ثم لاحقًا مشفّرات Transformer)، بينما عالجت أبحاث الانتباه مشكلة الاستمرارية ومشكلة الرتابة (محاذاة الكلام-النص من اليسار إلى اليمين خلافًا للترجمة) واستخلاص المعلومات المفتاحية غير الدقيق وتأخير فك التشفير — عبر متغيرات الانتباه الرتيب والواعي بالموقع والنافذي [38].
وأظهرت الأعمال على فاكّ التشفير أن تعميقه يقوّي دوره اللغوي: ففي المقارنة المضبوطة بلغ نموذج الانتباه بفاكّ GRU من طبقة واحدة بـ 700 بُعد 6.6% على النظيف و9.0% على الإملاء-مقابل-التلقائي WER، وتحسّن فاكّ الطبقتين إلى 6.3% و8.7%، وهو الأفضل بين جميع النماذج الشاملة المختبرة [38]. والتكلفة الجوهرية هي زمن الاستجابة: إذ يجب أن ينتظر الانتباه ترميز الجملة كاملة قبل فك التشفير، فلا يدعم الانتباه النقي البث المتدفق دون حلول وسط مثل النوافذ، التي قد تضحي ببعض الدقة [65].
يقارن الجدول 1 في الورقة النماذج الثلاثة من حيث التأخير والتعقيد الحسابي والقدرة اللغوية وصعوبة التدريب ودقة التعرف [38]. يتمتع CTC بأقصر تأخير وتعقيد O(T) لكن دون قدرة لغوية وبأضعف دقة؛ ويتمتع محوّل RNN بتأخير متوسط وتعقيد O(TN) ونموذج لغوي داخلي عبر شبكة التنبؤ وتدريب أصعب ودقة قوية؛ ويتمتع نموذج الانتباه بأطول تأخير وتعقيد O(NT) (قابل للخفض إلى O(wN) بالنوافذ حيث w ≪ T) ونموذج لغوي عبر فاكّ التشفير وصعوبة تدريب متوسطة وأفضل دقة [38].
وفي أداء التعرف (الجدول 2، نماذج حرفية بخمس طبقات مشفّر BLSTM بـ 350 بُعدًا لكل اتجاه، وعرض حزمة 15، دون نموذج لغوي خارجي أو معجم [38]): يحقق خط الأساس CTC الصوتي المعتمد على السياق 5.4% على النظيف و8.6% على الضجيج WER؛ ومن بين الأنظمة الشاملة يكون نموذج الانتباه بفاكّ من طبقتين هو الأفضل (6.3% نظيف، 11.2% ضجيج، 8.1% رقمي، 19.7% إملاء، 8.7% إملاء-مقابل-تلقائي)، يليه فاكّ الانتباه من طبقة واحدة ثم محوّل RNN، بينما يتخلف CTC العادي بفارق كبير — مما يؤكد أن المعرفة اللغوية المدمجة هي العامل الحاسم [38].
رغم أن النماذج الشاملة تجاوزت HMM-GMM، فإنها ما زالت متخلفة عن أنظمة HMM-DNN التي تستخدم التعلم العميق أيضًا أو تماثلها فقط. ولاستغلال ميزة النموذج الشامل حقًا، يبرز المؤلفون جبهتي تحسين [38]. أولًا، تأخير النموذج: فنماذج CTC ومحوّل RNN رتيبة وتدعم فك التشفير المتدفق المناسب لسيناريوهات الإنترنت منخفضة زمن الاستجابة، لكن أداء تعرفها محدود؛ ونماذج الانتباه ترفع الدقة لكنها غير رتيبة وذات تأخير طويل، وتقليل زمن الاستجابة بالنوافذ قد يكلف الدقة [65] — لذا فإن خفض زمن الاستجابة مع الحفاظ على الأداء مسألة بحثية رئيسية.
ثانيًا، تعلم المعرفة اللغوية: تستمد نماذج HMM معرفة لغوية غنية من نماذج لغوية خارجية، بينما تأتي كل المعرفة اللغوية للنموذج الشامل من نصوص التدريب فقط بتغطية محدودة جدًا، مما يسبب صعوبة كبيرة مع المشاهد المتنوعة لغويًا. لذا يجب على النماذج الشاملة تحسين التعلم اللغوي مع الحفاظ على البنية الشاملة — مثلًا عبر فاكّات تشفير أعمق وشبكات تنبؤ أفضل ودمج أوثق لنماذج لغوية خارجية دون كسر التدريب المشترك [38].
Automatic speech recognition (ASR), especially large vocabulary continuous speech recognition, is an important issue in the field of machine learning. For a long time, the hidden Markov model (HMM)–Gaussian mixture model (GMM) has been the mainstream speech recognition framework. But recently, the HMM–deep neural network (DNN) model and the end-to-end model using deep learning have achieved performance beyond HMM-GMM. Both using deep learning techniques, these two models have comparable performances. However, the HMM-DNN model itself is limited by various unfavorable factors inherited from HMM such as forced data alignment, independence assumptions, and separate multi-module training, while the end-to-end model has advantages such as a simplified model, joint training, direct output, and no need for forced data alignment. Therefore, the end-to-end model is an important research direction of speech recognition.
In this paper we review the development of the end-to-end model. This paper first introduces the basic ideas, advantages and disadvantages of HMM-based models and end-to-end models, and points out that the end-to-end model is the development direction of speech recognition. Then the article focuses on the principles, progress and research hotspots of three different end-to-end models — connectionist temporal classification (CTC)-based, recurrent neural network (RNN)-transducer and attention-based models — with detailed theoretical and experimental comparisons. Their respective advantages and disadvantages and the possible future development of the end-to-end model are finally pointed out.
Popularity of smart devices has made people feel the convenience of voice interaction more and more. As a very natural human–machine interaction method, automatic speech recognition (ASR) has been an important issue in the machine learning field since the 1970s [1]. The task of ASR is to identify an acoustic input sequence X = {x1, ..., xT} of length T as a label sequence L = {l1, ..., lN} of length N (generally letters, words or Chinese characters), i.e. to find the most likely label sequence L given X by modeling the posterior distribution p(L|X) [1].
In large vocabulary continuous speech recognition (LVCSR), the HMM-based model has long been the mainstream technology and is still widely used; even today, the best speech recognition performance comes from HMM-based models combined with deep learning, and most industrially deployed systems are HMM-based. At the same time, deep learning has spurred an alternative — the end-to-end model — which uses a single model to map audio directly to characters or words, replacing engineered processing stages with learning and needing no domain expertise, so it is simpler to construct and train. These advantages have quickly made the end-to-end model a hot research direction in LVCSR.
The history of ASR spans from early template matching and dynamic time warping (DTW) [10], through statistical models such as HMM-GMM trained with the Baum-Welch (EM) algorithm [12], to the deep learning era opened by deep belief networks and DNN acoustic models [15,16]. The HMM framework decomposes recognition with Bayes' rule into an acoustic model p(X|W), a lexicon, and a language model p(W), each trained separately, which makes the overall system complex and its separately optimized modules globally suboptimal. The DNN-HMM hybrid, in which DNNs estimate HMM state posteriors, greatly reduced word error rates and remains the production workhorse [16,17].
The end-to-end model instead directly optimizes p(L|X) with a single neural network that maps acoustic frames to output symbols, folding acoustic, pronunciation and language modeling into joint training with one loss function. Its development followed three representative routes: CTC, which introduces a blank label and a forward-backward alignment to handle the length mismatch between frames and labels [17]; the RNN-transducer, which adds a prediction network acting as an internal language model [30]; and attention-based sequence-to-sequence models, which learn a soft alignment between encoder states and output labels [36,37]. All three remove forced frame-level alignments and multi-stage pipelines.
The key idea of CTC is to allow the network to output a blank symbol in addition to real labels, so that a length-T frame sequence can be mapped to a length-N label sequence via many-to-one path aggregation: the probability of a label sequence is the sum of the probabilities of all frame-level paths that collapse to it after removing blanks and repetitions, computed efficiently with a forward-backward dynamic program analogous to HMM training [17]. Because CTC assumes frame outputs are conditionally independent given the acoustics, decoding is simple and fast, and the model supports streaming recognition with minimal delay; its computation is O(T) softmax operations over input steps.
CTC-based works improved the paradigm along three lines [38]: model structure, replacing early unidirectional RNNs with bidirectional LSTMs (BLSTM) and later with convolutional and Transformer encoders to capture richer context; large-scale data training, e.g. Deep Speech 2 with batch normalization and sort-a-grad inspired schedules scaling to thousands of hours of speech [22,23]; and language model integration, since pure CTC has no language-modeling ability — external n-gram or neural LMs are fused in decoding via shallow or cold fusion to repair the independence assumption [38]. Without an external LM, CTC performs worst among end-to-end models (e.g. grapheme CTC reaching 39.4% WER on clean test data in the controlled comparison [38]).
The RNN-transducer extends CTC with a prediction network and a joint network [30]: the encoder (transcription network) processes acoustics, the prediction network acts like a language model over previously emitted non-blank labels, and the joint network fuses both streams to output a distribution over labels plus blank at each input-output lattice point. The loss sums over all alignments in the T×N lattice with a forward-backward algorithm, so the model learns both alignment and language dependencies jointly. Decoding proceeds frame-synchronously, emitting labels or blanks, which preserves streaming capability with only slightly higher delay than CTC.
Because the prediction network supplies internal language knowledge, the RNN-transducer improves dramatically over CTC on every test set: in the controlled character-level comparison it reaches 6.6% WER on clean speech versus 39.4% for grapheme CTC, and 9.9% on the dictation-vs-spontaneous set [38]. Adding an attention mechanism into the transducer (RNN transducer with attention) gives a further small gain (6.5% clean, 9.7% dictation-vs-spontaneous [38]). The price is complexity: the lattice softmax costs O(TN), training is harder, and the prediction network is typically a 700-dimensional GRU fused through a 700-dimensional tanh joint network [38].
Attention-based models (e.g. Listen, Attend and Spell [36,37]) use an encoder to map acoustics to high-level states and a decoder that, at each output step, computes attention weights over all encoder states and emits the next label conditioned on the context vector and decoding history — thus the alignment is learned softly and the decoder inherently models language. Research on the encoder focused on reducing delay and information redundancy (pyramidal and convolutional subsampling of frame rates), adopting stronger network structures (BLSTM stacks, and later Transformer encoders), while research on attention addressed the continuity problem, the monotonicity problem (speech-text alignments are left-to-right, unlike translation), inaccurate key-information extraction, and decoding delay — via monotonic, location-aware and windowed attention variants [38].
Works on the decoder showed that deepening the decoder strengthens its language-model role: in the controlled comparison the attention model with a 1-layer 700-dimensional GRU decoder reaches 6.6% clean / 9.0% dictation-vs-spontaneous WER, and the 2-layer decoder improves to 6.3% / 8.7%, the best among all end-to-end models tested [38]. The fundamental cost is latency: attention must wait for the full utterance encoding before decoding, so pure attention does not support streaming without compromises such as windowing, which may sacrifice some accuracy [65].
Table 1 of the paper compares the three models on delay, computational complexity, language-model ability, training difficulty and recognition accuracy [38]. CTC has the shortest delay and O(T) complexity but no language-model ability and the weakest accuracy; the RNN-transducer has medium delay, O(TN) complexity, an internal language model via its prediction network, harder training and strong accuracy; the attention model has the longest delay and O(NT) complexity (reducible to O(wN) with windowing, w ≪ T), a language model via its decoder, moderate training difficulty and the best accuracy [38].
On recognition performance (Table 2, character models with five 350-dimensional BLSTM encoder layers per direction, beam width 15, no external LM or lexicon [38]): the context-dependent phoneme CTC baseline achieves 5.4% clean / 8.6% noisy WER; among end-to-end systems the attention model with a 2-layer decoder is best (6.3% clean, 11.2% noisy, 8.1% numeric, 19.7% dictation, 8.7% dictation-vs-spontaneous), followed by the 1-layer attention decoder and the RNN-transducer, while plain CTC trails far behind — confirming that built-in language knowledge is the decisive factor [38].
Although end-to-end models have surpassed HMM-GMM, they still lag behind or only match HMM-DNN systems that also use deep learning. To truly exploit the end-to-end advantage, the authors highlight two improvement fronts [38]. First, model delay: CTC and RNN-transducer models are monotonic and support streaming decoding suitable for low-latency online scenarios, but their recognition performance is limited; attention models raise accuracy but are non-monotonic with long delays, and window-based latency reductions may cost accuracy [65] — so cutting latency while preserving performance is a key research issue.
Second, language knowledge learning: HMM-based models draw rich language knowledge from external language models, whereas all language knowledge of an end-to-end model comes only from training transcriptions with very limited coverage, causing great difficulty with linguistically diverse scenes. End-to-end models must therefore improve language learning while keeping the end-to-end structure — e.g. through deeper decoders, better prediction networks, and tighter external-LM fusion that does not break joint training [38].