يقدم هذا المسح مراجعة متعمقة لنماذج اللغة الكبيرة (LLMs)، مسلطًا الضوء على التحول النموذجي الكبير الذي تمثله في الذكاء الاصطناعي. وهدفنا هو توحيد أحدث التطورات في تصميم LLM وتدريبها وتكييفها وتقييمها وتطبيقها لخدمة الباحثين والممارسين. ولتحقيق ذلك نتتبع تطور نماذج اللغة ونصف المناهج الأساسية بما فيها الضبط الدقيق الفعال بالمعاملات (PEFT). وتشمل المنهجية مسحًا شاملًا لتطبيقات LLM الواقعية عبر القطاعات العلمية والهندسية والصحية والإبداعية، إلى جانب مراجعة المعايير الحالية.
تشير نتائجنا إلى أن تكاليف التدريب والاستدلال المرتفعة تشكل بنية السوق وتثير مخاوف اقتصادية وعمالية، مع التأكيد على الحاجة المستمرة للإشراف البشري في التقييم. ومن الاتجاهات الرئيسية تطوير بنى متعددة الوسائط موحدة تعالج مدخلات بيانات متنوعة، وظهور أنظمة وكيلة تُظهر سلوكيات معقدة مثل استخدام الأدوات والتخطيط. ونحدد مشكلات مفتوحة حرجة مثل قابلية الكشف وتلوث البيانات والتعميم وتنوع المعايير. ونخلص إلى أن تجاوز هذه التحديات التقنية والاقتصادية والاجتماعية المعقدة يتطلب تقدمًا تعاونيًا في التكييف والتقييم والبنية التحتية والحوكمة.
تمثل نماذج اللغة الكبيرة (LLMs) تحولًا نموذجيًا في الذكاء الاصطناعي يتجاوز بكثير معالجة اللغة الطبيعية (NLP) التقليدية. وتُظهر النماذج التأسيسية مثل سلسلة GPT من OpenAI [1-3] وPaLM من Google [4] وLLaMA من Meta [5] قدرات جديدة على فهم اللغة البشرية والاستدلال وتوليدها عبر مجالات تمتد من هندسة البرمجيات والاكتشاف العلمي إلى التعليم والفنون الإبداعية. وتُبرز هذه القدرات في جوهرها قوة التعلم الذاتي الإشراف (SSL) على نطاق واسع، حيث تكتسب النماذج معرفة عميقة قابلة للتعميم من بيتابايتات النصوص غير الموسومة والبيانات متعددة الوسائط.
ويتيرة الابتكار استثنائية، مع ظهور سريع لبنى وتدريبات وتطبيقات جديدة — لكن هذا النمو المتفجر خلق جسدًا معرفيًا مجزأً يصعب على الباحثين والممارسين وصناع السياسات الإحاطة به. ومع تعمق اندماج LLM في البنية المجتمعية، أصبح الفهم الواضح لتقنياتها وقدراتها وقيودها ضروريًا. ينظم هذا المسح المجال عبر تتبع التطور، ومقارنة البنى، وشرح التكييف، ومراجعة المعايير، ورسم التطبيقات القطاعية، وتحليل الآثار الاقتصادية والمجتمعية، بما فيها صعود الوكلاء المستقلين القادرين على استخدام الأدوات والتخطيط.
تطورت نمذجة اللغة عبر أربع حقب. اعتمدت الأنظمة القائمة على القواعد (قبل التسعينيات)، مثل ELIZA والقوالب النحوية [8،9]، على قواعد لغوية مصنوعة يدويًا هشة خارج النطاقات الضيقة. وأدخلت النماذج الإحصائية (التسعينيات–الألفينات) احتمالات n-gram المقدّرة من المدونات، محققة تعميمًا قائمًا على البيانات لكنها عانت من التشتت ونافذة سياق قصيرة ثابتة [10-12]. واستبدلت النماذج العصبية التسلسلية (الألفينات–العشرينيات) العدّ بالتمثيلات الموزعة: نموذج Bengio الاحتمالي العصبي [13] وشبكات Elman [14] وLSTM [15] وتضمينات word2vec [17] التي التقطت اعتماديات أطول وتشابهًا دلاليًا.
وأزالت حقبة Transformer (أواخر العشرينيات–الحاضر) التكرار تمامًا: فبنية Vaswani وآخرين القائمة على الانتباه فقط [20] مكّنت التدريب المتوازي على نطاق غير مسبوق، مولّدة GPT (تدريب مسبق أحادي الاتجاه [1،2]) وBERT (نمذجة مقنّعة ثنائية الاتجاه [21]) وخلفاءهما. ثم أظهرت قوانين التوسع أن الأداء يتحسن بشكل متوقع مع المعاملات والبيانات والحوسبة، مشعلة السباق نحو نماذج بمئات المليارات من المعاملات وقدرات ناشئة للتعلم من أمثلة قليلة [3،27].
تُدرَّب نماذج فاكّ التشفير فقط (عائلة GPT وLLaMA وPaLM [1-5]) بالتنبؤ السببي للرمز التالي وتهيمن على التطبيقات التوليدية؛ وتستخدم نماذج المشفّر فقط (BERT وRoBERTa [21]) النمذجة المقنّعة ثنائية الاتجاه وتتفوق في التصنيف والاستخلاص؛ وتجمع نماذج التسلسل-إلى-التسلسل (T5 وBART) بين مشفّر ثنائي الاتجاه وفاكّ انحداري ذاتي للترجمة والتلخيص. وتوسّع النماذج متعددة الوسائط بنية Transformer إلى الصور والصوت والمدخلات المهيكلة — مثل المحاذاة التباينية بأسلوب CLIP والانتباه المتقاطع المبوّب بأسلوب Flamingo — ممكنة نماذج موحدة مثل GPT-4V وGemini التي تستدل على النصوص والصور معًا.
وتوسّع بنى خليط الخبراء (MoE) السعة دون حوسبة متناسبة عبر توجيه كل رمز إلى مجموعة فرعية صغيرة من شبكات الخبراء بدالة بوّابة متعلمة، كما في Switch Transformer وMixtral؛ فتخفض عمليات FLOPs النشطة لكل رمز جذريًا لكنها تضيف تعقيد التوجيه وخسائر موازنة الحمل وبصمات ذاكرة كبيرة. وعبر جميع العائلات، يلاحظ المسح اتجاه تقارب: بنى متمحورة حول فاكّ التشفير، متعددة الوسائط، مفعّلة بتشتت، تُدرَّب بنوافذ سياق أطول باستمرار.
يستهلك التدريب المسبق مدونات بحجم الويب بأهداف سببية أو مقنّعة، يليه الضبط الدقيق على بيانات موسومة، وهندسة المطالب والتعلم في السياق اللذان يوجّهان النماذج المجمدة بتعليمات مصممة وأمثلة قليلة، وضبط التعليمات على عروض مهام متنوعة، والتعلم المعزز من التغذية البشرية الراجعة (RLHF) الذي يوائم المخرجات مع التفضيلات عبر نموذج مكافأة متعلم وتحسين السياسة [28-34]. وتقايض كل مرحلة العمومية بالمواءمة: فـ RLHF يحسّن الفائدة والسلامة كثيرًا لكنه قد يقلل تنوع المخرجات وينطوي على مخاطر اختراق المكافأة.
يكيّف الضبط الدقيق الفعال بالمعاملات (PEFT) النماذج العملاقة بجزء ضئيل من التكلفة [35]. تحقن الطرق القائمة على المحوّلات وحدات عنق زجاجة صغيرة (إسقاط سفلي، ولا خطية، وإسقاط علوي) بين طبقات Transformer المجمدة وتُدرَّب هي فقط. وتتعلم طرق المطالب (المطالب الناعمة) متجهات مهام مستمرة تُلحق بالمدخلات. وتجمّد طرق إعادة المعاملات مثل LoRA الأوزان الأساسية وتتعلم مصفوفات تحديث منخفضة الرتبة، مضاهية جودة الضبط الكامل في مهام كثيرة مع تدريب أقل من 1% من المعاملات — مما يجعل التكييف المجالي ممكنًا على وحدة GPU واحدة.
في القياس، يختبر MMLU المعرفة والاستدلال عبر 57 مادة أكاديمية ومهنية بإعداد الأمثلة القليلة، مقيسًا التعميم خارج توزيعات التدريب [40]؛ ويساهم BIG-bench بأكثر من 200 مهمة مجتمعية تستهدف القدرات الناشئة مثل الفكاهة والاستدلال الحسابي والحكم الأخلاقي؛ ويركّز SuperGLUE على الفهم اللغوي العميق بمهام الاستلزام وإحالة الضمائر الصعبة؛ ويقيّم HELM النماذج شموليًا عبر الدقة والمتانة والعدالة والكفاءة وأبعاد أخرى بدل الدرجة الواحدة.
وفي مقاييس التقييم، تُعد ROUGE عائلة متركزة على الاستدعاء للتلخيص تُبلغ الدقة والاستدعاء وF1 على تداخل n-gram مع المراجع البشرية [44]، بينما BLEU نظيرها المتركز على الدقة للترجمة، معاقِبًا المخرجات القصيرة بعقوبة إيجاز. ويعتمد كلاهما على التداخل السطحي ويرتبطان ارتباطًا ناقصًا بالحكم البشري، مما يحفز الحكام القائمين على النماذج — مع تأكيد المسح على أن تكاليف الاستدلال المرتفعة وتلوث البيانات المستمر (تسرب بنود القياس إلى بيانات التدريب) يُبقيان الإشراف البشري لا غنى عنه في التقييم.
يرسم المسح تسعة قطاعات. ففي هندسة البرمجيات والتصميم تدعم LLM إكمال الشيفرة وتوليد الاختبارات وإصلاح البرامج؛ وفي الرعاية الصحية وعلوم الحياة تساعد في التوثيق السريري وروبوتات الفرز وتنقيب أدبيات البروتينات تحت إشراف صارم؛ وفي المالية والمصارف تقود تحليل المشاعر وصياغة التقارير وكشف أنماط الاحتيال [63]؛ وفي التصنيع وسلاسل الإمداد تدعم أدلة الصيانة التنبؤية وتخطيط اللوجستيات؛ وفي البحث العلمي تسرّع تركيب الأدبيات وتوليد الفرضيات وأتمتة شيفرة المختبرات.
وفي التعليم والتدريب المؤسسي تمكّن حوارات التدريس وتوليد التقييمات؛ وفي الصناعات الإبداعية والمحتوى تشارك في كتابة النصوص التسويقية والسيناريوهات والسرديات؛ وفي القطاعات القانونية والتنظيمية تلخص السوابق القضائية وترصد مخاطر الامتثال؛ ويتسلسل الوكلاء المستقلون (Auto-GPT وأنظمة LangChain [78،79]) المهام الفرعية ويستدعون واجهات API الخارجية وأنظمة الملفات والمتصفحات لتنفيذ عمليات رقمية معقدة — وهو المثال الأبرز في المسح على تطور LLM من روبوتات محادثة إلى فاعلين.
ترتكز اقتصاديات LLM على تكاليف دورة حياة هائلة: فالتدريب المسبق لنموذج تأسيسي يتطلب آلاف وحدات GPU أو TPU المتطورة العاملة لأسابيع أو أشهر — نفقات رأسمالية مقدمة تصاعدت من ميزانيات حقبة GPT-2 إلى جولات بمئات ملايين الدولارات — بينما يضيف تقديم الاستدلال على نطاق واسع تكاليف حوسبة وعرض نطاق ذاكرة وطاقة مستمرة (الجدول 7). وتركّز هذه النفقات التطوير في حفنة منظمات غنية بالموارد، دافعة توحيد السوق حول مزودي API وبائعي السحابة، والتسويق عبر الاشتراكات والتسعير حسب الاستخدام وخدمات الضبط للمؤسسات.
وتواجه أسواق العمل ضغطًا مزدوجًا: فأتمتة الصياغة والترميز والتحليل والدعم ترفع الإنتاجية لكنها تزيح العمل المعرفي الروتيني وتوسّع الفجوة بين الشركات المتبنية للذكاء الاصطناعي والمتخلفة [92]. ويجادل المسح بأن تكاليف التدريب والاستدلال المرتفعة تشكل بنية السوق فعلًا، وأن الاستجابات السياسية — الوصول الحاسوبي ورقابة المنافسة وإعادة تأهيل القوى العاملة — يجب أن ترافق التقدم التقني.
تهيمن خمسة اتجاهات: بنى متعددة الوسائط موحدة تعالج النصوص والصور والصوت والفيديو أصليًا؛ وكشف المحتوى المولّد عبر العلامات المائية (إشارات سرية قابلة للكشف إحصائيًا [157،158]) وتتبع المصدر والمصنفات في سباق تسلح مع المولدات؛ وLLM الوكيلة باستدلال معزز بالأدوات وتخطيط وتنفيذ متعدد الخطوات؛ ودفعات قابلية التوسع والكفاءة (الانتباه المتشتت والتكميم والتقطير وسياقات أطول مثل ادعاءات RULER [180،181])؛ والأخلاقيات والتنظيم والأثر المجتمعي عبر التحيز والخصوصية وحقوق النشر.
وتستمر ست مشكلات مفتوحة (الشكل 7): المفاضلة بين قابلية الكشف وسهولة الاستخدام؛ وتلوث بيانات المعايير؛ والتعميم خارج توزيعات التدريب؛ وتنوع المعايير وتشبعها؛ ومواءمة السلوك الوكيلي مع القصد البشري؛ وحوكمة القدرات مزدوجة الاستخدام. ويؤكد المسح أن حلها يتطلب تقدمًا مشتركًا في منهجية التقييم وشفافية بيانات التدريب والبنى الفعالة والأطر التنظيمية — فلا يكفي حل واحد.
يوحّد هذا المسح مشهد LLM من الأصول القائمة على القواعد عبر Transformer وتشتت MoE وتكييف PEFT ومواءمة RLHF، إلى المعايير (MMLU وBIG-bench وHELM) والمقاييس (ROUGE وBLEU) وقطاعات التطبيق التسعة واقتصاديات التدريب والنشر. وخلاصته المحورية أن التوسع جلب تغيرًا نوعيًا — التعلم من أمثلة قليلة واتباع التعليمات واستخدام الأدوات — لكنه جلب أيضًا تكاليف هيكلية: أسواق مركزة واضطراب عمالي وهشاشة تقييم من التلوث والتشبع.
ويخلص المسح إلى أن تجاوز هذه التحديات التقنية والاقتصادية والاجتماعية المتشابكة يتطلب تقدمًا تعاونيًا في مناهج التكييف وعلم التقييم والبنية التحتية الفعالة والحوكمة. فـ LLM تصبح بنية مجتمعية؛ وتوجيهها نحو المنفعة العامة يتطلب من الباحثين والصناعة وصناع السياسات التقدم معًا بدل تحسين محور واحد وحده.
This survey provides an in-depth review of large language models (LLMs), highlighting the significant paradigm shift they represent in artificial intelligence. Our purpose is to consolidate state-of-the-art advances in LLM design, training, adaptation, evaluation, and application for both researchers and practitioners. To accomplish this, we trace the evolution of language models and describe core approaches, including parameter-efficient fine-tuning (PEFT). The methodology involves a thorough survey of real-world LLM applications across the scientific, engineering, healthcare, and creative sectors, coupled with a review of current benchmarks.
Our findings indicate that high training and inference costs are shaping market structures, raising economic and labor concerns, while also underscoring a persistent need for human oversight in assessment. Key trends include the development of unified multimodal architectures capable of processing varied data inputs and the emergence of agentic systems that exhibit complex behaviors such as tool use and planning. We identify critical open problems, such as detectability, data contamination, generalization, and benchmark diversity. Ultimately, we conclude that overcoming these complex technical, economic, and social challenges necessitates collaborative advancements in adaptation, evaluation, infrastructure, and governance.
Large language models (LLMs) represent a paradigm shift in artificial intelligence, extending far beyond traditional natural language processing (NLP). Foundational models such as OpenAI's GPT series [1–3], Google's PaLM [4], and Meta's LLaMA [5] show novel abilities to understand, reason, and generate human language across fields from software engineering and scientific discovery to education and creative arts. At their core, these capabilities highlight the power of self-supervised learning (SSL) at scale, where models acquire deep, generalizable knowledge from petabytes of unlabeled text and multimodal data.
The pace of innovation is extraordinary, with rapid introductions of new architectures, training methodologies, and applications — but this explosive growth has created a fragmented body of knowledge that challenges researchers, practitioners, and policymakers to navigate. As LLMs integrate deeper into societal infrastructure, a clear understanding of their technologies, capabilities, and limitations is essential. This survey organizes the field by tracing evolution, comparing architectures, explaining adaptation, reviewing benchmarks, mapping sector-wise applications, and analyzing economic and societal implications, including the rise of autonomous agents with tool use and planning.
Language modeling evolved through four eras. Rule-based systems (pre-1990s), such as ELIZA and template grammars [8,9], relied on handcrafted linguistic rules that were brittle outside narrow domains. Statistical models (1990s–2000s) introduced n-gram probabilities estimated from corpora, bringing data-driven generalization but suffering sparsity and a fixed short context window [10–12]. Sequential neural models (2000s–2020s) replaced counting with distributed representations: Bengio's neural probabilistic LM [13], Elman networks [14], LSTMs [15], and word2vec embeddings [17] captured longer dependencies and semantic similarity.
The Transformer era (late 2010s–present) removed recurrence entirely: Vaswani et al.'s attention-only architecture [20] enabled parallel training at unprecedented scale, giving rise to GPT (decoder-only pre-training [1,2]), BERT (bidirectional masked modeling [21]), and their successors. Scaling laws then showed that performance improves predictably with parameters, data, and compute, triggering the race toward hundred-billion-parameter models and emergent few-shot abilities [3,27].
Decoder-only models (GPT family, LLaMA, PaLM [1–5]) train with causal next-token prediction and dominate generative applications; encoder-only models (BERT, RoBERTa [21]) use bidirectional masked modeling and excel at classification and extraction; sequence-to-sequence models (T5, BART) pair a bidirectional encoder with an autoregressive decoder for translation and summarization. Multimodal models extend Transformers to vision, audio, and structured inputs — e.g. CLIP-style contrastive alignment and Flamingo-style gated cross-attention — enabling unified models such as GPT-4V and Gemini that reason jointly over text and images.
Mixture-of-Experts (MoE) architectures scale capacity without proportional compute by routing each token to a small subset of expert feed-forward networks with a learned gating function, as in Switch Transformer and Mixtral; they cut active FLOPs per token dramatically but add routing complexity, load-balancing losses, and large memory footprints. Across all families, the survey notes a convergence trend: decoder-centric, multimodal, sparsely activated architectures trained with ever-longer context windows.
Pre-training consumes web-scale corpora with causal or masked objectives, followed by fine-tuning on labeled data, prompt engineering and in-context learning that steer frozen models with crafted instructions and few-shot examples, instruction tuning on diverse task demonstrations, and reinforcement learning from human feedback (RLHF), which aligns outputs with preferences via a learned reward model and policy optimization [28–34]. Each stage trades generality for alignment: RLHF greatly improves helpfulness and safety but can reduce output diversity and risks reward hacking.
Parameter-efficient fine-tuning (PEFT) adapts giant models at a fraction of the cost [35]. Adapter-based methods inject small bottleneck modules (down-projection, non-linearity, up-projection) between frozen Transformer layers and train only them. Prompt-based (soft-prompt) methods learn continuous task vectors prepended to inputs. Reparameterization methods such as LoRA freeze the base weights and learn low-rank update matrices, matching full fine-tuning quality on many tasks while training under 1% of parameters — making domain adaptation feasible on single GPUs.
For benchmarking, MMLU tests knowledge and reasoning across 57 academic and professional subjects in a few-shot setup, measuring generalization beyond training distributions [40]; BIG-bench contributes 200+ community-designed tasks targeting emergent abilities such as humor, arithmetic reasoning, and moral judgment; SuperGLUE stresses deep language understanding with difficult entailment and coreference tasks; and HELM evaluates models holistically across accuracy, robustness, fairness, efficiency, and other dimensions rather than a single score.
For evaluation metrics, ROUGE is a recall-oriented family for summarization that reports precision, recall, and F1 over n-gram overlap with human references [44], while BLEU is its precision-oriented counterpart for translation, penalizing short outputs with a brevity penalty. Both rely on surface overlap and correlate imperfectly with human judgment, motivating model-based judges — though the survey stresses that high inference costs and persistent data contamination (benchmark items leaking into training data) keep human oversight indispensable in assessment.
The survey maps nine sectors. In software engineering and design, LLMs power code completion, test generation, and program repair; in healthcare and life sciences they assist clinical documentation, triage chatbots, and protein-literature mining under strict oversight; in finance and banking they drive sentiment analysis, report drafting, and fraud-pattern detection [63]; in manufacturing and supply chains they support predictive maintenance manuals and logistics planning; and in scientific research they accelerate literature synthesis, hypothesis generation, and lab-code automation.
In education and corporate training they enable tutoring dialogues and assessment generation; in creative and content industries they co-write marketing copy, scripts, and game narratives; in legal and regulatory sectors they summarize case law and flag compliance risks; and autonomous AI agents (Auto-GPT, LangChain-based systems [78,79]) chain subtasks and call external APIs, file systems, and browsers to execute complex digital operations — the survey's prime example of LLMs evolving from chatbots into actors.
LLM economics are anchored by immense lifecycle costs: pre-training a foundation model demands thousands of high-end GPUs or TPUs running for weeks or months — a front-loaded capital outlay that has escalated from GPT-2-era budgets to hundred-million-dollar runs — while serving inference at scale adds ongoing compute, memory-bandwidth, and energy costs (Table 7). These expenditures concentrate development in a handful of well-resourced organizations, driving market consolidation around API providers and cloud vendors, and commercialization via subscriptions, usage-based pricing, and enterprise fine-tuning services.
Labor markets face dual pressure: automation of drafting, coding, analysis, and support roles raises productivity but displaces routine cognitive work and widens inequality between AI-adopting firms and laggards [92]. The survey argues that high training and inference costs are actively shaping market structure and that policy responses — compute access, competition oversight, and workforce retraining — must accompany technical progress.
Five trends dominate: unified multimodal architectures that natively process text, image, audio, and video; detection of generated content via watermarking (secret statistically detectable signals [157,158]), provenance tracking, and classifiers in an arms race with generators; agentic LLMs with tool-augmented reasoning, planning, and multi-step execution; scalability and efficiency pushes (sparse attention, quantization, distillation, and longer contexts such as RULER-evaluated claims [180,181]); and ethics, regulation, and societal impact spanning bias, privacy, and copyright.
Six open problems persist (Figure 7): the detectability-vs-usability trade-off; data contamination of benchmarks; generalization beyond training distributions; benchmark diversity and saturation; alignment of agentic behavior with human intent; and governance of dual-use capabilities. Solving them, the survey stresses, requires joint progress on evaluation methodology, training-data transparency, efficient architectures, and regulatory frameworks — no single fix suffices.
This survey consolidates the LLM landscape from rule-based origins through Transformers, MoE sparsity, PEFT adaptation, and RLHF alignment, to benchmarks (MMLU, BIG-bench, HELM), metrics (ROUGE, BLEU), nine application sectors, and the economics of training and deployment. Its central finding is that scale brought qualitative change — few-shot learning, instruction following, tool use — but also structural costs: concentrated markets, labor disruption, and evaluation fragility from contamination and saturation.
The survey concludes that overcoming these intertwined technical, economic, and social challenges demands collaborative advances in adaptation methods, evaluation science, efficient infrastructure, and governance. LLMs are becoming societal infrastructure; steering them toward broad benefit requires researchers, industry, and policymakers to progress together rather than optimize any single axis alone.