هل حاولت يومًا تجميع أثاث {IKEA} بدون مفتاح {Allen} الصغير؟ هذا هو تشغيل الذكاء الاصطناعي المحلي بدون التطبيق المناسب. لديك النموذج (الرف)، والكمبيوتر المحمول (غرفة المعيشة)، ولا شيء ينقر حتى تظهر الأدوات. أدوات اليوم: {Ollama} مقابل {LM Studio}. طريقتان شائعتان لتشغيل نماذج لغوية كبيرة على جهازك دون إرسال عقلك - أو بياناتك - إلى السحابة. أي واحد هو مفتاح {Allen} الذي لن تفقده على الفور تحت الأريكة؟
لنكن عمليين. لقد قمت بتثبيت كليهما على جهاز كمبيوتر محمول قوي، وجربت المطالبات المعتادة (تلخيص مقال، وصياغة بريد إلكتروني، "اشرح الحوسبة الكمومية وكأنني قطة")، واختبرتهما بالضغط بنماذج أكبر ومهام متكررة. تحدثت أيضًا إلى عدد قليل من الأصدقاء المطورين، واثنين من الكتاب المهتمين بالذكاء الاصطناعي، وذلك الشخص الذي يصر على أنه "لا يثق بأي شيء لديه تسجيل دخول".
تنبيه: هذه مقارنة مقابل، وليست دائرة {kumbaya}. سأخبرك أين يفوز كل منهما، وأين يتعثر كل منهما، وأي واحد تختاره اعتمادًا على ما إذا كنت هاويًا أو مستخدمًا قويًا أو مجرد شخص يريد أجواء {ChatGPT} بدون اشتراك.
لماذا الذكاء الاصطناعي المحلي يمر بلحظة ازدهار (ولماذا يجب أن تهتم)
- الخصوصية: تظل بياناتك على جهازك، ولا تتناثر في مزرعة خوادم مثل عصير رقمي.
- السرعة: بمجرد تحميل النموذج، يمكن أن تكون الاستجابات سريعة - خاصة بالنسبة للنماذج الأصغر.
- التحكم: يمكنك اختيار النموذج ({Llama} 3، {Phi}-3، {Mistral}، {Qwen})، والقياس الكمي، وكيفية تشغيله.
- التكلفة: بعد التنزيل، يكون الاستنتاج مجانيًا - لا توجد فاتورة لكل رمز تتسلل مثل خدمة بث نسيت إلغاءها.
{Ollama} مقابل {LM Studio}: النظرة القصيرة والمباشرة
- {Ollama}: بسيط، صديق للمطورين، أصلي لسطر الأوامر، رائع للنصوص والخوادم. فكر: "{git} للنماذج".
- {LM Studio}: تطبيق سطح مكتب مصقول بواجهة مستخدم سهلة الاستخدام، ودردشة مدمجة، ومتصفح نماذج سهل. فكر: "متجر تطبيقات لنماذج {LLM} المحلية".
اختر {LM Studio} إذا كنت تريد تجربة نافذة واحدة تشبه {ChatGPT} المحلي. اختر {Ollama} إذا كنت تريد أداة تتصل بكل شيء آخر بأمر واحد - ولا تمانع في استخدام {Terminal}.
كيف اختبرت (بمعنى آخر: تحمل جهاز الكمبيوتر المحمول الخاص بي العبء)
- الأجهزة: جهاز كمبيوتر محمول مقاس 14 بوصة مع وحدة معالجة مركزية ثماني النواة، وذاكرة وصول عشوائي (RAM) بسعة 32 جيجابايت، ووحدة معالجة رسومات متوسطة المستوى. جربت أيضًا جهازًا أصغر حجمًا بذاكرة وصول عشوائي (RAM) بسعة 16 جيجابايت لمعرفة أين تنكسر الأمور.
- النماذج: {Llama} 3 8{B} و 70{B} (مُكمَّمة)، {Mistral} 7{B}، {Phi}-3 {Mini} لاختبارات الكفاءة.
- المهام: صياغة رسائل البريد الإلكتروني، والتعليق على التعليمات البرمجية، وتلخيص المستندات، ولعب دور "تحدث معي عن ميزانيتي". استضفت أيضًا النماذج محليًا ووجهت عميل متصفح إليهم.
النتيجة: اجتازت كلتا الأداتين كل شيء. ظهرت الاختلافات في الإعداد وإدارة النماذج ومقدار التحكم الذي كان لدي دون كتابة تعويذة باللاتينية.
الإعداد والتشغيل الأول: من يوصلك إلى "مرحبًا، أيها النموذج" بشكل أسرع؟
- {LM Studio}: تنزيل، فتح، النقر على "نماذج"، بحث، تنزيل، الضغط على "دردشة". إنه مبهج بالنقر والتأشير. يمكنك رؤية خيارات وأحجام القياس الكمي قبل الالتزام بتنزيل 10 جيجابايت.
- {Ollama}: قم بتثبيت وقت التشغيل ({brew} على {macOS}، نص برمجي على {Linux}/{Windows}). ثم:
ollama run llama3. في المرة الأولى، يجلب النموذج وينشئ خادمًا محليًا. إنه سريع إذا كنت مرتاحًا في {Terminal}. إذا لم يكن الأمر كذلك، فهو "تعلم أمرًا بسرعة".
الفائز: {LM Studio} للمبتدئين. {Ollama} لأي شخص كتب npm install دون بكاء.
إدارة النماذج: الرف الذي لن تفقد فيه نماذجك
- {LM Studio}: لديه متصفح نماذج بمعاينات وأحجام وأنواع القياس الكمي ({Q4_K_M}، {Q5}، {Q8}، إلخ)، وشعور واضح "هذا جيد على الأرجح لجهازك". يمكنك حذف النماذج من واجهة المستخدم عندما يبدأ محرك الأقراص ذو الحالة الصلبة ({SSD}) في الصراخ.
- {Ollama}: يستخدم
Modelfile بسيطًا وبنية أوامر. يمكنك سحب النماذج ووضع علامات عليها وتشغيلها مثل صور {Docker}. إنه أنيق بمجرد فهمه، ورائع للتحكم في الإصدار. ولكن لا توجد واجهة مستخدم رسومية رسمية، لذلك ستعيش في {CLI} أو تغلفها بشيء آخر.
الفائز: {LM Studio} للوضوح البصري. {Ollama} للمهوسين بالاستنساخ الذين يرغبون في مشاركة إعداد من سطر واحد مع زملائهم في الفريق.
تجربة الدردشة: التحدث إلى الروبوت، محليًا
- {LM Studio}: يبدو وكأنه استنساخ محلي لـ {ChatGPT} بطريقة جيدة. علامات تبويب متعددة لمحادثات مختلفة، ومطالبات النظام، ومنزلقات درجة الحرارة، وحدود الرمز المميز، وتسلسلات الإيقاف - كلها قابلة للتعديل دون مغادرة النافذة.
- {Ollama}: يمكنك الدردشة في {Terminal} (وهو أمر ساحر بطريقة قديمة). لكن السحر الحقيقي هو أن {Ollama} ينشئ واجهة برمجة تطبيقات متوافقة مع {OpenAI} على المضيف المحلي. مما يعني أن أي تطبيق يتحدث إلى {OpenAI} يمكنه التحدث إلى النموذج المحلي الخاص بك. مرحبًا، بالنظام البيئي.
الفائز: {LM Studio} لتجربة المستخدم الخاصة بالدردشة الجاهزة. {Ollama} للتوصيل بكل شيء آخر.
الأداء والصداقة مع الأجهزة: هل ستجري مروحتك اختبار أداء لمحرك نفاث؟
- النماذج الأصغر (7{B}–8{B}): تتعامل كلتا الأداتين معها بشكل جيد على وحدات المعالجة المركزية الحديثة. مع تسريع وحدة معالجة الرسومات، فإنها تنطلق.
- النماذج الأكبر (70{B}): توقع حلولًا وسطًا - قياسًا كميًا أقل، ورموزًا أبطأ، ومتطلبات كبيرة لذاكرة الوصول العشوائي ({RAM}) أو ذاكرة الوصول العشوائي للفيديو ({VRAM}). يوفر {LM Studio} إرشادات مرئية؛ يسهل {Ollama} تبديل القياس الكمي عبر العلامات.
- نصيحة عملية: إذا كان لديك ذاكرة وصول عشوائي ({RAM}) بسعة 16 جيجابايت، فابدأ بنماذج 7{B} أو 8{B} في القياس الكمي {Q4} أو {Q5}. إذا كان لديك 32 جيجابايت + ووحدة معالجة رسومات لائقة، فجرب 13{B} أو 70{B} لمهام معينة.
الفائز: تعادل. المحدد الحقيقي هو جهازك والقياس الكمي المحدد الذي تختاره، وليس شعار التطبيق.
صداقة المطورين: سؤال "هل يمكنني كتابة هذا؟"
- {Ollama}: هذا هو ملعبها.
ollama serve يقوم بتشغيل نقطة نهاية محلية. ollama run يبث الرموز في الصدفة. يمكنك إنشاء Modelfile لتركيب النماذج أو إضافة مطالبات النظام أو دمج {LoRA}. إنه في الأساس سباكة للذكاء الاصطناعي المحلي.
- {LM Studio}: يمكنك أيضًا استضافة خادم محلي وعرض نقطة نهاية تشبه {OpenAI}. لكن واجهة المستخدم هي النجمة. البرمجة ممكنة، ولكنها ليست الحدث الرئيسي.
الفائز: {Ollama}. سترى أنه مضمن في أدوات أخرى على وجه التحديد لأنه خفيف الوزن وقابل للبرمجة.
الخصوصية والاستخدام دون اتصال بالإنترنت: بياناتك، قواعدك
- يعمل كلاهما محليًا ويمكن أن يكونا غير متصلين بالإنترنت تمامًا بعد تنزيل النموذج.
- يجعل {LM Studio} الوعد "لا يوجد سحابة هنا" واضحًا بصريًا، وهو أمر مطمئن إذا كنت جديدًا في هذا.
- تساعد بساطة {Ollama} على ضمان عدم وجود أي شيء خارجي يتصل بالمنزل (بخلاف عمليات جلب النموذج).
الفائز: تعادل. كلاهما مصمم للاستخدام المحلي أولاً.
تنوع النماذج والتحديثات: مواكبة {LLM Joneses}
- {LM Studio}: تجربة تصفح منظمة مع نماذج شائعة وملصقات واضحة. من السهل اكتشاف الإصدارات الجديدة.
- {Ollama}: قوائم مجتمعية ضخمة ومراجع مكتبة رسمية مع علامات لقياسات كمية مختلفة. إذا كنت تعرف ما تريد، فإن جلبه هو أمر بعيد.
الفائز: ميزة طفيفة لـ {LM Studio} لاكتشافها. ميزة طفيفة لـ {Ollama} للاتساع وقابلية المشاركة. نعم، هذا تهرب. كلاهما قوي.
تريد صديقًا محليًا للكتابة دون تعلم لغة جديدة (اللغة هي {Bash}). {LM Studio} يفوز. افتح، اختر نموذجًا، دردش، قم بالتصدير. انتهى.
تريد دمج نموذج محلي في محرر التعليمات البرمجية أو تطبيق لتدوين الملاحظات أو نص برمجي مخصص. {Ollama} يفوز. إنه يتصرف مثل البنية التحتية. لن تعرف تطبيقاتك الفرق بين الكمبيوتر المحمول الخاص بك وخادم {OpenAI}.
أنت تعمل في فريق. يعد {LM Studio} رائعًا لإعداد أعضاء الفريق غير التقنيين (المصممين، أفراد المنتج) الذين يرغبون في تجربة المطالبات. يعد {Ollama} رائعًا للمطورين الذين سيقومون بتوصيل هذا بالمنتج الفعلي.
أنت مسافر. يمكن لكلا النظامين العمل في وضع عدم الاتصال، ولكن واجهة {LM Studio} تجعل من السهل البقاء في نافذة واحدة على طاولة صينية صغيرة للطائرة. يعتبر {Ollama} مثاليًا إذا كنت تقوم بتسجيل الدخول عبر {SSH} إلى صندوق محمول أحضرته معك لأنك ذلك الشخص.
وضع التسعير
- كلاهما مجاني للاستخدام. تكلفتك الحقيقية هي التخزين والكهرباء - وربما مروحة جديدة لجهاز الكمبيوتر المحمول الخاص بك.
- النماذج مجانية، لكن وقتك ليس كذلك. إذا كنت تقدر "انقر وانطلق"، فسيوفر لك {LM Studio} الوقت. إذا كنت تقدر "البرمجة والتوسع"، فسيوفر لك {Ollama} الوقت.
المآزق (لأنها موجودة بالطبع)
- يمكن لعمليات التنزيل الكبيرة أن تسد محرك الأقراص الخاص بك. إدارة الإصدارات عن قصد.
- من السهل الاعتقاد بأن "النموذج الأكبر = أكثر ذكاءً". ليس دائما. جرب العديد من نماذج 7{B}–13{B} قبل أن تقضي فترة ما بعد الظهر في تنزيل وحش 70{B}.
- الإعدادات المتقدمة موجودة، ولكن إذا كنت تريد التحكم في إصدار النماذج مثل {git}، فستشعر بأنك محاصر.
- قد يتخلى المستخدمون الذين يعانون من رهاب {Terminal} عن الأمر الأول.
- الاكتشاف أضعف بدون واجهة متجر للنماذج.
- إذا كنت تريد تجربة دردشة مدمجة ومصقولة، فستحتاج إلى تطبيق مصاحب - أو ستتعلم حب الصدفة الخاصة بك.
أيهما أسرع؟ الإجابة الصادقة: يعتمد الأمر
- القياس الكمي مهم أكثر من اختيار الشعار. عادةً ما يتفوق نموذج {Q4} 7{B} في أي من التطبيقين على نموذج {Q8} 13{B} للاستخدام التفاعلي.
- تسريع وحدة معالجة الرسومات، إذا كان مدعومًا على جهازك، سيحدث فرقًا كبيرًا. تحقق من مصفوفة دعم النظام الأساسي الخاص بك.
- تختلف أحجام نافذة السياق حسب النموذج. تعتبر نوافذ السياق الكبيرة رائعة للمستندات الطويلة ولكنها تبطئ الأمور. لا تحشر روايتك بأكملها في المطالبة وتلوم التطبيق.
نصائح عملية لتجنب الصداع
- ابدأ صغيرًا: جرب نموذج 7{B} أو 8{B} أولاً ({Llama} 3 8{B}، {Mistral} 7{B}، {Phi}-3). ثم قم بالتوسع.
- المواضع المثالية للقياس الكمي: {Q4_K} للسرعة، {Q5} للجودة. {Q8} فقط إذا كانت لديك الموارد - والصبر.
- مطالبات النظام مهمة: في كلا التطبيقين، قم بصياغة رسالة نظام واضحة وموجزة (النبرة والدور والقيود). إنه مثل إعطاء النموذج الخاص بك القهوة وقائمة المهام.
- احفظ مطالباتك الجيدة: تساعد علامات تبويب {LM Studio}؛ مع {Ollama}، احتفظ بملف مطالبات أو استخدم عميلًا يدعم السجل.
- متعة واجهة برمجة التطبيقات المحلية: مع وضع الخادم الخاص بـ {Ollama} أو {LM Studio}، وجِّه المحرر أو تطبيق الملاحظات المفضل لديك إلى (أو المنفذ المعروض). ازدهار، يعمل الذكاء الاصطناعي المحلي الخاص بك الآن في سير عملك الفعلي.
الأمان والامتثال: المحادثة التي ستجريها مع قسم تكنولوجيا المعلومات
- يساعد الاستخدام المحلي أولاً في الإقامة في البيانات، خاصة بالنسبة للمسودات والمستندات الداخلية.
- ومع ذلك، قم بتدقيق مصادر النموذج والتجزئات الخاصة بك. لا تقم بتنزيل أوزان عشوائية تحمل عنوان "totally-not-malware.gguf".
- بالنسبة للفرق، قم بإنشاء خط أساس للنموذج. مع {Ollama}، هذا {Modelfile} في التحكم في الإصدار. مع {LM Studio}، قم بتوحيد أسماء النماذج وإصداراتها ووثق الإعدادات.
استكشاف الأخطاء وإصلاحها: لأن شيئًا ما سيصبح غريبًا
- النموذج لن يتم تحميله؟ قد تكون خارج ذاكرة الوصول العشوائي ({RAM})/ذاكرة الوصول العشوائي للفيديو ({VRAM}). قم بالتبديل إلى قياس كمي أصغر أو نموذج أصغر.
- الاستجابات غير متماسكة؟ تحقق من إعدادات درجة الحرارة و{top_p}. هل قمت بتعيينها عن طريق الخطأ على وضع "طفل صغير مبدع"؟
- بطيء مثل دبس السكر؟ أغلق التطبيقات الأخرى، وقلل نافذة السياق، وجرب وحدة المعالجة المركزية فقط مقابل وحدة معالجة الرسومات فقط، وتأكد من أنك تستخدم قياسًا كميًا يعجبه جهازك.
- الأعطال في الملفات الكبيرة؟ قم بتقطيع مدخلاتك أو اختر نموذجًا بنافذة سياق أكبر.
نظرة سريعة على المنافسين: لماذا لا توجد مجموعة محلية شاملة؟
- هناك عدائين وواجهات مستخدم محلية أخرى تظهر كل أسبوع. الخلاصة الكبيرة: اختر شيئًا ما مع مجتمع نشط وتحديثات منتظمة ومهرب هروب واضح (تصدير/سجل الدردشة أو واجهة برمجة تطبيقات محلية أو قابلية نقل النموذج). يتحقق كل من {Ollama} و{LM Studio} من هذه المربعات.
جدير بالذكر: إذا لم يكن هدفك هو العبث بل إنجاز العمل - البحث والتوليف والصياغة والمساعدة في الترميز - فيمكن Sider.AI الجلوس فوق أي شيء تختاره. يتحدث إلى نقاط النهاية المحلية، ويمكنه التبديل بين النماذج المحلية والسحابية، ويمنحك مساحة عمل ذكية وموحدة للمطالبات والمستندات وصفحات الويب. الترجمة: وقت أقل في تبديل التطبيقات ووقت أطول في التظاهر بأن القطة كتبت التعليمات البرمجية. إذا كنت تريد "استخدام أفضل نموذج للمهمة" دون توصيل كل شيء يدويًا، فإن Sider.AI طبقة وسطى ذكية لطيفة. {Ollama} مقابل {LM Studio}: الأحكام حسب الشخصية
- القادم الجديد: اختر {LM Studio}. إنه ودود ومرئي ومن المستحيل إفساده بشدة. ستتحدث مع {Llama} 3 في دقائق.
- الباني: اختر {Ollama}. أنت تريد واجهة برمجة التطبيقات المتوافقة مع {OpenAI}، و{Modelfiles}، والنشر البسيط على خادم أو {Docker}.
- المحترف المشغول: ابدأ بـ {LM Studio} للكتابة والبحث المركّزين. أضف {Ollama} خلف الكواليس إذا كنت بحاجة إلى نصوص وعمليات تكامل.
- الفريق: استخدم كليهما. {LM Studio} للعروض التوضيحية والمتعاونين غير التقنيين؛ {Ollama} للمطورين ووظائف {CI} وخطوط الأساس النموذجية المشتركة.
إذا كنت لا تزال غير قادر على اتخاذ قرار، فإليك اختبارًا حاسمًا: هل أنت متحمس لكتابة سطر واحد يقوم بتشغيل نموذج ويبث الرموز إلى {CLI}؟ اذهب {Ollama}. هل تريد نافذة مريحة مع منزلقات وزر دردشة كبير؟ {LM Studio}.
ورقة الغش: الإيجابيات والسلبيات التي يمكنك التقاطها
- واجهة مستخدم رسومية ممتازة مع اكتشاف النموذج
- دردشة مدمجة مع سجل وإعدادات
- معاينات وتنزيلات سهلة للقياس الكمي
- رائع للمبتدئين والاستخدام اليومي غير الرسمي
- أقل قابلية للبرمجة من {Ollama}
- تنزيلات كبيرة وانتشار التخزين
- التحكم المتقدم في الإصدار أكثر صعوبة
- {CLI} بسيط مع واجهة برمجة تطبيقات محلية متوافقة مع {OpenAI}
- رائع للبرمجة والخوادم والتكاملات
- {Modelfiles} لإعدادات قابلة للتكرار
- خفيف الوزن وسهل مشاركة الأوامر
- لا يوجد تطبيق {GUI}/دردشة رسمي
- اكتشاف النموذج أكثر اعتمادًا على المستخدم
- يخيف المستخدمين الذين يكرهون {CLI}
تتحسن النماذج المحلية وتصبح أصغر حجمًا وأكثر غرابة (بطريقة جيدة). توقع نماذج 7{B}–13{B} أكثر ذكاءً تنافس الأوزان الثقيلة اليوم في العديد من المهام، بالإضافة إلى تحسينات أفضل لوحدة معالجة الرسومات/{CPU}. الفائز بين {Ollama} و{LM Studio}؟ ربما أنت، تشغل كلاهما لوظائف مختلفة مثل شخص بالغ مسؤول للغاية لديه مفكان براغي.
إذا كان علي أن أختار واحدًا لجهاز الكمبيوتر المحمول اليومي الخاص بي: {LM Studio}. تحافظ واجهة المستخدم على تركيزي، والاحتكاك قريب من الصفر. لأي شيء آلي أو تعاوني أو تجريبي: {Ollama}. إنه العمود الفقري الذي يمكنني كتابته وشحنه ونسيانه حتى يعمل.
نصيحة أخيرة: ابدأ صغيرًا، واختر نموذجًا يناسب أجهزتك، ولا تحكم على هذه الأدوات من خلال مطالبتك الأولى. يكافئ الذكاء الاصطناعي المحلي العبث - تمامًا مثل خزانة الكتب {IKEA}. ونعم، كان مفتاح {Allen} في جيبك طوال الوقت.
الأسئلة الشائعة
نعم. يمنحك {LM Studio} واجهة نظيفة ومتصفح نماذج وزر دردشة كبير. إذا كنت لا تحب المحطات الطرفية، فإن {LM Studio} يجعل الذكاء الاصطناعي المحلي يبدو وكأنه تطبيق دردشة مألوف.
بشكل عام، نعم - يدعم كلاهما نماذج {GGUF} الشائعة مثل {Llama} 3 و{Mistral} و{Phi}-3 بقياسات كمية مختلفة. الفرق هو كيفية تنزيلها وإدارتها وتشغيلها: واجهة مستخدم رسومية في {LM Studio}، و{CLI} و{Modelfiles} في {Ollama}.
تعتمد السرعة بشكل أكبر على أجهزتك وحجم النموذج والقياس الكمي من المشغل. سيبدو نموذج 7{B} مع القياس الكمي {Q4} أو {Q5} سريعًا على كلا النظامين؛ ستشعر النماذج الكبيرة 70{B} بأنها ثقيلة في أي مكان.
نعم. يمكن لكلاهما عرض نقطة نهاية واجهة برمجة تطبيقات محلية تتعامل معها العديد من الأدوات مثل {OpenAI}. يحظى {Ollama} بشعبية خاصة في عمليات التكامل؛ يقدم {LM Studio} وضع الخادم أيضًا.
يمكن Sider.AI توحيد سير عملك - التبديل بين النماذج المحلية والسحابية وتنظيم المطالبات والتعامل مع البحث والتوليف في مكان واحد. إنها الطبقة ذات القيمة المضافة عندما تنتهي من العبث وتريد إنجاز العمل.