আসুন আপনার ওয়ালেট (বা মস্তিষ্ক)-এ চাপ না ফেলে আপনার অ্যাপে AI যোগ করি
कभी बिना एलन रिंच के IKEA फर्नीचर को असेंबल करने की कोशिश की है? जब आपसे कहा जाता है, ''बस अपनी API कुंजी लगाएं और एक बिलिंग खाता शुरू करें,'' तो AI जोड़ने का एहसास ऐसा ही होता है। ज़रूर, और जब मैं ऐसा कर रहा हूं, तो मैं घर को फिर से तार-तार कर दूंगा और एक सैटेलाइट लॉन्च कर दूंगा।
खुशखबरी: किसी प्यारे ऐप में स्मार्ट, उपयोगी AI सुविधाएँ जोड़ने के लिए आपको API कुंजियों, उपयोग डैशबोर्ड या दूसरे बंधक की ज़रूरत नहीं है। इस गाइड में, हम इस बारे में बात करने जा रहे हैं कि व्यावहारिक पैटर्न, प्लेटफ़ॉर्म-देशी सुविधाओं और कुछ चतुर वर्कअराउंड का उपयोग करके, एक प्यारे ऐप में AI कैसे जोड़ा जाए (कोई API कुंजी नहीं, कोई अतिरिक्त बिलिंग नहीं)। अनुवाद: आप उपयोगकर्ताओं के लिए जादुई महसूस कराने वाली मददगार AI सुविधाएँ भेज सकते हैं, बिना 3,842 डॉलर के इनवॉइस के जागने के क्योंकि किसी ने आपके चैट बॉक्स का उपयोग आलू के बारे में एक महाकाव्य लिखने के लिए किया था।
এটি একটি হাতে-কলমে করার মতো ওয়াকথ্রু। আমি আপনাকে দেখাবো কীভাবে স্মার্ট বৈশিষ্ট্য ডিজাইন করতে হয়, কী ছাড়াই মডেলগুলি কোথায় পাবেন এবং কীভাবে অন-ডিভাইস এআই, সার্ভার-সাইড র্যাপার এবং সামান্য প্রোডাক্ট সেন্স ব্যবহার করে খরচ শূন্যে (বা কাছাকাছি) রাখতে হয়।
"কোন API কী নয়" এবং "কোন অতিরিক্ত বিলিং নয়" দ্বারা আমরা কী বুঝি
দ্রুত ডিকোডার রিং:
- কোন API কী নয়: আপনি ব্যবহারকারীদের তাদের নিজস্ব কী পেস্ট করতে বলছেন না, এবং আপনি তাদের পক্ষ থেকে কী সংরক্ষণ বা ঘোরান না।
- কোন অতিরিক্ত বিলিং নয়: আপনি আপনার ব্যবহারকারীদের টোকেন-ভিত্তিক মিটারে ফরোয়ার্ড করছেন না। আপনি হয় অন-ডিভাইস AI চালান, আপনার বিদ্যমান প্ল্যানে খরচ একত্রিত করুন, অথবা আপনার নিয়ন্ত্রিত উদার বিনামূল্যের স্তরগুলি ব্যবহার করুন।
উদ্দেশ্য চিরতরে অর্থ প্রদান করা এড়ানো নয়। উদ্দেশ্য হল স্মার্ট AI দিয়ে একটি পছন্দসই অ্যাপ ডিজাইন করা যা অনুমানযোগ্য, ব্যক্তিগত এবং আপনাকে CFO জেলে ফেলে না।
পছন্দসই অ্যাপ চেকলিস্ট: AI আসলে কী করা উচিত
আমরা কিছু প্লাগ ইন করার আগে, আপনার অ্যাপের জন্য "পছন্দসই" মানে কী তা সংজ্ঞায়িত করুন:
- এটি তাত্ক্ষণিকভাবে একটি বেদনাদায়ক, ঘন ঘন কাজ সমাধান করে। ওয়ান-ট্যাপ সারসংক্ষেপ। ওয়ান-ক্লিক রিরাইট। একটি স্মার্ট সার্চ।
- এটি স্থানীয় মনে করার জন্য যথেষ্ট দ্রুত। যদি আপনার AI একটি লোডিং ডোনাটের মতো ঘোরে, তাহলে আপনি ইতিমধ্যেই হেরে গেছেন।
- এটি ডিফল্টরূপে গোপনীয়তাকে সম্মান করে। প্রাথমিক বৈশিষ্ট্যগুলির জন্য ব্যবহারকারীদের একটি রহস্যময় ক্লাউডকে বিশ্বাস করার দরকার নেই।
- এটা ব্যাখ্যাযোগ্য। "পরিষ্কার тон এবং সংশোধন করা ব্যাকরণ" এর মতো একটি ছোট ইঙ্গিত জাদুটিকে বিশ্বাসে পরিণত করে।
যদি আপনার বৈশিষ্ট্যের ধারণা এই বাক্সগুলি পরীক্ষা না করে, তাহলে আপনার AI এর প্রয়োজন নেই। আপনার ঘুমের প্রয়োজন।
কৌশল #1: অন-ডিভাইস এআই (ওরফে কী-বিহীন, বিল-বিহীন MVP)
"কী-বিহীন, বিল-বিহীন" এর সবচেয়ে সহজ পথ চান? ব্যবহারকারীর ডিভাইসে মডেল চালান। এটি গমঘাস শট সহ $12 ডলারের একটি অর্ডার করার পরিবর্তে বাড়িতে স্মুদি তৈরির মতো।
অন-ডিভাইস AI কোথায় জয়ী হয়:
- গোপনীয়তা: ডেটা ডিভাইস ছেড়ে যায় না।
- অনুমানযোগ্য খরচ: প্রতি অনুরোধে $0। আপনার খরচ হল ইঞ্জিনিয়ারিংয়ের সময় এবং অ্যাপের আকারের সামান্য বৃদ্ধি।
- গতি: অনেক কাজের জন্য - সারসংক্ষেপ, সংশোধন, শ্রেণীবিভাগ - আধুনিক ডিভাইস যথেষ্ট দ্রুত।
ব্যবহারিক বিকল্প:
- প্ল্যাটফর্ম-নেটিভ কাঠামো ব্যবহার করুন:
- iOS/macOS: Apple এর Core ML একটি ছোট ভাষার মডেল সহ। শ্রেণীবিভাগ, টোন টুইক এবং সংক্ষিপ্ত সারসংক্ষেপের জন্য দুর্দান্ত।
- Android: একটি কম্প্যাক্ট LLM বা টাস্ক-নির্দিষ্ট মডেল সহ TensorFlow Lite।
- ডেস্কটপ/ওয়েব: ব্রাউজারে 7B এবং ছোট মডেল চালানোর জন্য WebGPU + WebAssembly রানটাইম (হ্যাঁ, সত্যি)।
- ছোট কিন্তু শক্তিশালী মডেল নির্বাচন করুন:
- 3B–7B প্যারামিটার মডেল ব্যাকরণ সংশোধন, বুলেট-পয়েন্ট সারসংক্ষেপ এবং মৌলিক প্রশ্নোত্তর করতে পারে।
- মেমরি এবং লোড সময় সঙ্কুচিত করতে পরিমাণিত সংস্করণ (যেমন, 4-বিট) ব্যবহার করুন।
- UX প্যাটার্ন যা অন-ডিভাইসে উজ্জ্বল হয়:
- নির্বাচনযোগ্য টোন সহ "পুনরায় লিখুন" বোতাম: বন্ধুত্বপূর্ণ, সংক্ষিপ্ত, আনুষ্ঠানিক।
- ডক্স, ইমেল বা নোটের জন্য "নির্বাচন সারসংক্ষেপ করুন"।
- বৈঠকের নোট থেকে "অ্যাকশন আইটেমগুলি বের করুন"।
- "এই পৃষ্ঠাটি অনুসন্ধান করুন" শব্দার্থিক ফাইন্ডার।
পরামর্শ: একটি "কুইক মোড" (অন-ডিভাইস) এবং একটি ঐচ্ছিক "পাওয়ার মোড" (ক্লাউড) অফার করুন—কোনও কী প্রয়োজন নেই। এই বিষয়ে আরও এক মিনিটে।
কৌশল #2: আপনার নিজের মডেল নিয়ে আসুন... তবে আপনার ব্যবহারকারীর কী নয়
আপনি আপনার ব্যবহারকারীদের কী রিং হস্তান্তর না করেও ক্লাউড মডেল ব্যবহার করতে পারেন। আপনি আপনার সার্ভারে কী লুকান, কলগুলির হার-সীমা নির্ধারণ করেন এবং খরচ ক্যাপ করেন। ব্যবহারকারীর দৃষ্টিকোণ থেকে, কোনও API কী নেই এবং আপনার দৃষ্টিকোণ থেকে কোনও অনিয়ন্ত্রিত বিলিং নেই।
এটি নিরাপদে করার উপায়:
- সার্ভার-সাইড প্রক্সি: আপনার অ্যাপ আপনার সার্ভারকে কল করে; আপনার সার্ভার মডেল সরবরাহকারীকে কল করে। আপনি থ্রোটলের মালিক।
- বাজেট গার্ডরেল: দৈনিক বা মাসিক ব্যয়ের সীমা, প্রতি ব্যবহারকারীর কোটা এবং টাইমআউট সেট করুন।
- ক্যাশিং: কল কমাতে ঘন ঘন প্রম্পট এবং ফলাফল ক্যাশে করুন।
- যখন আপনি সীমা হিট করেন তখন একটি ত্রুটি স্ক্রিন নয়, অন-ডিভাইসে ফিরে যান।
কখন এটি ব্যবহার করবেন:
- ছোট স্থানীয় মডেল পরিচালনা করতে পারে তার চেয়ে আপনার আরও ভাল যুক্তি, দীর্ঘ প্রেক্ষাপট বা মাল্টিমোডাল সমর্থন প্রয়োজন।
- আপনি কোনও কী প্রকাশ না করেও আরও রসালো সহ অর্থ প্রদানের স্তরগুলি সরবরাহ করার সময় একটি বিনামূল্যে পরিকল্পনা সহজ রাখতে চান।
কৌশল #3: বুদ্ধি প্রিবেক করুন (টেমপ্লেট টোকেনকে হার মানায়)
এখানে গোপনীয়তা রয়েছে যা প্রতিটি দুর্দান্ত AI পণ্য ব্যবস্থাপক শিখেছেন: বেশিরভাগ ব্যবহারকারী "প্রম্পট" করতে চান না। তারা এমন বোতাম চায় যা সঠিক কাজটি করে।
কাঁচা চ্যাট বক্সের পরিবর্তে টেমপ্লেট এবং संरचित ક્રિયાઓ சுற்றி আপনার AI তৈরি করুন। আপনি আরও ভাল ফলাফল, কম টোকেন এবং কম প্রান্তের কেস পাবেন।
টেমপ্লেটের উদাহরণ যা পছন্দসই মনে হয়:
- "इसे और दोस्ताना बनाएं लेकिन इसका अर्थ वही रखें।"
- "এই পাঠ্য থেকে তারিখ, নাম এবং কর্ম আইটেমগুলি টানুন।"
- "60 অক্ষরের নিচে তিনটি বিকল্প শিরোনাম তৈরি করুন।"
- "এই মিটিং ট্রান্সক্রিপ্টটিকে মালিক এবং নির্ধারিত তারিখগুলির সাথে একটি এজেন্ডা में बदलें।"
আপনি এগুলি ছোট মডেলের সাথে অন-ডিভাইসে চালাতে পারেন বা প্রয়োজনে ক্লাউডে ফেটে যেতে পারেন। উভয় ক্ষেত্রেই, আপনি প্রম্পটটি নিয়ন্ত্রণ করছেন—তাই আপনি খরচ और गुणवत्ता নিয়ন্ত্রণ করছেন।
কৌশল #4: কঠোর চিন্তা না করে স্মার্ট দেখতে পুনরুদ্ধার ব্যবহার করুন
बड़े मॉडल मतिभ्रम करते हैं। छोटे मॉडल तेजी से मतिभ्रम करते हैं। पुनर्प्राप्ति दोनों को सामग्री बनाने से रोकता है।
- ব্যবহারকারীর সামগ্রীর একটি স্থানীয় সূচী তৈরি করুন (ডক্স, নোট, টিকিট) और पहले शब्दार्थ खोज करें।
- अपने मॉडल को केवल शीर्ष स्निपेट्स ही फीड करें। छोटा प्रॉम्प्ट, बेहतर सटीकता।
- গোপনীয়তা-প্রথম অ্যাপগুলির জন্য, সূচীটি স্থানীয় রাখুন তাই কিছুই ডিভাইস ছেড়ে যায় না।
ফলাফল: আপনার অ্যাপটি উজ্জ্বল দেখায় যখন আপনার মডেল কম কাজ করে। এটিকে এআইকে পুরো লাইব্রেরি মনে রাখতে বলার পরিবর্তে একটি খোলা বই পরীক্ষা দেওয়ার মতো মনে করুন।
কৌশল #5: ঐচ্ছিক অনলাইন সুপারপাওয়ার সহ অফলাইন-ফার্স্ট অফার করুন
আপনার ব্যবহারকারীরা প্লেন, ট্রেন এবং মাঝে মাঝে একটি বারে একটি বেসমেন্টে থাকে। আপনার এআইকে অফলাইনে কাজ করুন। তারপরে, যখন একটি সংযোগ থাকে, তখন অপ্ট-ইন "পাওয়ার মোড" অফার করুন।
এটি কীভাবে কাজ করে:
- অফলাইন: অন-ডিভাইস মডেলের মাধ্যমে মৌলিক পুনর্লিখন, সারসংক্ষেপ এবং নিষ্কাশন।
- অনলাইন: বৃহত্তর কনটেক্সট উইন্ডো, আরও ভাল যুক্তি এবং আপনার সার্ভার প্রক্সির মাধ্যমে চিত্র বোঝা।
- UI: একটি ছোট "বিদ্যুৎ" টগল যা আপসটি ব্যাখ্যা করে: "দ্রুত এবং ব্যক্তিগত (অফলাইন)" বনাম "স্মার্ট তবে क्लाउड ব্যবহার করে (অনলাইন)।"
কোন কী প্রয়োজন নেই; কোন আশ্চর্যজনক বিল নেই। শুধু একটি পছন্দ।
কৌশল #6: গার্ডরেল যা বৈশিষ্ট্যগুলিকে পছন্দসই রাখে, মামলা-সক্ষম নয়
একটি পছন্দসই অ্যাপ সহায়ক, অনুমানযোগ্য এবং... বিরক্তিকরভাবে নিরাপদ। गार्डरेल বেক ইন করুন:
- বিষয়বস্তু ফিল্টার: কোনো মডেলে আঘাত হানার আগেই ক্ষতিকর বা অফ-পলিসি প্রম্পটগুলি ব্লক করুন।
- স্বচ্ছ লেবেল: সম্পাদনা ইতিহাস সহ "AI-উত্পাদিত" ট্যাগ।
- পুনরুত্পাদনযোগ্যতা: ফলাফল প্রতিলিপি করা যেতে পারে তাই প্রম্পট এবং সেটিংস স্থানীয়ভাবে লগ করুন (ব্যবহারকারীর সম্মতিতে)।
- প্রশিক্ষণের জন্য অপ্ট-আউট: আপনি যদি কিছু সূক্ষ্ম সুর করেন তবে জিজ্ঞাসা করুন। এবং "না" কে সহজ বোতাম করুন।
ব্লুপ্রিন্ট: একটি পছন্দসই অ্যাপে AI কীভাবে যোগ করবেন (কোন API কী নেই, কোনও অতিরিক্ত বিলিং নেই)
আসুন এটিকে ন্যাপকিন স্কেচ থেকে পাঠানো বৈশিষ্ট্যে একটি ধাপে ধাপে পরিণত করি।
- স্বয়ংক্রিয় করার জন্য একটি কাজ বেছে নিন
- আপনার ব্যবহারকারীরা প্রতিদিন যে একক, ঘন ঘন কাজটি করে তা চয়ন করুন। উদাহরণ: "পাঁচটি বুলেট में चयनित পাঠ্য সারসংক্ষেপ করুন।"
- সাধারণ ইংরেজিতে সাফল্যের লাইন লিখুন: "ব্যবহারকারী পাঠ্য হাইলাইট করেন, সারসংক্ষেপ टैप করেন, দুই সেকেন্ডের মধ্যে পাঁচটি স্পষ্ট বুলেট পান।"
- আপনার ফুটপ্রিন্ট চয়ন করুন: প্রথমে অন-ডিভাইস
- একটি ছোট পরিমাণিত মডেল দিয়ে শুরু করুন। পেলোড ছোট রাখুন, প্রথম চালানোর পরে মডেলটি ক্যাশে করুন।
- একটি কঠোর টোকেন ক্যাপ সেট করুন। যদি পাঠ্যটি দীর্ঘ হয় তবে এটি খণ্ড করুন এবং প্রতি খণ্ডে সংক্ষিপ্ত করুন।
- একটি টেমপ্লেট তৈরি করুন, একটি চ্যাট বক্স নয়
- কয়েকটি খাস্তা উদাহরণ সহ নির্দেশাবলী হার্ড-কোড করুন। শুধুমাত্র ব্যবহারকারী-মুখী নবগুলি প্রকাশ করুন যা গুরুত্বপূর্ণ: স্বর, দৈর্ঘ্য।
- ফলাফলের সাথে একটি ব্যাখ্যা লাইন যুক্ত করুন: "स्पष्टता के लिए संक्षिप्त। भराव हटा दिया।"
- প্রসঙ্গের জন্য পুনরুদ্ধার যোগ করুন
- যদি এমন একটি নথি সারসংক্ষেপ করা হয় যা অন্যান্য ডক্স উল্লেখ করে, স্থানীয়ভাবে সূচী করুন और प्रासंगिक बिट्स खींचें।
- ট্যাপযোগ্য উদ্ধৃতি সহ উত্সগুলি দেখান। বিশ্বাস একটি বৈশিষ্ট্য।
- পাওয়ার মোড ডিজাইন করুন (ঐচ্ছিক)
- যদি প্রান্তের ক্ষেত্রে অফলাইন ফলাফল দুর্বল হয় তবে একটি ক্লাউড "পাওয়ার মোড" যুক্ত করুন।
- আপনার ব্যবহারকারীর কী নয়, আপনার সার্ভারের মাধ্যমে রুট করুন। कोटा और দৈনিক ক্যাপ যোগ করুন।
- শুধু নির্ভুলতা নয়, আনন্দের জন্য পরীক্ষা করুন
- প্রথম টোকেনের সময় और समाप्ति সময় পরিমাপ করুন।
- A/B परीक्षण कॉपी: "পুনরায় লিখুন" বনাম "পালিশ"। স্পয়লার: শব্দ গুরুত্বপূর্ণ।
- এআই আউটপুটের পরে ব্যবহারকারীর সম্পাদনাগুলি লগ করুন (সম্মতিতে)। যদি সবাই প্রথম বুলেটটি সম্পাদনা করে তবে আপনার টেমপ্লেটের কাজের প্রয়োজন, বড় মডেলের নয়।
- অতিরিক্ত বিলিং নাটক ছাড়াই এটির দাম দিন
- আপনার বিদ্যমান প্ল্যানে AI বৈশিষ্ট্যটি বান্ডিল করুন।
- নরম সীমা ব্যবহার করুন: "20 প্রো-তে পাওয়ার মোড রান/দিন।"
- সীমাহীন অফলাইন रन অফার করুন—কারণ ऑन-डिवाइस বিনামূল্যে।
বাস্তব-বিশ্বের পরিস্থিতি যা वास्तव में কাজ করে
तीन बाइट-साइज़ रेसिपी जो आप इस महीने शिप कर सकते हैं, कोर अनुभव के लिए किसी कुंजी की आवश्यकता नहीं है:
- কাজ: ইমেল এবং বার্তাগুলির тон পরিষ্কার করুন।
- কীভাবে: अर्थ रखने, व्याकरण संबंधी समस्याओं को दूर करने और टोन को समायोजित करने के लिए एक निश्चित संकेत के साथ ऑन-डिवाइस मॉडल।
- UX: फ्रेंडली, फॉर्मल, संक्षिप्त के लिए एक टॉगल के साथ इनलाइन संपादन पूर्वावलोकन। एक अंतर दिखाएं ताकि उपयोगकर्ता सीख सकें।
- কাজ: মিটিং নোটগুলিকে কর্ম আইটেমগুলিতে রূপান্তর করুন।
- কীভাবে: ऑन-डिवाइस पर चंक्ड समराइजेशन, फिर लंबे ट्रांसक्रिप्ट के लिए वैकल्पिक पावर मोड।
- UX: नियत तारीख सुझावों के साथ मालिक द्वारा समूहीकृत परिणाम। आपके कार्य उपकरण में कॉपी करने के लिए टैप करने योग्य।
- কাজ: একজন ব্যবহারকারীর ডক্সে প্রাসঙ্গিক তথ্য খুঁজুন।
- কীভাবে: संश्लेषण के लिए স্থানীয় वेक्टर इंडेक्स + शैलो एलएलएम।
- UX: स्रोत लिंक और "यह परिणाम क्यों?" नोट के साथ हाइलाइट। ऐसा लगता है कि Ctrl+F को पीएचडी मिल गई।
प्रदर्शन युक्तियाँ ताकि आपका AI डायल-अप जैसा न लगे
- पहले अनुरोध को सुस्त न होने देने के लिए ऐप लॉन्च पर एक छोटे डमी अनुमान के साथ मॉडल को गर्म करें।
- एंबेडिंग और आंशिक परिणामों को कैश करें; उन्हें सत्रों के बीच पुन: उपयोग करें।
- প্রতিক্রিয়াগুলি স্ট্রিম করুন এবং লাইন-বাই-লাইন রেন্ডার করুন। মানুষ प्रगति महसूस करना पसंद करते हैं, भले ही वह सिर्फ तीन डॉट्स डांसिंग कर रहे हों।
- প্রম্পটগুলিকে নিয়ন্ত্রণে রাখুন। टेम्पलेट > निबंध।
10-पृष्ठ घोषणापत्र के बिना गोपनीयता
- स्थानीय प्रसंस्करण के लिए डिफ़ॉल्ट। सुविधा के अनुसार क्लाउड प्रोसेसिंग को ऑप्ट-इन करें।
- एक वाक्य में समझाएं: "यह आपके डिवाइस पर चलता है। कुछ भी अपलोड नहीं किया गया है।" या: "यह हमारे सर्वर का उपयोग करता है। अनामीकृत, कभी नहीं बेचा।"
- एक-टैप डेटा हटाने वाला बटन प्रदान करें। किसी को भी 2021 से अपनी किराने की सूची मिटाने के लिए एक ईमेल श्रृंखला नहीं चाहिए।
ध्यान देने योग्य: इस यात्रा के लिए एक आसान सह-पायलट
ध्यान देने योग्य: यदि आप संकेतों को प्रोटोटाइप करते समय एक एआई सैनिटी चेक चाहते हैं, तो {Sider.AI} आपके ब्राउज़र में एक दोस्ताना पड़ोसी की तरह बैठ सकता है जो वास्तव में HOA नियमों को पढ़ता है। आप अपने ऐप में बेक करने से पहले संकेतों का मसौदा तैयार कर सकते हैं, आउटपुट की तुलना कर सकते हैं और टेम्प्लेट पर जल्दी से पुनरावृति कर सकते हैं - बिना आधा दर्जन डैशबोर्ड को इधर-उधर किए। यह विज्ञापन नहीं है; यह एक शॉर्टकट है। পাঁচ মিনিটের ইন্টিগ্রেশন প্ল্যান (ওরফে আপনার স্টিকি নোট)
- একটি কাজ দিয়ে শুরু করুন। सबसे छोटा प्यारा संस्करण भेजें।
- इसे एक कॉम्पैक्ट, क्वांटाइज्ड मॉडल के साथ ऑन-डिवाइस पर चलाएं।
- एक टेम्पलेट में लपेटें, चैट बॉक्स में नहीं।
- स्मार्ट दिखने के लिए पुनर्प्राप्ति जोड़ें, मानसिक नहीं।
- कठोर कैप के साथ अपने सर्वर के माध्यम से पावर मोड की पेशकश करें।
- हर चीज को स्पष्ट रूप से लेबल करें। गोपनीयता पहले। आनंद दूसरा। बाकी सब तीसरा।
उन चीजों से बचें ताकि आपका ऐप एक एआई इन्फोमर्सियल न बन जाए
- जादुई छड़ी जाल: यह वादा न करें कि "यह एक इंसान की तरह लिखता है।" यह एक एआई की तरह लिखता है जिसने कॉफी पी है।
- असीमित दावे: टोकन मीटर हमेशा एक अच्छे दिन को बर्बाद करने का एक तरीका खोजते हैं।
- अंतिम उपयोगकर्ताओं के लिए त्वरित खेल के मैदान: डेमो के लिए बढ़िया, दैनिक उपयोग के लिए मेह।
- वन-साइज़-फिट-ऑल मॉडल: सबसे छोटी चीज चुनें जो काम करती है। बड़ा बेहतर नहीं है; बेहतर बेहतर है।
संदेह करने वाले उत्पाद प्रबंधक के लिए त्वरित प्रश्नोत्तर
- "क्या हम वास्तव में यह एपीआई कुंजी के बिना कर सकते हैं?" हाँ। पहले ऑन-डिवाइस, सर्वर-प्रॉक्सी वैकल्पिक। उपयोगकर्ताओं को कभी भी कुंजियाँ दिखाई नहीं देतीं।
- "गुणवत्ता के बारे में क्या?" केंद्रित कार्यों के लिए, छोटे मॉडल आश्चर्यजनक रूप से महान हैं - विशेष रूप से पुनर्प्राप्ति और टेम्प्लेट के साथ।
- "क्या हम स्थानीय मॉडल से आगे निकल जाएंगे?" शायद। पावर मोड इसीलिए है। इसे अपनी योजना से बांधें, न कि अपने उपयोगकर्ता के क्रेडिट कार्ड से।
- "हम आश्चर्य से कैसे बचते हैं?" कैप, कैशिंग और एक स्पष्ट ऑफ़लाइन डिफ़ॉल्ट। आप कमरे में वयस्क हैं।
तीन अनुच्छेदों में एक छोटा केस स्टडी
एक छोटे नोट्स ऐप ने एक ऑन-डिवाइस "संक्षेप करें" बटन जोड़ा। इसने एक निश्चित टेम्पलेट और 500-टोकन कैप के साथ एक 4-बिट 3B मॉडल चलाया। औसत प्रतिक्रिया समय: हाल के फोन पर 1.6 सेकंड।
उपयोगकर्ताओं ने इसे दैनिक स्निपेट के लिए पसंद किया, लेकिन लंबी शोध नोट्स के बारे में शिकायत की। टीम ने प्रति उपयोगकर्ता दैनिक कोटा के साथ अपने सर्वर के माध्यम से रूट किए गए एक वैकल्पिक पावर मोड को जोड़ा। संतुष्टि बढ़ गई, लागत अनुमानित रही।
किकर: समर्थन टिकट नीचे चले गए क्योंकि wrangle करने के लिए कोई API कुंजी नहीं थी, कोई "मुझे $ 27 क्यों चार्ज किया गया?" ईमेल नहीं, और कोई डरावनी दर-सीमा स्क्रीन नहीं।
लपेटें: आपका प्यारा एआई ऐप, बिलिंग हैंगओवर माइनस
यहाँ नाटक है: एक केंद्रित AI सुविधा बनाएँ जो ऑफ़लाइन चलती है। इसे एक ऐसे टेम्पलेट में लपेटें जिसे उपयोगकर्ता समझते हैं। पुनर्प्राप्ति के साथ इसे बढ़ाएँ। एक कैप्ड पावर मोड की पेशकश करें जिसे आपका सर्वर नियंत्रित करता है। गोपनीयता के बारे में ईमानदार रहें। और खुशी के लिए परीक्षण करें जैसे कि यह आपका काम है - क्योंकि यह है।
इस तरह आप एक प्यारे ऐप में AI जोड़ते हैं (कोई API कुंजी नहीं, कोई अतिरिक्त बिलिंग नहीं)। अब अगर IKEA ने एक क्वांटाइज्ड एलन रिंच भेज दिया।
FAQ
{Q1: क्या मैं उपयोगकर्ताओं से API कुंजियों के लिए पूछे बिना AI सुविधाएँ जोड़ सकता हूँ?
हाँ। कोर सुविधाओं के लिए छोटे ऑन-डिवाइस मॉडल चलाएं और यदि आवश्यक हो, तो अपनी सर्वर प्रॉक्सी के माध्यम से कैप के साथ क्लाउड कॉल रूट करें। उपयोगकर्ता कभी भी कुंजियों को नहीं छूते हैं, और आप खर्च को अनुमानित रखते हैं।
}{Q2:क्या ऑन-डिवाइस एआई मेरे ऐप के लिए पर्याप्त सटीक होगा?
पुनर्लेखन, संक्षेप और निकालने जैसे केंद्रित कार्यों के लिए, कॉम्पैक्ट मॉडल बहुत अच्छा करते हैं - विशेष रूप से टेम्प्लेट और पुनर्प्राप्ति के साथ। एक वैकल्पिक पावर मोड के लिए जटिल तर्क या विशाल संदर्भ सहेजें।
}{Q3:मैं अतिरिक्त बिलिंग के बिना आश्चर्य AI लागतों से कैसे बचूं?
ऑन-डिवाइस प्रोसेसिंग और कैश को आक्रामक रूप से डिफ़ॉल्ट करें। क्लाउड बूस्ट के लिए, सर्वर-साइड कोटा, दैनिक कैप और टाइमआउट सेट करें - फिर स्थानीय परिणामों पर शालीनता से वापस आएं।
}{Q4:एआई के लिए सबसे अच्छा यूएक्स क्या है जिसे उपयोगकर्ता वास्तव में पसंद करते हैं?
बटन जो एक काम अच्छी तरह से करते हैं, खुले चैट को हराते हैं। स्पष्ट टोन और लंबाई के साथ टेम्प्लेट का उपयोग करें, एक अंतर या स्पष्टीकरण दिखाएं, और गोपनीयता को लेबल करें: ऑफ़लाइन बनाम क्लाउड पावर मोड।
}{Q5:मैं एआई को निजी और अनुपालन कैसे रखूं?
डिफ़ॉल्ट रूप से स्थानीय रूप से प्रक्रिया करें, जब आप क्लाउड का उपयोग करते हैं तो खुलासा करें, और एक-टैप डेटा हटाने की सुविधा प्रदान करें। गोपनीयता उपन्यास के बिना विश्वास बनाने के लिए सामग्री फ़िल्टर जोड़ें और स्रोतों का हवाला दें।
}
