LLM কী? ChatGPT কীভাবে কাজ করে, সহজ ভাষায়
LLM কী আর ChatGPT কীভাবে কাজ করে, টোকেন, ট্রেনিং আর পরের শব্দ অনুমানের ব্যাপারটা সহজ বাংলায়। কেন ভুল করে আর এটা জানলে প্রম্পট কেন ভালো হয়।
LLM মানে Large Language Model, বিপুল পরিমাণ লেখা থেকে ভাষার ধরন শিখে নেওয়া একটা AI মডেল, যেটা আপনার লেখা পড়ে পরের অংশ কী হওয়া উচিত তা সম্ভাবনা হিসাব করে লেখে। ChatGPT, Gemini আর Claude এরকম LLM এর ওপর বানানো চ্যাট অ্যাপ, তাই এরা ঝরঝরে উত্তর দেয়, কিন্তু মাঝে মাঝে আত্মবিশ্বাসের সাথে ভুলও বলে।
এক নজরে
- LLM লেখাকে ছোট ছোট টুকরা বা টোকেনে ভাঙে, তারপর পরের টোকেন অনুমান করে উত্তর গড়ে।
- ট্রেনিং দুই ধাপে হয়: প্রথমে বিপুল লেখা থেকে শেখা, পরে মানুষের সাহায্যে আচরণ ঠিক করা।
- LLM তথ্য খুঁজে আনে না, ধরন মিলিয়ে লেখে, তাই ভুল তথ্যও বিশ্বাসযোগ্য শোনাতে পারে।
- এটা বুঝলে প্রম্পট ভালো হয়: প্রসঙ্গ, উদাহরণ আর ফরম্যাট দিলে অনুমান সঠিক দিকে যায়।
LLM কী, এক কথায়?
LLM হলো এমন একটা AI মডেল যেটা বিপুল পরিমাণ লেখা পড়ে ভাষার নকশা শিখেছে, আর সেই নকশা দিয়ে নতুন লেখা তৈরি করতে পারে। "Large" কারণ এর ভেতরের হিসাব আর ট্রেনিংয়ের লেখা দুটোই বিশাল।
Google এর Machine Learning Crash Course এর সংজ্ঞাটা সবচেয়ে পরিষ্কার: একটা language model হিসাব করে, লম্বা কোনো লেখার মধ্যে একটা নির্দিষ্ট টুকরা আসার সম্ভাবনা কতটা (Google ML Crash Course)। অর্থাৎ মূল কাজটা হলো "এরপর কী আসা সবচেয়ে মানানসই" সেটা হিসাব করা।
একটা সহজ উদাহরণ ধরুন। "বাংলাদেশের রাজধানী ..." লিখলে পরের শব্দ হিসেবে "ঢাকা" আসার সম্ভাবনা অনেক বেশি। LLM ঠিক এই কাজটাই করে, তবে কোটি কোটি লেখার নকশা মাথায় রেখে, আর পুরো প্রশ্ন একসাথে দেখে।
ChatGPT আর LLM কি একই জিনিস?
না, পুরোপুরি এক না। LLM হলো ইঞ্জিন, আর ChatGPT হলো সেই ইঞ্জিনের ওপর বানানো অ্যাপ, যেখানে চ্যাটের ঘর, ফাইল আপলোড, মেমোরি, ওয়েব সার্চের মতো সুবিধা যোগ করা থাকে।
একইভাবে Gemini অ্যাপ চলে Google এর মডেলে, Claude অ্যাপ চলে Anthropic এর মডেলে। তাই একই প্রশ্নে তিনটা অ্যাপের উত্তর আলাদা হয়: ইঞ্জিন আলাদা, ট্রেনিং আলাদা, অ্যাপের সুবিধাও আলাদা। ChatGPT ব্যবহারের একদম শুরুর ধাপগুলো দেখতে পড়ুন ChatGPT কী এবং কীভাবে ব্যবহার করবেন।
| শব্দ | মানে কী | উদাহরণ |
|---|---|---|
| AI | যন্ত্রকে বুদ্ধির কাজ শেখানোর পুরো ক্ষেত্র | মুখ চেনা, অনুবাদ, চ্যাটবট |
| LLM | ভাষা নিয়ে কাজ করা বড় মডেল, AI এর একটা ধরন | GPT, Gemini, Claude মডেল পরিবার |
| চ্যাট অ্যাপ | LLM এর ওপর বানানো ব্যবহারযোগ্য প্রোডাক্ট | ChatGPT, Gemini অ্যাপ, Claude অ্যাপ |
| টোকেন | লেখার ছোট টুকরা, যেটা মডেল আসলে পড়ে আর লেখে | পুরো শব্দ, শব্দের অংশ বা একটা চিহ্ন |
ChatGPT কীভাবে কাজ করে, ধাপে ধাপে?
সংক্ষেপে: আপনার লেখা টোকেনে ভাঙে, মডেল পুরো প্রসঙ্গ দেখে পরের টোকেনের সম্ভাবনা হিসাব করে, একটা বাছে, তারপর আবার একই কাজ করে। এভাবে টুকরা টুকরা জুড়ে পুরো উত্তর তৈরি হয়।
টোকেনের একটা মোটা হিসাব OpenAI দিয়েছে: ইংরেজিতে একটা টোকেন মোটামুটি ৪টা অক্ষর, আর ১০০ টোকেনে প্রায় ৭৫টা শব্দ (OpenAI Help Center)। একই পাতায় বলা আছে, ভাষা আর মডেলভেদে এই হিসাব বদলায়। তাই বাংলার হিসাব ইংরেজির সাথে মিলিয়ে ধরবেন না।
LLM এত কিছু শিখল কীভাবে?
দুই বড় ধাপে। প্রথম ধাপকে বলে pre-training: বিপুল পরিমাণ লেখা থেকে মডেল ভাষার ধরন শেখে। দ্বিতীয় ধাপ post-training: মানুষের দেওয়া উদাহরণ আর মূল্যায়ন দিয়ে মডেলকে সহায়ক, নিরাপদ আর প্রশ্নের উত্তর দেওয়ার মতো করে তোলা হয়।
OpenAI তাদের Help Center এ লিখেছে, তারা তিন ধরনের তথ্য থেকে মডেল বানায়: ইন্টারনেটে প্রকাশ্যে থাকা তথ্য, পার্টনারশিপের মাধ্যমে পাওয়া তথ্য, আর ব্যবহারকারী, মানুষ ট্রেইনার ও গবেষকদের দেওয়া তথ্য (OpenAI Help Center)। অন্য কোম্পানিগুলোর পদ্ধতি একই রকম ধাঁচের, তবে খুঁটিনাটি আলাদা।
জরুরি কথা হলো, মডেল বই মুখস্থ করে রাখে না। সে শেখে কোন শব্দের পর কোন শব্দ, কোন প্রশ্নের পর কেমন উত্তর মানানসই। এই কারণেই সে নতুন বাক্য বানাতে পারে, আবার এই কারণেই ভুলও করে।
একই প্রশ্ন দুবার করলে উত্তর হুবহু এক হয় না কেন, সেটাও এখান থেকে বোঝা যায়। প্রতিটা ধাপে মডেল সবসময় সবচেয়ে সম্ভাব্য টুকরাটাই বাছে না, কিছুটা বৈচিত্র্য রাখে, যাতে লেখা যান্ত্রিক না শোনায়। ফলে মূল কথা একই থাকলেও শব্দ আর সাজানো বদলায়। কাজের জন্য এটা সুবিধা: একটা উত্তর পছন্দ না হলে আবার চাইলে নতুন সংস্করণ পাবেন।
আরেকটা সীমা হলো প্রসঙ্গের জানালা বা context window। মডেল একবারে নির্দিষ্ট পরিমাণ টোকেন পর্যন্ত দেখতে পারে। খুব লম্বা চ্যাটে বা বিশাল ফাইলে শুরুর দিকের কথা তাই মাঝে মাঝে বাদ পড়ে যায়। নতুন বিষয়ে কাজ শুরু করলে নতুন চ্যাট খোলা এই কারণেই ভালো অভ্যাস।
LLM ভুল তথ্য দেয় কেন?
কারণ LLM এর কাজ "সত্য খোঁজা" না, "মানানসই লেখা তৈরি করা"। যে প্রশ্নের উত্তর ট্রেনিংয়ে কম ছিল বা একদম নতুন, সেখানেও সে বিশ্বাসযোগ্য শোনায় এমন একটা উত্তর বানিয়ে ফেলতে পারে। একে বলে hallucination।
আরেকটা কারণ সময়। মডেলের ট্রেনিংয়ের একটা শেষ তারিখ থাকে। তার পরের খবর, দাম বা নিয়ম সে নিজে জানে না, যদি না অ্যাপটা ওয়েব সার্চ করে আনে। তাই দাম, ফি, আইন বা খবরের প্রশ্নে উত্তর সবসময় অফিশিয়াল পাতায় মিলিয়ে নিন।
টাকা, স্বাস্থ্য, আইন বা পরীক্ষার প্রশ্নে AI এর উত্তর শেষ কথা না। উৎস চেয়ে নিন আর নিজে খুলে দেখুন। যাচাইয়ের সহজ পদ্ধতি আছে AI ভুল তথ্য দেয় কেন, যাচাই করার নিয়ম লেখায়।
LLM কীভাবে কাজ করে জানলে প্রম্পট কেন ভালো হয়?
কারণ উত্তরটা পুরোপুরি নির্ভর করে আপনি কী প্রসঙ্গ দিচ্ছেন তার ওপর। প্রম্পট ছোট আর অস্পষ্ট হলে মডেল সবচেয়ে সাধারণ, গড়পড়তা উত্তরটাই অনুমান করে। প্রসঙ্গ বাড়ালে অনুমান আপনার দিকে সরে আসে।
এই একটা বোঝা থেকেই প্রম্পট ইঞ্জিনিয়ারিংয়ের সব কৌশল আসে:
- প্রসঙ্গ দিন: কে পড়বে, কেন দরকার, কোন পরিস্থিতি। মডেল যত জানবে, অনুমান তত নির্দিষ্ট হবে।
- উদাহরণ দিন: যেমন উত্তর চান তেমন একটা নমুনা দিলে মডেল সেই ধরন অনুসরণ করে। একে বলে few-shot।
- ফরম্যাট বলুন: টেবিল, ৫টা পয়েন্ট, ১৫০ শব্দ। এতে উত্তর কাজে লাগানোর মতো হয়।
- ধাপে ভাবতে দিন: হিসাব বা যুক্তির কাজে ধাপে ধাপে ভাবতে বললে পুরোনো ধাঁচের মডেলে ভুল কমে।
বাংলায় লিখবেন নাকি ইংরেজিতে, সেটাও এই প্রসঙ্গের অংশ। এ নিয়ে আলাদা পরীক্ষা আছে বাংলায় প্রম্পট লিখলে কি ভালো উত্তর আসে লেখায়।
LLM, চ্যাটবট আর AI এজেন্টের পার্থক্য কী?
LLM হলো মস্তিষ্ক, চ্যাটবট হলো কথা বলার জানালা, আর এজেন্ট হলো এমন ব্যবস্থা যেখানে LLM নিজে টুল চালিয়ে কয়েক ধাপের কাজ শেষ করে। যেমন ইমেইল পড়ে শিটে লিখে রাখা, বা ওয়েবসাইট খুলে তথ্য তুলে আনা।
তিনটার ভিত্তি একই: পরের টোকেন অনুমান। পার্থক্য হলো চারপাশে কী কী সুবিধা যোগ করা হয়েছে। এজেন্ট নিয়ে বিস্তারিত পাবেন AI এজেন্ট কী, চ্যাটবট আর এজেন্টের পার্থক্য লেখায়।
নতুনদের জন্য পরের ধাপ কী?
LLM কী বোঝার পর সবচেয়ে কাজের দক্ষতা হলো ভালো প্রম্পট লেখা। একই ChatGPT দুজন মানুষের হাতে একদম আলাদা মানের উত্তর দেয়, পার্থক্যটা প্রম্পটে।
শুরু করার সহজ উপায়: আজকের একটা আসল কাজ নিন, যেমন একটা দরখাস্ত বা ফেসবুক পোস্ট। প্রথমে এক লাইনে চান, তারপর একই কাজ প্রসঙ্গ, উদাহরণ আর ফরম্যাটসহ চান। দুটো উত্তর পাশাপাশি রাখলেই বুঝবেন প্রম্পট কেন দরকার।
আমাদের AI শুরু ও Prompt Engineering কোর্সের শুরুতেই LLM কী সেটা উদাহরণ দিয়ে দেখানো হয়, তারপর একে একে প্রম্পটের ফ্রেমওয়ার্কগুলো আসে।
তথ্যসূত্র: Google ML Crash Course: LLMs; OpenAI Help Center: What are tokens; OpenAI Help Center: How ChatGPT and our foundation models are developed. সর্বশেষ যাচাই: ১৪ অক্টোবর ২০২৬।
সচরাচর যা জিজ্ঞেস করা হয়
LLM এর পূর্ণরূপ কী?
ChatGPT কি ইন্টারনেট থেকে উত্তর খুঁজে আনে?
LLM এর উদাহরণ কী কী?
টোকেন কী, এটা জেনে আমার লাভ কী?
একই প্রশ্নে ChatGPT প্রতিবার আলাদা উত্তর দেয় কেন?
AI কি নিজে চিন্তা করে বা বোঝে?
AI থেকে ঠিক উত্তর বের করা শিখতে চাইলে
AI শুরু ও Prompt Engineering কোর্সে ChatGPT, Gemini আর Claude এর জন্য প্রম্পট লেখা একদম শুরু থেকে বাংলায় শেখানো হয়।
ChatGPT মাস্টারক্লাস
নিজের কাজ চেনে এমন একটা ChatGPT সেটআপ, রিপিট কাজের ওয়ার্কফ্লো, আর কোথায় ভরসা করবেন না তার পরিষ্কার ধারণা।
সম্পর্কিত লেখা
লেখাটা পড়েছেন মানে আপনি জিনিসটা বুঝেছেন, এখন এইটা আরও Detailed শিখে কাজে নেমে যাওয়ার পালা...
৩০ সেকেন্ডের কুইজ বলে দিবে আপনার অবস্থায় কোন কোর্সটা লাগবে।
Nasir Uddin Shamim
Typically replies within 5-10 minutes.
I will be back soon
It’s your friend Nasir Uddin Shamim. How can I help you?
