অফার AIinBangla-র সব কোর্সে ২০% ছাড় ২৫ নভেম্বর পর্যন্ত

AI Champions কোর্স দেখুন
মূল অংশে যান
AIinBangla

LLM কী? ChatGPT কীভাবে কাজ করে, সহজ ভাষায়

LLM কী আর ChatGPT কীভাবে কাজ করে, টোকেন, ট্রেনিং আর পরের শব্দ অনুমানের ব্যাপারটা সহজ বাংলায়। কেন ভুল করে আর এটা জানলে প্রম্পট কেন ভালো হয়।

LLM আর ChatGPT কীভাবে কাজ করে: রোবট, কম্পিউটার চিপ, বইয়ের স্তূপ আর মেসেজের বুদবুদ, কাগজ কেটে বানানো ছবি

LLM মানে Large Language Model, বিপুল পরিমাণ লেখা থেকে ভাষার ধরন শিখে নেওয়া একটা AI মডেল, যেটা আপনার লেখা পড়ে পরের অংশ কী হওয়া উচিত তা সম্ভাবনা হিসাব করে লেখে। ChatGPT, Gemini আর Claude এরকম LLM এর ওপর বানানো চ্যাট অ্যাপ, তাই এরা ঝরঝরে উত্তর দেয়, কিন্তু মাঝে মাঝে আত্মবিশ্বাসের সাথে ভুলও বলে।

এক নজরে

  • LLM লেখাকে ছোট ছোট টুকরা বা টোকেনে ভাঙে, তারপর পরের টোকেন অনুমান করে উত্তর গড়ে।
  • ট্রেনিং দুই ধাপে হয়: প্রথমে বিপুল লেখা থেকে শেখা, পরে মানুষের সাহায্যে আচরণ ঠিক করা।
  • LLM তথ্য খুঁজে আনে না, ধরন মিলিয়ে লেখে, তাই ভুল তথ্যও বিশ্বাসযোগ্য শোনাতে পারে।
  • এটা বুঝলে প্রম্পট ভালো হয়: প্রসঙ্গ, উদাহরণ আর ফরম্যাট দিলে অনুমান সঠিক দিকে যায়।

LLM কী, এক কথায়?

LLM হলো এমন একটা AI মডেল যেটা বিপুল পরিমাণ লেখা পড়ে ভাষার নকশা শিখেছে, আর সেই নকশা দিয়ে নতুন লেখা তৈরি করতে পারে। "Large" কারণ এর ভেতরের হিসাব আর ট্রেনিংয়ের লেখা দুটোই বিশাল।

Google এর Machine Learning Crash Course এর সংজ্ঞাটা সবচেয়ে পরিষ্কার: একটা language model হিসাব করে, লম্বা কোনো লেখার মধ্যে একটা নির্দিষ্ট টুকরা আসার সম্ভাবনা কতটা (Google ML Crash Course)। অর্থাৎ মূল কাজটা হলো "এরপর কী আসা সবচেয়ে মানানসই" সেটা হিসাব করা।

একটা সহজ উদাহরণ ধরুন। "বাংলাদেশের রাজধানী ..." লিখলে পরের শব্দ হিসেবে "ঢাকা" আসার সম্ভাবনা অনেক বেশি। LLM ঠিক এই কাজটাই করে, তবে কোটি কোটি লেখার নকশা মাথায় রেখে, আর পুরো প্রশ্ন একসাথে দেখে।

ChatGPT আর LLM কি একই জিনিস?

না, পুরোপুরি এক না। LLM হলো ইঞ্জিন, আর ChatGPT হলো সেই ইঞ্জিনের ওপর বানানো অ্যাপ, যেখানে চ্যাটের ঘর, ফাইল আপলোড, মেমোরি, ওয়েব সার্চের মতো সুবিধা যোগ করা থাকে।

LLM আর ChatGPT কীভাবে কাজ করে: বইয়ের স্তূপ, রোবট আর খাতা আর পেন্সিল, কাগজ কেটে বানানো ছবি

একইভাবে Gemini অ্যাপ চলে Google এর মডেলে, Claude অ্যাপ চলে Anthropic এর মডেলে। তাই একই প্রশ্নে তিনটা অ্যাপের উত্তর আলাদা হয়: ইঞ্জিন আলাদা, ট্রেনিং আলাদা, অ্যাপের সুবিধাও আলাদা। ChatGPT ব্যবহারের একদম শুরুর ধাপগুলো দেখতে পড়ুন ChatGPT কী এবং কীভাবে ব্যবহার করবেন।

শব্দ মানে কী উদাহরণ
AI যন্ত্রকে বুদ্ধির কাজ শেখানোর পুরো ক্ষেত্র মুখ চেনা, অনুবাদ, চ্যাটবট
LLM ভাষা নিয়ে কাজ করা বড় মডেল, AI এর একটা ধরন GPT, Gemini, Claude মডেল পরিবার
চ্যাট অ্যাপ LLM এর ওপর বানানো ব্যবহারযোগ্য প্রোডাক্ট ChatGPT, Gemini অ্যাপ, Claude অ্যাপ
টোকেন লেখার ছোট টুকরা, যেটা মডেল আসলে পড়ে আর লেখে পুরো শব্দ, শব্দের অংশ বা একটা চিহ্ন

ChatGPT কীভাবে কাজ করে, ধাপে ধাপে?

সংক্ষেপে: আপনার লেখা টোকেনে ভাঙে, মডেল পুরো প্রসঙ্গ দেখে পরের টোকেনের সম্ভাবনা হিসাব করে, একটা বাছে, তারপর আবার একই কাজ করে। এভাবে টুকরা টুকরা জুড়ে পুরো উত্তর তৈরি হয়।

০১লেখা টোকেনে ভাঙাআপনার প্রশ্ন ছোট টুকরায় ভাঙা হয়। পুরো শব্দ, শব্দের অংশ বা চিহ্ন, সবই টোকেন হতে পারে।
০২প্রসঙ্গ পড়ামডেল শুধু শেষ শব্দ না, আপনার পুরো প্রম্পট আর আগের চ্যাট একসাথে দেখে।
০৩পরের টোকেন অনুমানসম্ভাব্য প্রতিটা টুকরার জন্য একটা সম্ভাবনা হিসাব হয়, তারপর একটা বাছাই হয়।
০৪বারবার একই কাজনতুন টোকেন যোগ করে আবার অনুমান, যতক্ষণ না উত্তর শেষ হয়।
০৫অ্যাপের বাড়তি কাজদরকার হলে অ্যাপ ওয়েব সার্চ, ফাইল পড়া বা টুল চালানোর মতো কাজ যোগ করে।
LLM পুরো উত্তর একবারে জানে না, টুকরা টুকরা করে গড়ে তোলে।

টোকেনের একটা মোটা হিসাব OpenAI দিয়েছে: ইংরেজিতে একটা টোকেন মোটামুটি ৪টা অক্ষর, আর ১০০ টোকেনে প্রায় ৭৫টা শব্দ (OpenAI Help Center)। একই পাতায় বলা আছে, ভাষা আর মডেলভেদে এই হিসাব বদলায়। তাই বাংলার হিসাব ইংরেজির সাথে মিলিয়ে ধরবেন না।

LLM এত কিছু শিখল কীভাবে?

দুই বড় ধাপে। প্রথম ধাপকে বলে pre-training: বিপুল পরিমাণ লেখা থেকে মডেল ভাষার ধরন শেখে। দ্বিতীয় ধাপ post-training: মানুষের দেওয়া উদাহরণ আর মূল্যায়ন দিয়ে মডেলকে সহায়ক, নিরাপদ আর প্রশ্নের উত্তর দেওয়ার মতো করে তোলা হয়।

LLM আর ChatGPT কীভাবে কাজ করে: মেসেজের বুদবুদ, আতশ কাচ আর কম্পিউটার চিপ, কাগজ কেটে বানানো ছবি

OpenAI তাদের Help Center এ লিখেছে, তারা তিন ধরনের তথ্য থেকে মডেল বানায়: ইন্টারনেটে প্রকাশ্যে থাকা তথ্য, পার্টনারশিপের মাধ্যমে পাওয়া তথ্য, আর ব্যবহারকারী, মানুষ ট্রেইনার ও গবেষকদের দেওয়া তথ্য (OpenAI Help Center)। অন্য কোম্পানিগুলোর পদ্ধতি একই রকম ধাঁচের, তবে খুঁটিনাটি আলাদা।

জরুরি কথা হলো, মডেল বই মুখস্থ করে রাখে না। সে শেখে কোন শব্দের পর কোন শব্দ, কোন প্রশ্নের পর কেমন উত্তর মানানসই। এই কারণেই সে নতুন বাক্য বানাতে পারে, আবার এই কারণেই ভুলও করে।

একই প্রশ্ন দুবার করলে উত্তর হুবহু এক হয় না কেন, সেটাও এখান থেকে বোঝা যায়। প্রতিটা ধাপে মডেল সবসময় সবচেয়ে সম্ভাব্য টুকরাটাই বাছে না, কিছুটা বৈচিত্র্য রাখে, যাতে লেখা যান্ত্রিক না শোনায়। ফলে মূল কথা একই থাকলেও শব্দ আর সাজানো বদলায়। কাজের জন্য এটা সুবিধা: একটা উত্তর পছন্দ না হলে আবার চাইলে নতুন সংস্করণ পাবেন।

আরেকটা সীমা হলো প্রসঙ্গের জানালা বা context window। মডেল একবারে নির্দিষ্ট পরিমাণ টোকেন পর্যন্ত দেখতে পারে। খুব লম্বা চ্যাটে বা বিশাল ফাইলে শুরুর দিকের কথা তাই মাঝে মাঝে বাদ পড়ে যায়। নতুন বিষয়ে কাজ শুরু করলে নতুন চ্যাট খোলা এই কারণেই ভালো অভ্যাস।

LLM ভুল তথ্য দেয় কেন?

কারণ LLM এর কাজ "সত্য খোঁজা" না, "মানানসই লেখা তৈরি করা"। যে প্রশ্নের উত্তর ট্রেনিংয়ে কম ছিল বা একদম নতুন, সেখানেও সে বিশ্বাসযোগ্য শোনায় এমন একটা উত্তর বানিয়ে ফেলতে পারে। একে বলে hallucination।

আরেকটা কারণ সময়। মডেলের ট্রেনিংয়ের একটা শেষ তারিখ থাকে। তার পরের খবর, দাম বা নিয়ম সে নিজে জানে না, যদি না অ্যাপটা ওয়েব সার্চ করে আনে। তাই দাম, ফি, আইন বা খবরের প্রশ্নে উত্তর সবসময় অফিশিয়াল পাতায় মিলিয়ে নিন।

টাকা, স্বাস্থ্য, আইন বা পরীক্ষার প্রশ্নে AI এর উত্তর শেষ কথা না। উৎস চেয়ে নিন আর নিজে খুলে দেখুন। যাচাইয়ের সহজ পদ্ধতি আছে AI ভুল তথ্য দেয় কেন, যাচাই করার নিয়ম লেখায়।

LLM কীভাবে কাজ করে জানলে প্রম্পট কেন ভালো হয়?

কারণ উত্তরটা পুরোপুরি নির্ভর করে আপনি কী প্রসঙ্গ দিচ্ছেন তার ওপর। প্রম্পট ছোট আর অস্পষ্ট হলে মডেল সবচেয়ে সাধারণ, গড়পড়তা উত্তরটাই অনুমান করে। প্রসঙ্গ বাড়ালে অনুমান আপনার দিকে সরে আসে।

এই একটা বোঝা থেকেই প্রম্পট ইঞ্জিনিয়ারিংয়ের সব কৌশল আসে:

  • প্রসঙ্গ দিন: কে পড়বে, কেন দরকার, কোন পরিস্থিতি। মডেল যত জানবে, অনুমান তত নির্দিষ্ট হবে।
  • উদাহরণ দিন: যেমন উত্তর চান তেমন একটা নমুনা দিলে মডেল সেই ধরন অনুসরণ করে। একে বলে few-shot।
  • ফরম্যাট বলুন: টেবিল, ৫টা পয়েন্ট, ১৫০ শব্দ। এতে উত্তর কাজে লাগানোর মতো হয়।
  • ধাপে ভাবতে দিন: হিসাব বা যুক্তির কাজে ধাপে ধাপে ভাবতে বললে পুরোনো ধাঁচের মডেলে ভুল কমে।

বাংলায় লিখবেন নাকি ইংরেজিতে, সেটাও এই প্রসঙ্গের অংশ। এ নিয়ে আলাদা পরীক্ষা আছে বাংলায় প্রম্পট লিখলে কি ভালো উত্তর আসে লেখায়।

LLM, চ্যাটবট আর AI এজেন্টের পার্থক্য কী?

LLM হলো মস্তিষ্ক, চ্যাটবট হলো কথা বলার জানালা, আর এজেন্ট হলো এমন ব্যবস্থা যেখানে LLM নিজে টুল চালিয়ে কয়েক ধাপের কাজ শেষ করে। যেমন ইমেইল পড়ে শিটে লিখে রাখা, বা ওয়েবসাইট খুলে তথ্য তুলে আনা।

তিনটার ভিত্তি একই: পরের টোকেন অনুমান। পার্থক্য হলো চারপাশে কী কী সুবিধা যোগ করা হয়েছে। এজেন্ট নিয়ে বিস্তারিত পাবেন AI এজেন্ট কী, চ্যাটবট আর এজেন্টের পার্থক্য লেখায়।

নতুনদের জন্য পরের ধাপ কী?

LLM কী বোঝার পর সবচেয়ে কাজের দক্ষতা হলো ভালো প্রম্পট লেখা। একই ChatGPT দুজন মানুষের হাতে একদম আলাদা মানের উত্তর দেয়, পার্থক্যটা প্রম্পটে।

শুরু করার সহজ উপায়: আজকের একটা আসল কাজ নিন, যেমন একটা দরখাস্ত বা ফেসবুক পোস্ট। প্রথমে এক লাইনে চান, তারপর একই কাজ প্রসঙ্গ, উদাহরণ আর ফরম্যাটসহ চান। দুটো উত্তর পাশাপাশি রাখলেই বুঝবেন প্রম্পট কেন দরকার।

আমাদের AI শুরু ও Prompt Engineering কোর্সের শুরুতেই LLM কী সেটা উদাহরণ দিয়ে দেখানো হয়, তারপর একে একে প্রম্পটের ফ্রেমওয়ার্কগুলো আসে।

তথ্যসূত্র: Google ML Crash Course: LLMs; OpenAI Help Center: What are tokens; OpenAI Help Center: How ChatGPT and our foundation models are developed. সর্বশেষ যাচাই: ১৪ অক্টোবর ২০২৬।

বাংলায় লিখলে কি বেশি টোকেন লাগে?

সাধারণত লাগে। একই কথা ইংরেজিতে যত টোকেনে হয়, বাংলার মতো অনেক ভাষায় তার চেয়ে বেশি টোকেনে ভাঙে, কারণ টোকেনাইজার বানানোর সময় ইংরেজি লেখা অনেক বেশি থাকে।

Oxford এর গবেষক Aleksandar Petrov ও সহকর্মীরা দেখিয়েছেন, একই লেখা ভাষাভেদে ১৫ গুণ পর্যন্ত বেশি টোকেনে ভাঙতে পারে (NeurIPS ২০২৩)। কোন মডেলে বাংলায় ঠিক কত লাগে, সেটা মডেলভেদে আলাদা। OpenAI এর Tokenizer পাতায় একই বাক্য বাংলা আর ইংরেজিতে দিয়ে নিজেই তুলনা করে দেখতে পারেন।

সহজ একটা পরীক্ষা করুন: "আমি প্রতিদিন সকালে চা খাই" আর "I drink tea every morning" দুটো Tokenizer পাতায় দিয়ে টোকেনের সংখ্যা মেলান। বাংলায় সংখ্যা বেশি এলে বুঝবেন, একই চ্যাটে বাংলায় কথা বললে জায়গা তাড়াতাড়ি ফুরায়।

এর মানে আপনার জন্য কী করবেন
লম্বা বাংলা চ্যাটে context window তাড়াতাড়ি ভরে বড় কাজ ভাগ করুন, নতুন চ্যাটে আগের কাজের ছোট সারাংশ দিয়ে শুরু করুন
API দিয়ে অ্যাপ বা চ্যাটবট বানালে খরচ হয় টোকেন ধরে বাংলা লেখার খরচ আলাদা করে হিসাব করুন, ইংরেজির হিসাবে ধরবেন না
নির্দেশ কোন ভাষায় দেবেন, সেটা নিয়ে দ্বিধা যে ভাষায় স্বচ্ছন্দ সেটায় লিখুন, ফলের পার্থক্য নিজে পরীক্ষা করুন

বাংলা আর ইংরেজি প্রম্পটে ফল কতটা বদলায়, পাশাপাশি পরীক্ষা আছে বাংলায় প্রম্পট লেখা নিয়ে আলাদা লেখায়।

ওপেন মডেল কী, নিজের কম্পিউটারে কি LLM চালানো যায়?

যায়, তবে ছোট মডেল আর ভালো কম্পিউটার লাগে। ওপেন ওয়েট মডেল মানে কোম্পানি মডেলের ফাইল প্রকাশ করেছে, যেটা নামিয়ে নিজের যন্ত্রে বা সার্ভারে চালানো যায়।

ধরন উদাহরণ কোথায় চলে
বন্ধ মডেল ChatGPT, Gemini অ্যাপ আর Claude অ্যাপের মূল মডেল শুধু কোম্পানির অ্যাপ বা API তে
ওপেন ওয়েট মডেল Meta এর Llama, Google এর Gemma, Mistral, Alibaba এর Qwen নিজের কম্পিউটার বা ভাড়া করা সার্ভারে

সাধারণ ল্যাপটপে ছোট ওপেন মডেল চলে, কিন্তু উত্তর ধীর আর মান বড় মডেলের চেয়ে কম। বাংলায় এদের দক্ষতাও মডেলভেদে অনেক আলাদা, তাই নতুনদের জন্য অ্যাপের ফ্রি প্ল্যানই ভালো শুরু।

ওপেন মডেলের আসল সুবিধা গোপনীয়তা: নিজের যন্ত্রে চালালে ডেটা বাইরে যায় না। অফিসের সংবেদনশীল ফাইল নিয়ে কাজ হলে এটা ভাবার বিষয়। মডেলকে দিয়ে নিজে থেকে কাজ করানোর পরের ধাপ বুঝতে পড়ুন AI এজেন্ট কী।

নতুন তথ্যসূত্র: Petrov ও সহকর্মী, Language Model Tokenizers Introduce Unfairness Between Languages, NeurIPS ২০২৩; OpenAI Tokenizer; OpenAI Help: Data Controls FAQ. সর্বশেষ যাচাই: ২ নভেম্বর ২০২৬।

সচরাচর যা জিজ্ঞেস করা হয়

LLM এর পূর্ণরূপ কী?
LLM এর পূর্ণরূপ Large Language Model। এটা এমন একটা AI মডেল যেটা বিপুল পরিমাণ লেখা থেকে ভাষার ধরন শিখে পরের লেখা কী হবে তা অনুমান করে নতুন লেখা তৈরি করে।
ChatGPT কি ইন্টারনেট থেকে উত্তর খুঁজে আনে?
মূল মডেল ট্রেনিংয়ে শেখা ধরন থেকে উত্তর লেখে, খুঁজে আনে না। তবে ChatGPT অ্যাপে ওয়েব সার্চ চালু থাকলে প্রশ্নভেদে ইন্টারনেট থেকে তথ্য এনে উত্তরে যোগ করতে পারে, তখন সাধারণত উৎসের লিংকও দেখায়।
LLM এর উদাহরণ কী কী?
OpenAI এর GPT মডেল পরিবার, Google এর Gemini, Anthropic এর Claude, আর Meta এর Llama পরিচিত উদাহরণ। ChatGPT, Gemini অ্যাপ আর Claude অ্যাপ এসব মডেলের ওপর বানানো চ্যাট প্রোডাক্ট।
টোকেন কী, এটা জেনে আমার লাভ কী?
টোকেন হলো লেখার ছোট টুকরা, যেটা মডেল পড়ে আর লেখে। ফ্রি প্ল্যানের সীমা, লম্বা ফাইলের সীমা আর API খরচ টোকেনে হিসাব হয়, তাই এটা জানলে বুঝবেন কেন খুব লম্বা চ্যাটে মডেল আগের কথা ভুলে যায়।
একই প্রশ্নে ChatGPT প্রতিবার আলাদা উত্তর দেয় কেন?
কারণ মডেল প্রতিটা ধাপে সবসময় সবচেয়ে সম্ভাব্য শব্দটাই বাছে না, কিছুটা বৈচিত্র্য রাখে। তাই মূল কথা কাছাকাছি থাকলেও ভাষা আর সাজানো বদলায়। পছন্দ না হলে আবার চেয়ে নতুন সংস্করণ নিতে পারেন।
AI কি নিজে চিন্তা করে বা বোঝে?
LLM মানুষের মতো অভিজ্ঞতা থেকে বোঝে না, লেখার নকশা থেকে অনুমান করে। তবে সেই অনুমান এত ভালো যে অনেক কাজে বোঝার মতো ফল দেয়। তাই কাজে লাগান, কিন্তু জরুরি তথ্য নিজে যাচাই করুন।
ChatGPT কি আমার চ্যাট থেকে নতুন করে শেখে?
চলতি কথোপকথনের ভেতরে আগের কথা মাথায় রাখে, কিন্তু মডেল তখনই বদলায় না। তবে Settings এর Data Controls এ Improve the model for everyone চালু থাকলে আপনার চ্যাট পরের মডেল উন্নয়নে ব্যবহার হতে পারে। না চাইলে এটা বন্ধ রাখুন।
ওপেন সোর্স LLM কি ফ্রি?
অনেক ওপেন ওয়েট মডেল নামানো ফ্রি, তবে প্রতিটার নিজস্ব লাইসেন্স আছে, ব্যবসায় ব্যবহারের আগে পড়ে নিন। চালাতে শক্তিশালী কম্পিউটার বা ভাড়া করা সার্ভার লাগে, সেই খরচ আলাদা। সাধারণ কাজে অ্যাপের ফ্রি প্ল্যান বেশি সহজ।

AI থেকে ঠিক উত্তর বের করা শিখতে চাইলে

AI শুরু ও Prompt Engineering কোর্সে ChatGPT, Gemini আর Claude এর জন্য প্রম্পট লেখা একদম শুরু থেকে বাংলায় শেখানো হয়।

প্রম্পট ইঞ্জিনিয়ারিং কোর্সটা দেখুন

ChatGPT মাস্টারক্লাস বইয়ের কভার
এই লেখার পরের ধাপ, ফ্রি বাংলা বই

ChatGPT মাস্টারক্লাস

নিজের কাজ চেনে এমন একটা ChatGPT সেটআপ, রিপিট কাজের ওয়ার্কফ্লো, আর কোথায় ভরসা করবেন না তার পরিষ্কার ধারণা।

বইটা ফ্রি নিন

অন্য কাজের বই খুঁজছেন? পুরো লাইব্রেরি, ১৩টা বই

বিষয়
নাসির উদ্দিন শামীম
লেখক

নাসির উদ্দিন শামীম

ঢাকা থেকে বলছি। ইন্টারনেট মার্কেটিং করি, আর নতুন কোনো এআই টুল বের হলেই সেটা ধরে দেখি কাজে লাগে কি না। যেটা সত্যিই কাজের, সেটা নিয়ে ফেসবুক আর ইউটিউবে কথা বলি। এখানে সেই জিনিসগুলোই গুছিয়ে শেখানোর চেষ্টা করি, যাতে আপনি নিজেও কাজে লাগাতে পারেন।

পরের ধাপ

বিষয়টা বুঝেছেন, এবার হাতে কলমে শিখে কাজ শুরু করুন।

৩০ সেকেন্ডের কুইজ বলে দেবে আপনার অবস্থায় কোন কোর্সটা লাগবে।

Nasir Uddin Shamim

Nasir Uddin Shamim

সাধারণত কয়েক ঘণ্টার মধ্যে উত্তর দিই, সর্বোচ্চ ২৪ ঘণ্টা।

এখন অফলাইনে আছি। মেসেজ রেখে যান, কয়েক ঘণ্টার মধ্যে উত্তর দেব, সর্বোচ্চ ২৪ ঘণ্টা।

Nasir Uddin Shamim
আসসালামু আলাইকুম 👋
আমি নাসির উদ্দিন শামীম। কীভাবে সাহায্য করতে পারি?