LSTMs একটি অনন্য সংযোজন গ্রেডিয়েন্ট কাঠামো ব্যবহার করে সমস্যার সমাধান করে যার মধ্যে রয়েছে ভুলে গেটের সক্রিয়করণে সরাসরি অ্যাক্সেস, ঘন ঘন গেট আপডেট ব্যবহার করে ত্রুটি গ্রেডিয়েন্ট থেকে পছন্দসই আচরণকে উত্সাহিত করতে নেটওয়ার্ককে সক্ষম করে শেখার প্রক্রিয়ার প্রতিটি ধাপে।
এলএসটিএম কীভাবে বিস্ফোরিত গ্রেডিয়েন্ট সমাধান করে?
একটি খুব সংক্ষিপ্ত উত্তর: LSTM কোষের অবস্থা (সাধারণত c দ্বারা চিহ্নিত করা হয়) এবং লুকানো স্তর/আউটপুট (সাধারণত h দ্বারা চিহ্নিত করা হয়), এবং শুধুমাত্র c তে সংযোজন আপডেট করে, যা c এর স্মৃতিকে আরও স্থিতিশীল করে তোলে। এভাবে c এর মধ্য দিয়ে প্রবাহিত গ্রেডিয়েন্টটি রাখা হয় এবং অদৃশ্য হওয়া কঠিন (অতএব সামগ্রিক গ্রেডিয়েন্টটি অদৃশ্য হওয়া কঠিন)।
কীভাবে অদৃশ্য গ্রেডিয়েন্ট সমস্যা সমাধান করা যায়?
সমাধান: সবচেয়ে সহজ সমাধান হল অন্যান্য অ্যাক্টিভেশন ফাংশন ব্যবহার করা, যেমন ReLU, যা একটি ছোট ডেরিভেটিভ সৃষ্টি করে না। অবশিষ্ট নেটওয়ার্কগুলি হল আরেকটি সমাধান, কারণ তারা সরাসরি পূর্বের স্তরগুলিতে অবশিষ্ট সংযোগ প্রদান করে৷
LSTM কোন সমস্যা সমাধান করে?
LSTM LSTM (দীর্ঘ স্বল্পমেয়াদী মেমরির জন্য সংক্ষিপ্ত) প্রাথমিকভাবে ব্যাকপ্রোপাগেশনের অদৃশ্য গ্রেডিয়েন্ট সমস্যা সমাধান করে। LSTMs একটি গেটিং প্রক্রিয়া ব্যবহার করে যা মেমোইজিং প্রক্রিয়া নিয়ন্ত্রণ করে। এলএসটিএম-এ তথ্যগুলি খোলা এবং বন্ধ হওয়া গেটের মাধ্যমে সংরক্ষণ, লেখা বা পড়া যেতে পারে৷
এলএসটিএম কেন আপনার গ্রেডিয়েন্টগুলি পিছনের পাস থেকে একটি দৃশ্য অদৃশ্য হওয়া থেকে আটকায়?
এর কারণ হল, এই ধ্রুবক ত্রুটি প্রবাহকে কার্যকর করার জন্য, গ্রেডিয়েন্ট গণনাটি কেটে ফেলা হয়েছিল যাতে ইনপুট বা প্রার্থীর গেটগুলিতে ফিরে না আসে।
