একটি ম্যাপার বা মানচিত্রের কাজের আউটপুট (কী-মান জোড়া) রিডুসারে ইনপুট হয় রিডুসার একাধিক মানচিত্রের কাজ থেকে মূল-মান জোড়া গ্রহণ করে। তারপর, রিডিউসার সেই মধ্যবর্তী ডেটা টিপলগুলিকে (ইন্টারমিডিয়েট কী-ভ্যালু পেয়ার) টিপল বা কী-মানের জোড়ার একটি ছোট সেটে একত্রিত করে যা চূড়ান্ত আউটপুট৷
ম্যাপার এবং হ্রাসকারীরা কী করে?
Hadoop ম্যাপার হল একটি ফাংশন বা টাস্ক যা একটি ফাইল থেকে সমস্ত ইনপুট রেকর্ড প্রসেস করতে এবং আউটপুট জেনারেট করতে ব্যবহৃত হয় যা Reducer এর জন্য ইনপুট হিসাবে কাজ করে এটি নতুন রিটার্ন করে আউটপুট তৈরি করে। কী-মান জোড়া। … একটি মূল-মান পেয়ার হিসাবে ইনপুট রেকর্ডগুলি প্রক্রিয়া করার সময় ম্যাপার কিছু ছোট ডেটা ব্লকও তৈরি করে৷
ম্যাপার এবং রিডিউসারের মধ্যে পার্থক্য কী?
ম্যাপার এবং রিডুসারের মধ্যে প্রধান পার্থক্য কী? ম্যাপার টাস্ক হল প্রসেসিংয়ের প্রথম ধাপ যা প্রতিটি ইনপুট রেকর্ড (রেকর্ডরিডার থেকে) প্রসেস করে এবং একটি মধ্যবর্তী কী-মান জোড়া তৈরি করে। প্রতিটি কী/মান তালিকা জোড়ার জন্য আলাদাভাবে হ্রাস পদ্ধতি বলা হয়৷
আপনি কিভাবে ম্যাপার এবং রিডিউসারের সংখ্যা গণনা করবেন?
এটা নির্ভর করে প্রতিটি স্লেভে আপনার কতগুলি কোর এবং কতটা মেমরি আছে তার উপর। সাধারণত, একজন ম্যাপারের 1 থেকে 1.5 কোর প্রসেসর পাওয়া উচিত সুতরাং আপনার যদি হ্যাডুপ ক্লাস্টারে 100টি ডেটা নোড থাকে তবে কেউ একটি ক্লাস্টারে 1000টি ম্যাপার চালাতে পারে৷
ম্যাপার ফাংশন কিভাবে কাজ করে?
ম্যাপার একটি ফাংশন যা ইনপুট ডেটা প্রক্রিয়া করে ম্যাপার ডেটা প্রক্রিয়া করে এবং ডেটার কয়েকটি ছোট অংশ তৈরি করে। ম্যাপার ফাংশনে ইনপুট (কী, মান) জোড়া আকারে, যদিও একটি MapReduce প্রোগ্রামে ইনপুট একটি ফাইল বা ডিরেক্টরি (যা HDFS-এ সংরক্ষিত)।
