Parquet ফাইল হল একটি hdfs ফাইল যাতে ফাইলটির মেটাডেটা অবশ্যই অন্তর্ভুক্ত করতে হবে। এটি কলামগুলিকে একাধিক ফাইলে বিভক্ত করার অনুমতি দেয়, সেইসাথে একটি একক মেটাডেটা ফাইল রেফারেন্স একাধিক parquet ফাইল রয়েছে৷ মেটাডেটা ফাইলের মধ্যে সংরক্ষিত ডেটার স্কিমা। অন্তর্ভুক্ত করে
আমি কিভাবে একটি parquet ফাইলের জন্য একটি স্কিমা তৈরি করব?
পর্কেট নমুনা ডেটার স্কিমা তৈরি করতে, নিম্নলিখিতগুলি করুন:
- Haddop/Hive বক্সে লগ ইন করুন।
- এটি stdout-এ নিম্নরূপ স্কিমা তৈরি করে: -------------- [~] parquet-tools schema abc.parquet. বার্তা হাইভ_স্কিমা { …
- এই স্কিমাটি একটি ফাইলে কপি করুন। কাঠবাদাম/. সমান এক্সটেনশন।
পর্কেট কি স্কিমা বিবর্তনকে সমর্থন করে?
স্কিমা মার্জিং
প্রটোকল বাফার, অভ্র এবং থ্রিফ্টের মতো, Parquet স্কিমা বিবর্তনকেও সমর্থন করে ব্যবহারকারীরা একটি সাধারণ স্কিমা দিয়ে শুরু করতে পারেন এবং ধীরে ধীরে আরও কলাম যুক্ত করতে পারেন প্রয়োজন অনুযায়ী স্কিমা। এইভাবে, ব্যবহারকারীরা বিভিন্ন কিন্তু পারস্পরিকভাবে সামঞ্জস্যপূর্ণ স্কিমা সহ একাধিক Parquet ফাইলের সাথে শেষ হতে পারে৷
পরকুয়েট ফাইলে কি ডেটা প্রকার আছে?
Parquet ফাইল ডেটা টাইপ ট্রান্সফর্মেশন ডাটা টাইপের মানচিত্র যা ডেটা ইন্টিগ্রেশন সার্ভিস প্ল্যাটফর্ম জুড়ে ডেটা সরানোর জন্য ব্যবহার করে। Parquet ফাইলটি পড়তে বা লেখার জন্য আপনি যে Parquet স্কিমা নির্দিষ্ট করেছেন তা অবশ্যই ছোট ক্ষেত্রে হতে হবে৷
parquet ফাইলের গঠন কি?
Parquet ফাইলগুলি সারি গোষ্ঠী, শিরোনাম এবং ফুটার দ্বারা গঠিত প্রতিটি সারি গ্রুপে একই কলাম থেকে ডেটা থাকে। প্রতিটি সারি গোষ্ঠীতে একই কলামগুলি একসাথে সংরক্ষণ করা হয়: এই কাঠামোটি দ্রুত ক্যোয়ারী কার্যক্ষমতার পাশাপাশি কম I/O (স্ক্যান করা ডেটার পরিমাণ কমিয়ে) উভয়ের জন্যই ভালভাবে অপ্টিমাইজ করা হয়েছে।
