README.md

স্কিপ-গ্রাম মডেল প্রশিক্ষণ

AI for Beginners Curriculum থেকে ল্যাব অ্যাসাইনমেন্ট।

কাজ

এই ল্যাবে আপনাকে চ্যালেঞ্জ করা হচ্ছে স্কিপ-গ্রাম পদ্ধতি ব্যবহার করে Word2Vec মডেল প্রশিক্ষণ দিতে। $N$-টোকেন-প্রশস্ত স্কিপ-গ্রাম উইন্ডোতে প্রতিবেশী শব্দগুলি পূর্বাভাস করার জন্য এমবেডিং সহ একটি নেটওয়ার্ক প্রশিক্ষণ দিন। আপনি এই পাঠের কোড ব্যবহার করতে পারেন এবং এটিকে সামান্য পরিবর্তন করতে পারেন।

ডেটাসেট

আপনি যেকোনো বই ব্যবহার করতে পারেন। Project Gutenberg এ অনেক বিনামূল্যের টেক্সট পাওয়া যায়। উদাহরণস্বরূপ, এখানে লুইস ক্যারলের Alice's Adventures in Wonderland এর একটি সরাসরি লিঙ্ক রয়েছে। অথবা, আপনি শেক্সপিয়ারের নাটকগুলি ব্যবহার করতে পারেন, যা আপনি নিম্নলিখিত কোড ব্যবহার করে পেতে পারেন:

path_to_file = tf.keras.utils.get_file(
   'shakespeare.txt', 
   'https://storage.googleapis.com/download.tensorflow.org/data/shakespeare.txt')
text = open(path_to_file, 'rb').read().decode(encoding='utf-8')

অনুসন্ধান করুন!

যদি আপনার সময় থাকে এবং বিষয়টি আরও গভীরভাবে অন্বেষণ করতে চান, তবে কয়েকটি বিষয় পরীক্ষা করে দেখুন:

• এমবেডিং সাইজ কীভাবে ফলাফলের উপর প্রভাব ফেলে?
• বিভিন্ন টেক্সট স্টাইল কীভাবে ফলাফলের উপর প্রভাব ফেলে?
• খুব ভিন্ন ধরনের শব্দ এবং তাদের সমার্থক শব্দগুলি নিন, তাদের ভেক্টর উপস্থাপনাগুলি সংগ্রহ করুন, মাত্রা কমানোর জন্য PCA প্রয়োগ করুন এবং সেগুলিকে 2D স্পেসে প্লট করুন। আপনি কি কোনো প্যাটার্ন দেখতে পাচ্ছেন?

অস্বীকৃতি:
এই নথিটি AI অনুবাদ পরিষেবা Co-op Translator ব্যবহার করে অনুবাদ করা হয়েছে। আমরা যথাসাধ্য সঠিকতা নিশ্চিত করার চেষ্টা করি, তবে অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল ভাষায় থাকা নথিটিকে প্রামাণিক উৎস হিসেবে বিবেচনা করা উচিত। গুরুত্বপূর্ণ তথ্যের জন্য, পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদ ব্যবহারের ফলে কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যা হলে আমরা দায়বদ্ধ থাকব না।