parsBERT for Q&A
zahra606 opened this issue · comments
سلام
ضمن تشکر از شما
. یک سیستم پرسش و پاسخ را پیاده سازی کنم. parsBERTمن میخواستم با استفاده از مدل
داده های من فارسی هستند و شامل یک سری سؤال و جواب هستند.
آیا میتونم از این مدل استفاده کنم ؟ کدوم مدل مناسب هست؟ و اگر میشه اینکار رو کرد چطوری باید انجام بدم؟
سوال دوم این هست که برای داده بدون لیبل هم این مدل میتونه استفاده بشه؟مثلا اگر بخوام خوشه بندی انجام بدم.
ممنون میشم پاسخ بدید.
@zahra606
سلام
در خصوص پرسش اول شما:
قبل از هر قدمی، آیا دیتاست شما حاوی ترکیب کانتکست + پرسش - پاسخ هست؟
در رابطه با پرسش دوم شما:
بله، میتونید از مدل به عنوان استخراج کننده ویژگی استفاده کنید و سپس با استفاده از الگوریتمهای مخصوص خوشه بندیی، این ویژگیهای استخراج شده رو خوشه بندی کنید.
دیتاست من در قالب اکسل هست که در یک ستون اون پرسشها و در ستون دیگه پاسخها هستند.
بعید میدونم به مدل مطلوبی برسید! قبل از هرکاری و آموزشی خودتونو در جایگاه تسک قرار بدید ببینید عملیات منطقی به نظر میرسه یا نه؟
با این نمونه شروع کنید! آیا من میتونم با داشتن فقط پرسش و پاسخ بدون داشتن کانتکست به پرسشهای غیر(پرسشهای ندیده)، پاسخ بدهم یا نه؟
چون نمونه کارهایی دیده بودم با برت کار شده بود... منظور از کانتکست چیه؟ داده باید چطور کانتکستی داشته باشه؟چون پرسش و پاسخها توی داده من فقط در یه زمینه هستند. تعدادشون هم زیاد هست . یعنی میشه از یادگیری عمیق هم برای آموزش استفاده کرد.با توجه به این شرایط باز هم نتیجه نخواهم گرفت؟
یک نمونه ساختار برای پرسش و پاسخ به اینصورت باید باشه تا به مدل مطلوب ختم بشه
کانتکست:
اولین آزمایش واقعی در زمینهٔ آشوب را یک هواشناس به نام ادوارد لورنتس انجام داد. در سال ۱۹۶۰، وی روی یک مسئلهٔ پیش‌بینی وضع هوا کار می‌کرد؛ و روی کامپیوترش ۱۲ معادله برای پیش‌بینی وضع هوا در نظر گرفته بود. این معادله‌ها وضعِ هوا را پیش‌بینی نمی‌کرد، ولی این برنامهٔ کامپیوتری به‌طور نظری پیش‌بینی می‌کرد که هوا چگونه می‌تواند باشد.
پرسش:
اولین آزمایش آشوب در چه سالی رخ داد؟
پاسخ:
۱۹۶۰
در ضمن داشتن تعداد زیادی دیتا به معنای مدل مطلوب یادگیری عمیق نیست!
بله.ممنونم از توضیحات کاملتون
و عذر میخوام یه سوال دیگه برای من پیش آمد. ما اگر یک فایل شامل یک سری جمله و یه برداشت یا نتیجه از هر کدوم از جملات داشته باشیم میتونیم کل جملات را با هم بعنوان کانتکست در نظر بگیریم و با اون مدل را آموزش بدیم و حالا مدلمون با دریافت جملات جدید بتونه برداشتش رو از اون جمله به مابده؟
منظورتون رو متوجه نشدم با مثال توضیح بدید!
چشم
جمله:نوشابه باعث پوکی استخوان میشود پس باید از رژیم غذایی حذف شود.
برداشت: نوشابه پوکی استخوان می آورد
نتیجه : حفظ سلامتی
بعید میدونم این نوع مساله رو با ساختار Question/Answering بتونید حل کنید.
باید دنبال ساختار دیگه‌ای باشید البته من به شخصه ساختار مشابه این موضوع شما ندیدم.
از این جهت اینرو میگم که الان نتیجه شما اصلا در ساختار ورودی شما دیده نمیشه....
بله درست میفرمایید. نمیشه نتیجه را استخراج کرد. ولی به نظرتون برداشتی که از جمله میشه رو هم نمیشه بدست آورد؟
چون جملات با برداشتها تقریبا شباهتهایی دارند.
عذرخواهی میکنم که زیاد سوال میپرسم....
شرمنده در این مورد ایده‌ای ندارم.