بلاگ طوری

طبقه بندی موضوعی

مرور دانسته ها در مورد transfer-learning به زبان ساده

دوشنبه, ۶ ارديبهشت ۱۴۰۰، ۰۳:۱۴ ب.ظ

خیلی سریع و بی مقدمه بعد از مدتها 

میخوام یه سری مفاهیم رو دوره و ثبت کنم که گپهاش رو متوجه بشم و بتونم ارتباطاشون رو در ذهنم سامان بدم. 
تو حوزه NLP (Natrual language proceesing) و CV (computer vision) از مدلهای pre-train شده استفاده می‌شد، چون train روی دیتاست بزرگ منابع پردازشی و قوی و زیاد نیاز دارد در حالی که در این روش یکبار با استفاده از منابع قوی مدل آموزش داده میشه و بعد مدل ذخیره میشه و میشه برای کارهای دیگه استفاده کرد. 

بعد متد دیگری در Machine learning مطرح شد به اسم Transfer Learning که در این روش این مدل پیش آموزش داده شده رو برای یک تسک دیگر استفاده میکنند و دیدن این خیلی جوابهای خوبی میده، یعنی شما یک مدل کلی روی مجموعه بزرگی داده آموزش میدید (train) بعد اینجوریه که ماشین دانش عمومی زبان طبیعی رو بدست می آورد به این وسیله و وقتی قصد دارید برای یک تسک خاص مثلا POS یا NER از اون استفاده کنید نتایج بهتری میده چون مدل دانش زبان طبیعی رو داره و زمان و منابع کمتری هم برای پردازش نیاز دارد. پردازش اولیه که منابع و زمان زیاد داره معمولا توسط تیمهای تحقیقاتی انجام میشه و نتایج و مدلشون رو انتشار میدهند

  • بهنام حیدری

BERT

NLP

pre-train model

thesis

transfer learning

نظرات (۰)

هیچ نظری هنوز ثبت نشده است
ارسال نظر آزاد است، اما اگر قبلا در بیان ثبت نام کرده اید می توانید ابتدا وارد شوید.
شما میتوانید از این تگهای html استفاده کنید:
<b> یا <strong>، <em> یا <i>، <u>، <strike> یا <s>، <sup>، <sub>، <blockquote>، <code>، <pre>، <hr>، <br>، <p>، <a href="" title="">، <span style="">، <div align="">
تجدید کد امنیتی