mahsa hosseini

در این مقاله درباره یکی از مهم‌ترین بخش‌های Gradient Descent یعنی Learning Rate صحبت می‌کنم؛ مقداری که اگر درست انتخاب نشود، می‌تواند باعث شود مدل خیلی کند یاد بگیرد یا حتی از نقطه بهینه عبور کرده و واگرا شود. توضیح داده‌ام که چطور با بررسی Cost Function و رسم Learning Curve می‌توانیم متوجه شویم الگوریتم به‌درستی همگرا می‌شود یا نه. همچنین به یک روش ساده برای تشخیص مشکل بین کد و Learning Rate اشاره کرده‌ام و در نهایت چند مقدار مختلف را برای پیدا کردن Learning Rate مناسب مقایسه کرده‌ام.