مرور دانسته ها در مورد transfer-learning به زبان ساده

خیلی سریع و بی مقدمه بعد از مدتها 

میخوام یه سری مفاهیم رو دوره و ثبت کنم که گپهاش رو متوجه بشم و بتونم ارتباطاشون رو در ذهنم سامان بدم. 
تو حوزه NLP (Natrual language proceesing) و CV (computer vision) از مدلهای pre-train شده استفاده می‌شد، چون train روی دیتاست بزرگ منابع پردازشی و قوی و زیاد نیاز دارد در حالی که در این روش یکبار با استفاده از منابع قوی مدل آموزش داده میشه و بعد مدل ذخیره میشه و میشه برای کارهای دیگه استفاده کرد. 

بعد متد دیگری در Machine learning مطرح شد به اسم Transfer Learning که در این روش این مدل پیش آموزش داده شده رو برای یک تسک دیگر استفاده میکنند و دیدن این خیلی جوابهای خوبی میده، یعنی شما یک مدل کلی روی مجموعه بزرگی داده آموزش میدید (train) بعد اینجوریه که ماشین دانش عمومی زبان طبیعی رو بدست می آورد به این وسیله و وقتی قصد دارید برای یک تسک خاص مثلا POS یا NER از اون استفاده کنید نتایج بهتری میده چون مدل دانش زبان طبیعی رو داره و زمان و منابع کمتری هم برای پردازش نیاز دارد. پردازش اولیه که منابع و زمان زیاد داره معمولا توسط تیمهای تحقیقاتی انجام میشه و نتایج و مدلشون رو انتشار میدهند

پشتیبان از اکتیو دایرکتوری

سلام، در حال بررسی فرآیند بک آپ گیری از دامین کنترلر هستم نتایج را یادداشت میکنم.

منابع اولیه: منبع 1، منبع 2

از منبع 1: 

«You can schedule full server backups and critical-volume backups by using Windows Server Backup or Wbadmin.exe. You cannot schedule system state backups by using Wbadmin.exe, but you can create a task to run a system state backup by using Task Scheduler.»

امروز که ادامه میدهم این مطلب رو خلاصه بیان میکنم که Windows server Backup تقریبا تمام قابلیتهای مورد نیاز رو داره، بک آپ با برنامه زمانی، و Incremental و .... شاید تنها حالتیش که نامطلوبه اینکه اگر بزنید روی شبکه بک آپ بگیره که کاربردی هم هست، تنها یک نسخه آخر نگه داری میشود.

تنها اصطلاحی که اینجا دیدم تو حالت Advance، دوتا گزینه هست که خلاصه بیان میکنم فرقشون رو 

1- VSS full backup

2- VSS copy backup

گزینه اول (فونت عوض شد :دی) بک آپ افزایشی میگیره اصطلاحا ولی لاگ نرم افزارها رو پاک میکنه بعد از بک آپ ، که در نتیجه اگر از نرم افزاری غیر از ویندوز هم استفاده میکنید این گزینه رو نزنید زیرا هر سری بک آپ جدید میگیره، گزینه دوم هم فایلهای لاگ را نگه میداره، والسلام

شیرپوینت: کش توزیع شده

قبلا یکبار درگیر این بخش شیرپوینت شدم، یادم نیست چطور هندلش کردم و نتیجه چی شد ولی در حال حاضر تعدادی ارور ب محتوای زیر داریم که ظاهرا به ایشون مربوط میشه فلذا مجدد میخوانیم و بررسی میکنیم و یادداشت میکنیم برای آینده و آیندگان

اررور مربوط: 

The Execute method of job definition Microsoft.Office.Server.UserProfiles.LMTRepopulationJob threw an exception. More information is included below.  System.ServiceModel.ServerTooBusyException

اخطار در منبع 1: اگر دقیق از دستورات پیروی نکنید ممکن است که مجبور شید مجدد سرور فارم رو بسازید! لازم هست که از قبل AppFabric  نصب باشد. مورد دیگر اینکه AppFabric  رو از services تغییر ندید، برنامههایی هم که تحت پوشه مربوط در استارت هست رو اجرا نکنید.

چیزهایی که به کش توزیع شده وابسته هستند:

Newsfeeds-Authentication-OneNote client access-Security Trimming-Page load performanceThese

در مورد اندازه کش مطالب زیادی تو منبع 2 هست که بیشتر مربوط به پروژه های بزرگ میشه و به پروژه های ما مربوط نیست. پیش فرض 5-10 درصد رم هر سرور از خوشه کش رو بر میدارد.

کش و پیش نیازهاش باید روی تمام سرورهای فارم نصب بشوند که ظاهرا خود به خود می شوند. و میشه سرور هارو از خوشه کش در آورد یا اضافه کرد.

َشیرپونت: اتصال به پایگاه داده خارجی

مطلبی که چند روزی معطلم کرد ساخت ECT یا همون اتصال به پایگاه داده خارجی بود، مطلب اینکه من ID هامو tinyint گذاشته بودم که تو شیرپونت ظاهرا ساپورت نمیشه و حداقل تایپ برای ID، smallint هست

User profiles in SharePoint Server 2013

مطلب بعدی که به علت اررورهای فراوان شیرپونت باید بهش بپردازم رو سعی میکنم مستند کنم همینطور که دارم منابع زیر رو مطالعه میکنم (به ترتیب) مطالبی رو که فهمدیم خلاصه می‌نویسم.

خداوند مارو به خاطر نوشتن اینا در وقت کاری ببخشاید.

منبع اول و اصلی برای درک مفاهیم و جزئیات.

بصورت کلی user profile مقادیری properties  هست که کاربرهای یک موسسه رو توصیف می‌کنه و ارتباط و جایگاهشون رو در موسسه مشخص میکند، یعنی به این واسطه اطلاعات بیشتر و لازم رو در مورد کاربرها، رابطشون با هم، اتصالشون با منابع سازمان و سایتها و معاونتها، به هر کدام از کاربرهای دامین متصل میکنیم و میتونیم policy یا تنظیمات براش تعریف کنیم. این  موارد یک سری امکانات تعاملات شبکه اجتماعی اضافه به شیرپونت اضافه میکند.

این موارد در یک دیتابیس مجزا ذخیره می‌شود و کاری به AD یاحتی یوزرهای شیرپونت ندارد.

فاز طراحی در user profile به این مربوط میشود که تصمیم گیری کنیم چه property هایی از کجا آورده (AD, دیتابیس‌های سازمان، ....) شوند.

موارد دیگر:

- چه پراپرتیهایی در user profile نمایش داده شود.

- تنظیمات حریم خصوصی پراپرتی را کاربر بتواند تغییر دهد یا خیر

- چه کاربرهایی پراپرتی کاربر دیگر را ببینند (نقش محور) 

نکته: فقط پراپرتی‌هایی که توسط همه قابل دیدن هستند، قابل سرچ هستند.

مفاهیمی که متوجه نشدم : Replicable (فکر میکنم به این معناست که اگر فعال باشد در هر لیستی که این پراپرتی ذکر شده تغییرات اعمال می‌شود به شرطی که پراپرتی برای همه قابل دیدن باشه و کاربر حق تغییر نداشته باشد.)

برای اینکه از یک دیتابیس خارجی اطلاعات بیاریم نیاز به external content type است.
مطالعه بیشتر: لیست پراپرتی‌های ممکن، لیست پراپرتریهای پیشفرض

همچنین میشه از Managed metadata (مجموعه عبارات سلسله مراتبی متمرکز سازمان) هم استفاده کرد که بهش خواهیم پرداخت.

سایر مراجع:

Overview of profile synchronization in SharePoint Server 2013

Plan profile synchronization for SharePoint Server 2013

در قسمت طراحی ماکروسافت یک سری اکسل طراحی کرده که برای مستند کردن نتایچ طراحی در یک پروژه بزرگ مفید هست، اما من چون پروژه‌ام کوچیکه و فعلا بالا اومدن سایت مهمه از این موارد گذشتم  (لینک دانلود)

خوب تا اینجا توضیحات و مفاهیم را بررسی کردیم از این به بعد میریم سر کانفیگ،

منبع اصلی: Synchronize user and group profiles in SharePoint Server 2013

تأکید زیادی به بررسی permission ها شده است که مراحل افزودن دسترسی را در منبع زیر ببینید. 

منبع : Grant Active Directory Domain Services permissions for profile synchronization in SharePoint Server 2013

Exchange 2013 uninstall

متأسفانه هنوز به روش صحیح مستند کردن تجربیات مسلط نشدم لذا در این بخش تنها به چند لینک و دستوراتی که یادم مانده بسنده می‌کنم، ابتدا میل باکسهای موجود (یوزرها) رو غیرفعال کردم، اگر پاک کنید یوزر هم از اکتیو دایرکتوری پاک میشه!

انتقال mailbox های باقی مانده به سرور دوم. (میشه به جای انتقال درصورت تک سرور بودن غیرفعال کرد) (منبع)

New-MoveRequest -Identity '[e-mail]' -TargetDatabase "DB01"

میشه با اضافه کردن پراپرتی WhatIf- ابتدا صحت امکان اجرای دستور را بررسی کرد.

نکته: در powershell هنگامی که دستوری لیست برمیگرداند اگر یک سلول محتوای طولانی داشته باشد (مثال: میل باکس های سیستمی) بصورت ... نمایش داده می‌شود که اگر انتهای دستور عبارت زیر را وارد کنید بصورت کامل ستونهای ذکر شده نمایش داده می‌شود تو این دستور name ستونی است که میخواهیم مقادیر بصورت بسط یافته نمایش داده شوند. (منبع)

| Select-Object -ExpandProperty Name

نکته بی ربط: برای خروجی گرفتن بصورت متن از نتایج یک دستور powershell یا CMD انتهای دستور  عبارت زیر رو وارد کنید: (اگر یک > بگذارید فایل بازنویسی میشود و با دوتا >> خروجی انتهای فایل ضمیمه می‌شود.) (منبع)

>>C:\ouput.txt

خب دیگه سرورم اومد بالا باس برم، ادامه مطلب بصورت خلاصه عرض کنم که به ارروری که خود exchange setup در موقع unistall کردن میده خیلی دقت کنید. این لینک ها هم دستوراتی که لازم دارید رو نوشتند با مثال منبع1، منبع2، منبع3، منبع4 

Active Directory Backup

سیستم عامل : ویندوز 6.1 یا همان Windows server 2008 R2
سورس اصلی که باید لینکهای پایین صفحه را مطالعه کنید

موارد جدید در 6.1:

برنامه  Windows Server Backup باید بصورت Features اضافه شود 

خبر خوب اینکه در این مرحله متوجه شدم ادمین قبلی برای Backup برنامه زمانی ریخته و هر روز 2 صبح backup گرفته میشه فذا من ادامه ندادم فرآیند رو :دی

مزخرف‌ترین کارهای کامپیوتری

ضمن عرض سلام خدمت شنوگان یا به عبارت بهتر خوانندگان

خیلی خلاصه میخواستم عرض کنم که از مزخرف‌ترین کارهای کامپیوتری که بسیار هم لازم است ریکاوری کردن اطلاعات از دست رفته است، که معمولا هم بازدهی کمی دارد، یکی از حالات پیچیده از بین رفتن اطلاعات گوشی هست که چون حافظه داخلی محسوب میشه تقریبا برگشتنش بسیار دشواره

در یک نگاه یه برنامه به نام Dr.Fone وجود داره که برا گوشیای روت شده (و بعضیا که خودش موقتی روت میکنه) خیلی ساده جواب میده، که البته من نتونستم نسخه ی کرک خوبشو پیدا کنم ولی شما برای تست از نسخه 4.8.3 رو پیدا کنید کرک گروه mpt34m.net رو هم بزنید روش که به امید خدا جوابه کارو خیلی راحت میکنه، اگه نه که باید کل این فرآیند و خودتون انجام بدین که در این لینک میتونید مراحل را مشاهده کنید 

که این مراحلو یه دوستیم در این ویدیو انجام داده اگه تصویری دوست دارید.

 فعلا چون عجله دارم بیشتر بسط نمیدم

والسلام

----

بروز رسانی دوشنبه 10 آبان 94: الان که فکر میکنم عنوان خیلی خشنه، ولی در هر صورت بازتاب دهنده احساس زمان انجام اینکار است.