الجزء الثالث: training and testing

الجزء الثالث: training and testing

———————————————

فى الجزء الفات اتكلمنا عن معنى ال machine learning و وصلنا لتعريف ليها انه بمنتهى البساطة لو انا عايز ال machine تتعلم لوحدها فلازم اخليها تكتسب خبرة من خلال تحليل data ومعلومات زى ما بيحصل فى التفكير البشرى

اتقسمت ال machine learning لاكتر من نوع هنتعرف على واحد واحد فيهم و نتعلم ازاى بيقدر ال algorithm يلاقى علاقة بين ال input و ال output بس قبل كل ده لازم نتعرف اصلا على الاسس الى الكومبيتور بيعلم بيها نفسه ….يعنى من الاخر ازاى بيذاكر ال data دى قبل ما يمتحن فيها

زى ما احنا ديما بنعمل مع بعض هنعمل مثال ينطبق عليك انت شخصيا وانت بتتعلم و نشوف ازاى الكومبيتور ممكن يقلدك لان الكومبويتر هدفه الاساسى فى ال machine learning هو انه يحاول يفكر بشكل بشرى

مثال 3:

——–

تعالى نفرض مع بعض ان حضرتك عندك امتحان ايه البيحصل قبل الامتحان …اكيد سيادتك هتبدا تذاكر وعادتا المذاكرة دى بتكون بحفظ اسئلة (سؤال و جواب) زى كده (كراسة الاول ) الكنا بنذاكر منها واحنا صغيرين فى حد فكارها منكم ؟؟؟؟

كانت الكراسة دى متقسمة لسؤال و كاتبلك اجابته يعنى بمنتهى البساطة حضرتك بتشوف السؤال الهو ال (input) بالنسبة ليك و بعد كده بتحفظ (output) الهو الاجابة

فحضرتك بدات ” تتمرن” على حل الاسئلة (خود بالك من كلمة تتمرن دى وحياة ابوك) و انت بالفعل معاك اجابتها وكل ما تيجى تحل تتاكد من اجابتك ولو لقيتها صح بتدى نفسك درجة و لوقيتها غلط بتخصم درجة و بما ان الباشا دحيح و موس مذاكرة تفضل تعيد و تزيد فى التمرين و تحفظ فى الاجابات لحد ما تحصل على الدرجة التكون عجباك

خود بالك من حاجة انت لحد دلوقتى محلتش امتحان حقيقى انت بس بتتمرن و بتحفظ الاجابات و بتعلم نفسك ….يعنى بتكتسب “خبرة” (واخد بالك من كلمة خبرة دى 😉😉؟؟)

تعالى نفرض ان احد الاسئلة الانت كنت بتذاكرها فى مادة التاريخ مثلا كان

ما هو دور محمد على باشا فى بناء مصر؟ (ده السؤال يعنى ال input)

———————————————————————

اكيد حضرتك هتشوف الاجابة علشان تحفظها و تبقى موجودة فى مخك و الهى ممكن تكون

الاجابة(output):

—————–

-بنى مصر الحديثة

-اعاداة هيكلة و بناء جيش مصرى حديث

-قضى على المامليك والخ الخ الخ…..

و اسئلة كتير زيها حضرتك شوفت السؤال وحفظت الاجابة

بعد ما اتمرنت حضرتك بقيت واد جامد اوى فى التاريخ و بقى عندك خبرة كافية تخليك تقدر تدخل الامتحان وتقفل و انت حاطط رجل على رجل فقولت على البركة و دخلت امتحنت

و انت فى الامتحان لقيت سؤال بيقولك :

كيف نهض محمد على بمصر؟

——————————

طبعا اول حاجة حضرتك هتعملها هتبوس ايدك شعر ودقن 😁😁😁 لان ده واحد من الاسئلة الانت ذاكرتها و احتمال يكون السؤال الوحيد الانت تعرفه اصلا…بس استنى ثانية كده !!!….هو ده فعلا نفس السؤال؟!!!! فكر وجاوب

فكرت ؟؟!!!

لو فكرت صح اكيد اجابتك هتكون :

———————————

فى واقع الامر هو مش نفس السؤال بالظبط بس هو سؤال مشابه ليه و تقريبا ليه نفس المعنى ….هى دى اجابتك يا برنس صح؟!!!

فى واقع الامر انت مكنتش محتاج السؤال يكون بالنص شبه السؤال الانت ذاكرته لكن انت قدرت تستنتج الاجابة لان فى اعتقادك الشخصى ان لو تشابه السؤال ففى احتمال مش قليل يعنى ان تكون الاجابة هى هى صح؟!!!

خلصت امتحان و نجحت مبروك يا سيدى ….طيب ايه علاقة الكلام ده بال machine learning بقى؟!!!

فى واقع الامر هو نفس الشىء بالظبط بس اسمحلى اشرحلك من وجهة نظر ال machine learning بقى

احنا اتفقنا ان ال data الهقدمها لل machine بتكون فى هيئة FILE ممكن يكون EXCEL والمفروض ان ال FILE ده هو البيعبر عن ال MEMORY الخاصة بال machine و المفروض انى باستخدام ال machine learning algorithms احولها ل experience

الداتا دى عادتا بتكون متقسمة زى ما قولنا قبل كده لاسباب و نتيجة (input&output) بس احنا هنسميها features and labels

حيث ان features هى الخصائص المفروض تؤدى لحدوث نتيجة معينة الهى ال label يعنى بالظبط كده كأن ال features هى السؤال الانت بتحفظه و الاجابة هى ال label

طيب احنا اتفقنا انك هتبدا تذاكر و” تتمرن” بمذاكرة كل سؤال وتحفظ اجابته وده بالظبط الهيعمله الكوموبيوتر زيك تمام

احنا هنخلى الكومبيوتر ياخود تقريبا 80% من ال data و هنسميها training data وهى مجموعة من ال features ب ال labels بتاعتها زى بالظبط السؤال و الاجابة الانت كنت بتذاكرهم ( انك تتشوف السؤال وتحفظ اجابته ….واخد بالك انت يا كبير 😉😉؟؟)

ايه قصة ال TRAINING بقى ؟

——————————–

الكومبيوتر هيبدا يعمل زى ما انت بتعمل بالظبط يذاكر السؤال و الاجابة ومش كده بس هيبدا يحاول يلاقى علاقة بين كل الfeatures و ال label عشان الموضوع ميبقاش حفظ و خلاص لانه لو حفظ وخلاص مش هتقدر انت تجاوب على السؤال لو اتطرح عليك بصيغة مختلفة ولا هيقدر الكومبيتور انه يتنبا باجابة اى feature مختلقة ولو حتى اختلاف طفيف عن ال features الهو اتمرن عليها زى ما حضرتك بالظبط قدرت تلاقى علاقة بين السؤال الانت حفظته و انت بتتمرن و السؤال الانت لقيته فى الامتحان رغم اختلاف صيغة السؤال لكن قدرت تعرف انه نفس السؤال واحتما ل كبير يكون ليه نفس الاجابة لانك فهمت السؤال مش بس حفظته فقدرت بقدراتك التحليلية انك تعرف انه نفس السؤال لما يجيلك فى الامتحان (ازاى بيقدر ال machine learning algorithm بيعمل العملية التحليلية دى؟…ده هنعرفه المحاضرة القادمة)

طيب بعد ما الكومبيتور بيخلص training بياخود درجة على نتيجة ال training بيقيم بيها نفسه وهى ما يطلق عليها فى ال training accuracy

ال training accuracy دى هى :

————————- هى نسبة الاجابات الصحيحة القدر الكومبيتور يتنبا بيها اثناء ال training بالنسبة لمجموع كل الاجابات سواء الصح او الغلط و طبعا لو كله صح هيبقى 100% و ده طبعا قليل ما بيحصل بس عادتا لو النتيجة بتكون فوق 75% بتكون كويسة اوى و بكده الكومبيتور ذاكر و نتيجة مذاكرته 75% بس خود بالك يا باشا ان لسه لحد دلوقتى الكومبيتور ممتحنش ال 75% دى بس كانه بيقولك انه ذاكرت بنسبة 75 % او غطى 75% من المنهج المفروض يذاكره

طيب بعد ما خلص الكومبيتور التدريب اكيد هتقولى يدخل الامتحان ويتفحت بقى زى ما انت اتفحت و لا هو يعنى احسن منك؟!!!

طيب هسالك سؤال وطبعا انا واثق ان كل computer science و computer engineering عارفين اجابته لان الناس دى ياما شافت فى الامتحنات 😅😅

هو معنى انك ذاكرت بنسبة 75 % ده معناه انك فى الامتحان هتجيب 75%؟!!!

—————————————————————————–

طبعا اجابتك هتكون هااااا أأأأأو كان غيرك اشطر لان ممكن الى حد كبير يجيلك الامتحان فى ال 25% الانت مذاكرتهمش و تسقط و المشرحة مليانة بجثث المهندسين الماتو بحظهم النحس من الموضوع ده 😂😂😂😂

بس كمان ممكن حظك يكون حلو ويجيلك الامتحان فى ال 75% دول و تقفل الامتحان او على الاقل تجيب درجة اعلى من 75%

يعنى بمنتهى البساطة مش لازم علشان ال training حلو تبقى نتيجة ال testing حلوة و طلبة هندسة عارفين الكلام ده اكتر من اى حد 😆😆 ولا ايه يا رجالة ؟!!!!

يلا بينا بقى نخلى الكومبيتور يمتحن

ال testing :

————–

لو فاكرين انا قولتلكم اصلا اننا هنقسم ال data فى البداية ل 80 % استخدمهم ل training اما ال 20% الفاضلين من ال data انا هسيمهم testing data و ال testing data انا مستخدمتهاش خالص فى ال training يا الا هكون بغشش الكومبيتور وبقوله اتمرن على سؤال الامتحان بالنص و ده طبعا هيدينى نتائج كويسة بس مش مظبوطة

اكيد طبعا بيكون فى تشبه بين قيم ال features بين ال training و ال testing لان فى الاول او فى الاخر الاتنين بيتكلمو عن نفس ال task بس الاختلاف هنا بيكون جزئى علشان كده بفصل كل ال training data عن ال testing

يعنى بيكون نفس ال features فى testing هى هى فى ال training بس بقيم مختلفة

و كأنى بالظبط هدخل السؤال للكومبيتور بصيغة مختلفة زى ما حضرتك حصل معاك فى الامتحان و اشوف هل الكومبويتر هيقدر يحلل و يوصل للنتيجة رغم ان فى اختلاف فى قيم ال features و هل هيقدر يتنبا بقيم ال labels القريبة للحقيقة

بعد ما نخلص الامتحان بنحسب نتيجة الامتحان عن طريق ال accuracy زى ما عملنا مع ال training data

فبيكون عندنا testing accuracy :

————————————

وهى نسبة كل التنبؤات الصحيحة بالنسبة لعدد لمحموع كل التنبؤات سواء الصح او الغلط و طبعا نجاحك الحقيقى فى تصميم ال machine learning system هو فى انك تقدر تحقق قيمة testing accuracy عالية فى data انت متمرنتش عليها حرفيا فى ال training

و بكده يثبت الsystem قدرته على التعامل مع features متغيرة فى القيمة عن ال features الرئيسية الهو اتمرن عليها وهو ده السحر الاحنا اخترعنا ال machine learning علشانه وبكده الكومبيتور مبقاش نفس الكائن الغبى الكنت بتتعامل معاه قبل كده

يلا بينا بقى نقول الزتونة 😎:

—————————–

1- اول حاجة لازم نقسم ال data بتاعتنا ل training data وtesting data بمعدل 80 % تقريبا ل training و 20% ل testing

2-يبدا الكومبيتور يمرن نفسه على الtraining data ,يحاول يمعلها تحليل على قدر الامكان من خلال انه يحلل كل الfeatures و label بتاعتها

3- بعد ما الكومبيتور يخلص training بيتم حساب الtraining accuracy و هى البتحدد مدى استيعاب الكوموبيوتر ومذكارته ل ال training data

4- ال testing data وهى ان الكومبيتور بيبدا يشوف كل feature فى ال testing ويحاول يتنبا بال label بتاعتها من غير ما اكون عاطيله الاجابات على عكس البيحصل فى ال training البكون عاطيله الاجابات كلها علشان يحفظها و يحللها ويلاقى علاقة بين ال features و ال labels

5- يتم حساب ال testing accuracy وال هى على اساسها بيتم تقييم فاعلية ال system لان زى ما قولنا مش معنى ال training كويس يبقى ال testing هيبقى كويس

فى الجزء الرابع ان شاء الله هنتكلم عن اول نوعين من ال machine learning و الفرق بينهم

الجزء التالت: https://www.facebook.com/359279954577532/posts/659895241182667?sfns=mo

الجزء التاني:https://www.facebook.com/359279954577532/posts/659212344584290?sfns=mo

الجزء الاول:https://www.facebook.com/35927995457…/posts/657396884765836…
———————————————–