الاثنين، 17 مايو 2021

What's Data Mining

Data Mining

التنقيب فى البيانات و هو يعتمد على التسلسل الهرمى فى Data Pyramids و الذى يتمثل فى الأتى :

· Data

· Information

· Knowledge

· Wisdom

الـ DM يكون فى مرحلة Knowledge لذا يطلق على الـ DM ما يسمى بالـ Knowledge Discovery و عشان اقدر أوصل للمرحلة دى لازم نمر بمراح الـ Process الخاص بالـ DM و و أحنا بنعمل mining in large data base و الـ Process بتحمل صفتين و هما كالاتى (Interactive – iterative ) هى كالاتى :

Data Integrated

و هى مرحلة تجميع البياناتبصورة موحدة بسبب مصادرها المختلفة

Data Cleaning

و هى مرحلة معالجة و تنظيف البيانات من أى مشاكل

Data Warehouse

وهى مرحلة تجميع البيانات فى مكان موحد يطلق علية Data Warehouse

Selection " Task Relevant Data"

وفى هذه المرحلة يتم تحديد البيانات المطلوبة أستخراج منها المعلومات المطلوبة

Data Mining

و هى مرحلة الوصول للمعلومات المطلوبة

Pattern Evaluation "Knowledge"

و هى مرحلة رؤية لأخر مرحلة فى الـ DM و الوثوق بالنتيجة و أذا وجد شىء يحتمل نسبة الخطء يتم أعادة الـ Process مرة أخرى أذا لم نصل للـ Pattern المطلوب و هذا ما يسمى بالـ Iterative هكذ يكون قد تم الـ Data Mining Task و يوجد نوعين من الـ Task و هما كالاتى :

Predictive "Classifications – Prediction"

لمعرفة التصنيف او القيمة المفقودة

Descriptive "Association Rules - Clustering – Outlier Analysis"

ما هى القاعدة او العلاقة او سبب التشابة

يوجد عدة تحديات سوف تواجهنا اثناء تنفيذ الـ DM Task و هى كالاتى :-

· Scalability

· Dimensionality

· Heterogeneous and complex data "Integrated Data"

· Data Quality " Cleaning Data"

· Data Distribution

· Privacy Preservation

تعالوا بقى نكلم عن الـ Data Preparation and Processing

و هى ان نبدء نعمل Integrated ثم نقوم بعمل cleaning ثم يتم نقل الـ Data إلى data warehouse وهنا يكون أسمها clean data ثم نقوم بعمل selection للـ data المطلوبة و دا بيكون مرتبط بالـ Goal Identification و نقوم بنقلها Transformation للبدء بالعمل عليها

Some Information For AI & ML & DL

• الـ Machine Learning هو أحد فروع الـ Artificial Intelligence

• ال ML  نقوم بأستخدام من أجل تصميم Algorithm لأستخدامها فى الـData Science , Data Mining , Artificial Intelligence 
• ال ML  بينقسم لثلاث أنواع :-
• Supervised Learning
1. Classification "SVC"
2. Regression "SVR"
• Unsupervised Learning
1. Clustering "Kmeans"
2. Dimensionality "PCA"
• Reinforcement Learning 
• يندرج الـ  Deep Learning  ضمن أحد الادوات المستخدمة بجانب الـ Machine Learning  و هو تم أستخدامة فى بداية   عام 2006
• من أشهر الـ Algorithm المستخدمة فى مجال الـ Deep Learning و مجال AI  هى :-
1. Deep Neural Network
2. Convolutional Neural Network
3. Recurrent Neural Network
• و من أشهر الـ Libraries  المذكورة فى البوست الخاص بالـ Python Libraries  فى مجال Deep Learning  هى كالاتى :-

Theano
TensorFlow
Lasagne
Keras
MXnet

What do I need to know to be a Data Scientist

What do I need to know to be a Data Scientist?

You need to understand data. Know how to explore it and how to use statistical and analytical techniques
You need to be able to query and manipulate data sets into required formats using Transact-SQL
You need to be able to present data in a meaningful way by using tools such as Excel or Power BI.
You need to understand statistics, and its role in gaining insights from data.
You need to know how to use a statistical programming language such as R or Python.
You need to be able to perform data transformation, cleansing and some statistical analysis
You must understand data science concepts such as machine learning, algorithms , conditional probability etc
You must be able to create machine learning models, and how to evaluate them
You must be able to use machine learning to generate predictions and solve problems
You must learn how to use tools such as Microsoft Azure HDInsight , Scala, Spark etc