تمر عملية انتاج المعرفة بمراحل تبدأ أولها بوجود وتوافر بيانات معينة ومن ثم اجراء عملية معالجة عليها للتحول الى المعلومات، وكثرة توفر المعلومات بدورها تؤدي الى المعرفة.

ونظراً للتوسع الكبير في عالم الاتصالات الذي هو بدوره يعد السمة الأولى للعصر الحالي، فقد تدفقت وسائل المعلومات بكافة الاشكال والأوعية واللغات، مما جعل امام مؤسسات المعلومات، مشكلة السيطرة على هذه البيانات لغرض إجراء المعالجة الدقيقة لها للوصول الى المعلومات المطلوبة بكل دقة، اذ لم تعد النظم التقليدية والمتمثلة بقواعد البيانات كافية لاستخلاص المعلومات بدقة تناسب احتياجات المستفيدين منها، خاصة وبعد ان بدأ عصر مستودعات البيانات، لذلك ظهرت الحاجة الملحة لاستخلاص المعلومات من بين الكم الهائل من البيانات، وبمعنى آخر هي عملية معالجة للبيانات واستخلاص المعلومات المطلوبة بنفس الوقت،وهو ما يعرف بعملية التنقيب عن البيانات Data mining.

اقرأ أيضاً: اقتصاد المعرفة

اقرأ أيضاً: البيانات الضخمة وواقعها في البلاد العربية

مفهوم التنقيب على البيانات

التنقيب عن البيانات هي عملية دمج الطرق التقليدية لتحليل البيانات مع خوارزميات معقدة من أجل استخلاص معلومات مفيدة ودقيقة، من بين كمّ هائل من البيانات غير المستخدمة، ليتم استخدامها لاحقاً في التوقع بحدث ما في المستقبل.

وتعرف أيضاً بانها عملية غربلة وتحليل كمية كبيرة من البيانات لاستخراج ما هو ذو معنى واكتشاف معرفة جديدة تهدف الى وصف الاتجاهات الماضية والتنبؤ بالمستقبل.

اقرأ أيضاً: استشراف المستقبل

أنواع البيانات

تنقسم البيانات عادةً إلى ثلاثة أقسام :

– بيانات خام دون أيّ فحص أو تحليل  تسمى بيانات Data.

– بيانات تم تحليلها واستخلاص بعض المعلومات البسيطة منها  تسمى معلومات Information.

– معلومات تم استخلاصها بطرق أكثر تعقيداً، ولاسيما الاستفادة من خبرة المحلّل ليتكون لدينا ما يسمي بالمعرفة Knowledge.

ظهر التنقيب في البيانات ( Data mining ) في أواخر الثمانينيات، ومنذ ذلك الحين أثبت نجاحاً منقطع النظير كأحد الحلول الفعالة لتحليل كميات ضخمة من البيانات، وذلك بتحويلها من مجرد معلومات متراكمة وغير مفهومة (بيانات) إلى معلومات قيِّمة يمكن استثمارها والاستفادة منها بعد ذلك.

وقد اجتذبت مرحلة التنقيب في البيانات الكثير من الاهتمام في الأوساط البحثية على مدى العقد الماضي، في محاولة لتطوير خوارزميات قابلة للتوسع والتكيف مع كميات متزايدة من البيانات في البحث عن أنماط معرفية ذات معنى.

وبذلك فإن عملية تنقيب البيانات تتمثل في ما يلي:

• هي النشاط الذي يقوم باستخلاص المعلومات الموجودة في كميات كبيرة من البيانات والمخزنة في قواعد البيانات، ومستودعات البيانات الضخمة، وذلك بهدف اكتشاف الارتباطات ذات المغزى، والأنماط، والاتجاهات من خلال فرز كميات كبيرة من البيانات المخزنة في المستودعات، وذلك باستخدام تقنيات التعرف على الأنماط وكذلك الأساليب الإحصائية والرياضية، وتعرف هذه العملية أيضاً باسم استكشاف المعارف في قواعد البيانات . 
• إحدى خطوات عملية اكتشاف المعرفة داخل قواعد البيانات حيث تستخدم أساليب التحليل مثل: الشبكات العصبية، أو الخوارزميات الجينية، أو شبكة القرارات، والتقنية والنماذج الهجينة، لتحديد الأنماط والعلاقات في مجموعات البيانات.
• عملية تقنية تستخدم خوارزميات لتحليل البيانات من وجهات نظر متعددة واستخراج أنماط ذات معنى، والتي يمكن استخدامها للتنبؤ بالسلوك المستقبلي للمستخدمين. على سبيل المثال: نظام تحليل سلة السوق الذي يستخدمه – Amazon.com يوصي بمنتجات جديدة لعملائه على أساس مشترياتهم السابقة، وهو مثال حي يجسد الكيفية التي يمكن أن نستخدم معها التنقيب عن البيانات في مجال التسويق.

اقرأ أيضاً: تأثير الهالة وكيف يتم استثمارها في التسويق للعلامات التجارية

فوائد عملية التنقيب عن البيانات

تعد عملية التنقيب عن البيانات ومن خلال التعاريف السابقة ضرورية لالتمام المهام المتعلقة بإيجاد واستخلاص معلومات محددة من كميات كبيرة من البيانات بصورة عامة، إلا أن ابرز الفوائد لتلك العملية هي:

1. تمكن هذه العملية المستفيدين منها من الوصول الى معلومات لم يكن بالإمكان الوصول اليها بالطرق الأخرى.
2. تمكن أصحاب القرار من إيجاد نمط استنتاجي عن طريق فهم الماضي للوصول الى تنبؤ حول مستقبل المسألة المطلوبة.
3. تمكن هذه العملية المستفيدين منها معرفة واكتشاف الارتباطات والاتجاهات والانماط السائدة في عمل مؤسسة معينة.

مراحل التنقيب عن البيانات

تمر عملية التنقيب عن البيانات بمراحل، هي:

1. فهم طبيعة عمل المؤسسة: تتلخص المرحلة الأولى بعملية فهم عمل المؤسسة الام والتي هي تحدد نوع المطلوبة.
2. فهم البيانات: وغي هذه المرحلة تتم عملية معرفة نوع البيانات المخزنة ومسارها.
3. اعداد البيانات: وفي هذه المرحلة تتم عملية تنظيم البيانات وضمان تكاملها وخلوها من مشكلة التكرار في البيانات وخلو بعض القيود من معلومات.
4. التنقيب عن البيانات: وفي هذه المرحلة تتم عملية تحليل البيانات للوصول الى النتيجة المطلوبة
5. التقييم: وغي هذه المرحلة تتم عملية تقييم النتائج التي توصلت اليها عملية التنقيب.

اقرأ أيضاً: تطور التكنولوجيا والاقتصاد

طرق التنقيب عن البيانات

هناك العديد من طرق التنقيب عن البيانات، هي:

1. تحليل الارتباط.
2. الخوارزميات الجينية.
3. شبكات النظرية الافتراضية.
4. مسار المجموعة الخام.
5. الشبكات العصبية.
6. التحليل الاحصائي.
7. شجرة القرارات.

اقرأ أيضاً: ريادة الأعمال: المفهوم، والأهمية، ولماذا يصبح الناس رواد أعمال؟

إذاً فالتنقيب عن البيانات هو حقل متعدد التخصصات، يستفيد من دراسة العديد من المجالات بما في ذلك تقنية قاعدة البيانات، الذكاء الاصطناعي، والتعلم الآلي، والشبكات العصبية، والإحصائيات والتعرف على الأنماط، والنظم القائمة على المعرفة، واكتساب المعرفة، واسترجاع المعلومات، والحوسبة العالية الأداء والصورة ومعالجة الإشارات، وتحليل البيانات المكانية والبيانات التصورية، والتي تعتمد بشكل كلي على الإدراك البصري.