دراسة خوارزميات التجميع لتدفق المعطيات الضخمة

Abstract

في عالم يعترف فيه بالبيانات كأحد أكثر الموارد قيمة، تحتل علوم تحليل البيانات مكانة محورية بين التخصصات العلمية الحديثة تتناول هذه الرسالة موضوعاً حيوياً في هذا المجال من خلال دراسة خوارزميات التجميع( العنقدة) المصممة خصيصاً لتدفق البيانات الضخمة. مع استمرار نمو البيانات في الزمن الحقيقي بوتيرة غير مسبوقة، تصبح الخوارزميات التقليدية للتجميع مثل Means - وغيرها على الرغم من فعاليتها مع مجموعات البيانات الثابتة غير كافية للتعامل مع التدفقات الديناميكية والمستمرة من البيانات. قمنا بدراسة الأنواع المختلفة من خوارزميات التجميع بما في ذلك الثابتة والمتدفقة. تبدأ هذه الرسالة بتقييم نقدي لهذه الخوارزميات التقليدية. ثم التركيز على الخوارزميات المتقدمة التي تم تطويرها لمعالجة تعقيدات تدفق البيانات الضخمة، مثل Clustream وغيرها التي تقدم حلولاً لمعالجة البيانات المتدفقة. قمنا بوضع بعض المعايير المقارنة خوارزميات تجميع تدفق البيانات المعرفة الخوارزمية الأمثل بالاعتماد على خصائصها. وبالاعتماد على المعايير الموضوعة قدمنا في هذه الرسالة خوارزمية هجينة جديدة تعتمد على خوارزمية MuDi - stream ونموذج النافذة الزمنية الهرمية تجمع بين نقاط القوة في تقنيات التجميع المتدفقة وآليات التكييف لمعالجة البيانات في الزمن الحقيقي. أظهرت النتائج التجريبية أن النهج الهجين المقترح يعزز بشكل كبير دقة التجميع. الكلمات المفتاحية: خوارزمية تجميع نافذة زمنية هرمية، كلفة الخوارزمية، زمن التنفيذ، الزمن الحقيقي Clustream EM STING، DBSCAN BIRCH K-means تدفق البيانات pcStream DGStream MuDi-stream TS - Stream