خدمت

د سپارک سټریمینګ معلوماتو پاکولو میکانیزم
(I) DStream او RDD
لکه څنګه چې موږ پوهیږو، د سپارک سټریمینګ محاسبه د سپارک کور پر بنسټ ولاړه ده، او د سپارک کور کور RDD دی، نو سپارک سټریمینګ باید د RDD سره هم تړاو ولري. په هرصورت، سپارک سټریمینګ کاروونکو ته اجازه نه ورکوي چې RDD په مستقیم ډول وکاروي، مګر د DStream مفکورو سیټ لنډیز کوي، DStream او RDD جامع اړیکې دي، تاسو کولی شئ دا په جاوا کې د سینګار نمونې په توګه پوه شئ، دا دی، DStream د RDD وده ده، مګر چلند د RDD سره ورته دی.
DStream او RDD دواړه څو شرایط لري.
(۱) ورته د بدلون کړنې لري، لکه نقشه، reduceByKey، او داسې نور، مګر ځینې ځانګړي هم دي، لکه کړکۍ، mapWithStated، او داسې نور.
(۲) ټول د عمل عملونه لري، لکه د هر یو لپاره RDD، شمېرنه، او نور.
د پروګرام کولو ماډل ثابت دی.
(ب) په سپارک سټریمینګ کې د DStream معرفي کول
DStream څو ټولګي لري.
(۱) د معلوماتو سرچینې ټولګي، لکه InputDStream، ځانګړي لکه DirectKafkaInputStream، او داسې نور.
(۲) د تبادلې ټولګي، په ځانګړي ډول MappedDStream، ShuffledDStream
(۳) د محصول ټولګي، معمولا لکه ForEachDStream
له پورته څخه، د پیل (ان پټ) څخه تر پای (آؤټ پټ) پورې معلومات د DStream سیسټم لخوا ترسره کیږي، پدې معنی چې کارونکي معمولا نشي کولی په مستقیم ډول RDDs تولید او اداره کړي، پدې معنی چې DStream فرصت او مکلفیت لري چې د RDDs د ژوند دورې مسؤلیت ولري.
په بل عبارت، سپارک سټریمینګ لرياتوماتیک پاکولفعالیت.
(iii) په سپارک سټریمینګ کې د RDD تولید پروسه
په سپارک سټریمینګ کې د RDDs د ژوند جریان په لاندې ډول سخت دی.
(۱) په InputDStream کې، ترلاسه شوي معلومات په RDD بدلیږي، لکه DirectKafkaInputStream، کوم چې KafkaRDD تولیدوي.
(2) بیا د MappedDStream او نورو معلوماتو تبادلې له لارې، دا وخت په مستقیم ډول د RDD په نوم یادیږي چې د تبادلې لپاره د نقشې میتود سره مطابقت لري.
(۳) د آوټ پټ کلاس عملیاتو کې، یوازې هغه وخت چې RDD ښکاره شي، تاسو کولی شئ کارونکي ته اجازه ورکړئ چې اړونده ذخیره، نور محاسبې، او نور عملیات ترسره کړي.