Хизмат

Механизми тозакунии маълумот Spark Streaming
(I) DStream ва RDD
Тавре ки мо медонем, ҳисобкунии Spark Streaming ба Spark Core асос ёфтааст ва асосии Spark Core RDD мебошад, аз ин рӯ Spark Streaming низ бояд бо RDD алоқаманд бошад.Аммо, Spark Streaming ба корбарон имкон намедиҳад, ки RDD-ро мустақиман истифода баранд, аммо реферат маҷмӯи консепсияҳои DStream, DStream ва RDD муносибатҳои фарогир мебошанд, шумо метавонед онро ҳамчун намунаи ороиш дар Java фаҳмед, яъне DStream такмили RDD аст, аммо рафтор ба RDD монанд аст.
DStream ва RDD ҳам якчанд шарт доранд.
(1) дорои амалҳои шабеҳи табдилдиҳӣ, ба монанди харита, reductionByKey ва ғайра, балки баъзе беназир, ба монанди Window, mapWithStated ва ғайра.
(2) ҳама дорои амалҳои амал мебошанд, ба монанди foreachRDD, ҳисоб ва ғайра.
Модели барномасозӣ мувофиқ аст.
(B) Ҷорисозии DStream дар Spark Streaming
DStream дорои якчанд синфҳо мебошад.
(1) Синфҳои манбаи маълумот, ба монанди InputDStream, мушаххас ба DirectKafkaInputStream ва ғайра.
(2) Синфҳои табдилдиҳӣ, маъмулан MappedDStream, ShuffledDStream
(3) синфҳои баромад, маъмулан ба монанди ForEachDStream
Аз гуфтаҳои боло, маълумот аз аввал (ворид) то ба охир (баромад) аз ҷониби системаи DStream анҷом дода мешавад, ки маънои онро дорад, ки корбар одатан RDD-ро мустақиман тавлид ва идора карда наметавонад, яъне DStream имкон ва ӯҳдадориҳои худро дорад. барои давраи зиндагии RDD масъул аст.
Ба ибораи дигар, Spark Streaming дороитозакунии автоматӣфунксия.
(iii) Раванди тавлиди RDD дар Spark Streaming
Ҷараёни ҳаёти RDD дар Spark Streaming ба таври зерин ноҳамвор аст.
(1) Дар InputDStream, маълумоти гирифташуда ба RDD табдил дода мешавад, ба монанди DirectKafkaInputStream, ки KafkaRDD-ро тавлид мекунад.
(2) пас тавассути MappedDStream ва дигар табдили додаҳо, ин вақт мустақиман RDD номида мешавад, ки ба усули харитаи табдилдиҳӣ мувофиқ аст.
(3) Дар амалиёти синфи баромад, танҳо вақте ки RDD фош мешавад, шумо метавонед ба корбар иҷозат диҳед, ки нигоҳдории мувофиқ, ҳисобҳои дигар ва дигар амалиётҳоро иҷро кунад.