प्रश्न टैग किए गए [apache-spark]

1 वोट
1 उत्तर
क्या विभिन्न कॉलम और / या अलग-अलग अवधि से चलती औसत से गणना की गई डेटाफ़्रेम में कई कॉलम जोड़ने का एक तरीका है
मेरे पास समय-श्रृंखला डेटा के साथ एक डेटाफ़्रेम है और मैं विभिन्न श्रेणियों की विभिन्न खिड़कियों के साथ इसमें बहुत सारे चलती औसत कॉलम जोड़ने की...
पूछा 8 महीने पहले
1 वोट
1 उत्तर
मैं स्पार्क के साथ सीएसवी के लिए एक दूरस्थ फ़ाइल पर स्कीमा इंजेक्शन का अनुकूलन कैसे कर सकता हूं
मेरे पास S3 (या अन्य) में एक दूरस्थ फ़ाइल है और मुझे फ़ाइल के स्कीमा की आवश्यकता है। मुझे JSON (e.g. read.option("samplingRation", 0.25)) के रू...
पूछा 8 महीने पहले
-1 वोट
1 उत्तर
डेटा फ़्रेम तत्वों पर जोड़ी की तुलना
समानताएं खोजने के लिए एक पाइरवाइज Iterate कॉलम कैसे करें। > एक डेटा फ़्रेम के सभी Colunms से सभी Elemets के लिए, किसी अन्य डेटा फ़्रेम के सभ...
पूछा 8 महीने पहले
-2 वोट
1 उत्तर
किसी भी कॉलम / विशेषता द्वारा बड़े डेटासेट को छांटना
मेरे पास एक MySQL डेटाबेस है जिसमें ~ 20M प्रविष्टियाँ (और बढ़ती हैं) कुछ तालिकाओं में वितरित की जाती हैं। मेरे सिस्टम में एक सुविधा है जहाँ यह...
पूछा 8 महीने पहले
0 वोट
0 उत्तर
कैसे दो स्पार्क का उपयोग करें। एसक्यूएल हर पंक्ति पर कॉलम के आधार पर दो तालिकाओं का चयन करें
मूल रूप से, मेरे पास दो टेबल हैं, नीचे दिए गए स्कीमा: root |-- machine_id: string (nullable = true) |-- time_stamp: double (nullable = true)...
पूछा 8 महीने पहले
2 वोट
1 उत्तर
मैं अपाचे हाइव को जीसीपी अपाचे स्पार्क डाटापार्क क्लस्टर पर संस्करण 3 में कैसे अपग्रेड कर सकता हूं
एक कारण या किसी अन्य के लिए, मैं Google क्लाउड डाटाप्रोक (1.4.3) स्पार्क क्लस्टर पर अपाचे हाइव के संस्करण को 2.3.4 से 3 में अपग्रेड करना चाहता ह...
पूछा 8 महीने पहले
-1 वोट
0 उत्तर
कैसे neo4j- स्पार्क-कनेक्टर द्वारा नोड गुणों को अपडेट किया जाए
मैं neo4j- स्पार्क-कनेक्टर द्वारा एक नोड बना सकता हूं: val rows = sc.makeRDD(Seq(Row("Laurence", "Fishburne"))) val schema = StructType(Se...
पूछा 8 महीने पहले
2 वोट
2 उत्तर
जावा / स्कैला एपीआई का उपयोग करके स्पार्क में कस्टम छँटाई
मेरे पास निम्नलिखित डेटा हैं: - +-------------+ | card type| +-------------+ |ColonialVoice| | SuperiorCard| | Vista| | Distinguish...
पूछा 8 महीने पहले
-1 वोट
0 उत्तर
स्पार्कलीर स्प्लिट कॉलम को अलग-अलग पंक्तियों में
मुझे स्पार्क टेबल की समस्या है। मेरी तालिका है; # Source: spark<?> [?? x 4] AssetConnectDeviceKey CreateDate FaultStatus...
पूछा 8 महीने पहले
0 वोट
0 उत्तर
स्पार्क-स्ट्रीमिंग में काफ्का उपभोक्ता से RDD के साथ "टास्क प्रयास 0 पहले से ही पंजीकृत है" त्रुटि
स्पार्क स्थानीय मोड के साथ IntelliJ पर चलने वाला ऐप। लूप में जब स्पार्क-स्ट्रीमिंग द्वारा कफका विषय से उपभोक्ता: if ((_rdd != null) &&a...
पूछा 8 महीने पहले
1 वोट
1 उत्तर
स्काला में कई प्रविष्टियों के साथ अन्य डेटाफ्रेम से कॉलम पर आधारित स्पार्क डेटाफ्रेम कैसे अपडेट करें?
मैं स्पार्क डेटाफ्रेम के साथ काम कर रहा हूं और स्कैला में स्पार्क-एसक्यूएल का उपयोग करके एक हाइव-टेबल में एक स्तंभ column_to_be_updated अपडेट कर...
पूछा 8 महीने पहले
-1 वोट
0 उत्तर
500 एमबी की gz फाइल को प्रोसेस करने के लिए सही स्पार्क कॉन्फ़िगरेशन सेटिंग क्या होगी?
मैं स्पार्क करने के लिए एक नौसिखिया हूं और मेरे पास 500 एमबी की .gz फाइल है जिसका मैं विश्लेषण करना चाहता हूं। मैं 3 नोड क्लस्टर (4 vCores और 16...
पूछा 8 महीने पहले
0 वोट
0 उत्तर
स्पार्क स्ट्रीमिंग प्रोग्राम का उपयोग करके संदेश नहीं मिल रहा है
मेरे पास एक काफ्का उदाहरण है जो विषय पर क्लस्टर प्रकाशन संदेशों पर चल रहा है। जब मैं कमांड ट्रिगर कर रहा हूं ./bin/kafka-console-consumer.sh...
1 वोट
0 उत्तर
स्पार्क एसक्यूएल हाइव विभाजन स्तंभों को पहचानने में विफल रहा
मेरे पास एक विभाजन तालिका है 0600350991100101035062। विभाजन कॉलम event_fact है। और फिर मैं उस तालिका के शीर्ष पर एक दृश्य बनाता हूं। dt, type...
पूछा 8 महीने पहले
0 वोट
1 उत्तर
स्पार्क, क्वेरी कैसे प्रिंट करें?
मैं pyspark का उपयोग कर रहा हूं df = self.sqlContext.read.option( "es.resource", indexes ).format("org.elasticsearch.spark.sql...
पूछा 8 महीने पहले
-1 वोट
0 उत्तर
स्पार्क एसक्यूएल में बड़ी संख्या में गिनती को कैसे संभालना है
मैं स्पार्क 2.2.2 का उपयोग कर रहा हूं। मेरे पास कॉलम c0, c1, c2, c3 ... cn के साथ एक टेबल t1 है। और SQL जैसे: Select c0, count(distin...
पूछा 8 महीने पहले
0 वोट
1 उत्तर
अधिक विवरण के साथ नौकरी की विफलता। मैंने एक साधारण rdd.map का उपयोग किया, DF में कनवर्ट करें और दिखाएं ()
मैं pyspark के साथ सुपर भिखारी हूं। सिर्फ Databricks समुदाय में मेरे दस्तावेजों को संसाधित करने के लिए कुछ कोड की कोशिश कर रहा हूं। मेरे पास एक...
पूछा 8 महीने पहले
0 वोट
0 उत्तर
मास्टर निर्दिष्ट मेमोरी स्लम स्क्रिप्ट में अनुरोध किए गए एक के अनुरूप क्यों नहीं है?
मैं 2.3.0 स्पार्क चलाने के लिए निम्न स्लम स्क्रिप्ट का उपयोग कर रहा हूं। #!/bin/bash #SBATCH --account=def-hmcheick #SBATCH --nodes=2 #SBATCH...
पूछा 8 महीने पहले
1 वोट
1 उत्तर
केस क्लासेस की सूची से युक्त डेटासेट में नल का प्रतिनिधित्व कैसे करें
मेरे पास एक मामला वर्ग है final case class FieldStateData( job_id: String = null,...
पूछा 8 महीने पहले
-2 वोट
1 उत्तर
डेटाफ्रेम के भीतर कॉलम के मूल्यों का मिलान
मेरे पास एक डेटाफ़्रेम है जो इस तरह दिखता है: Market Price date outtime intime ttype ATLJFKJFKATL 150 20190403 0215...
पूछा 8 महीने पहले
0 वोट
2 उत्तर
स्केल ऑब्जेक्ट लागू विधि को स्पार्क जॉब में कभी नहीं कहा जाता है
मैं स्पार्क ऐप में अपने तर्क को डिकूप करने की कोशिश कर रहा हूं। मैंने UDF परिभाषाएँ और UDF घोषणाएँ : के लिए अलग वर्ग बनाया UDF घोषणा:...
पूछा 8 महीने पहले
1 वोट
1 उत्तर
Pyspark: अजगर उपयोगकर्ता परिभाषित कार्यों में अशक्त मूल्यों से कैसे निपटें
मैं कुछ स्ट्रिंग समानता कार्यों का उपयोग करना चाहता हूं जो कि डेटाफ्रेम पर jaro और jaro-winkler उपायों जैसे pyspark के मूल निवासी नहीं हैं। ये j...
पूछा 8 महीने पहले
1 वोट
0 उत्तर
क्या मैंने लकवाग्रस्त फाइलें खो दीं? भाग- <फ़ाइल-नंबर> वृद्धिशील क्यों नहीं है?
मेरे पास एक बड़ा (डेटा) काम है, आउटपुट को hdfs में लिखा है। लकड़ी की छत फ़ाइल उत्पादन वृद्धिशील नहीं है। बाद में क्लस्टर (मुझे लगता है) एक निष्प...
पूछा 8 महीने पहले
1 वोट
1 उत्तर
प्रत्येक लूप के लिए दो DataFrame नेस्टेड
foreach लूप नेस्टेड ने डेटाफ्रेमों का नेस्टप्लान एक NullPointerException फेंकता है: def nestedDataFrame(leftDF: DataFrame, riteDF: DataFrame):...
पूछा 8 महीने पहले
-2 वोट
1 उत्तर
स्पार्क कॉलम में सभी फ़ील्ड के लिए स्ट्रिंग को कैसे विभाजित करें और लौटी हुई स्प्लिट स्ट्रिंग सूची की लंबाई को पकड़ो?
मैं वर्तमान में उन विशिष्ट सेवाओं की मात्रा को हड़पने का प्रयास कर रहा हूं जो एक विशिष्ट IP चला रही है, और सेवाएं service कॉलम में हैं, जिन्हें...
पूछा 8 महीने पहले