Etiketlenen sorular [apache-spark]

1 oy
1 cevaplar
Farkl─▒ s├╝tunlardan ve / veya farkl─▒ s├╝relerdeki ortalamalar─▒n ta┼č─▒nmas─▒ndan hesaplanan bir veri ├žer├ževesine birden fazla s├╝tun eklemenin bir yolu var m─▒?
Zaman serisi verilere sahip bir veri ├žer├ževem ÔÇőÔÇővar ve ona ├že┼čitli aral─▒klardaki farkl─▒ pencerelerle ├žok hareketli ortalama s├╝tun eklemeye ├žal─▒┼č...
diye sordu 7 ay ├Ânce
1 oy
1 cevaplar
Spark ile CSV i├žin uzak bir dosyadaki ┼čema ├ž─▒kar─▒m─▒n─▒ nas─▒l optimize edebilirim
S3'te (veya di─čerinde) uzak bir dosya var ve dosyan─▒n ┼čemas─▒na ihtiyac─▒m var. Verileri JSON'a g├Âre ├Ârnekleme se├žene─či bulamad─▒m (e.g. read.optio...
diye sordu 7 ay ├Ânce
-1 oy
1 cevaplar
DataFrame ├ľ─čelerinde Ak─▒ll─▒ca Kar┼č─▒la┼čt─▒rma
Benzerlikleri bulmak i├žin ├çift Y├Ânl├╝ Bir Yinelenen S├╝tun Nas─▒l Yap─▒l─▒r? Bir Veri ├çer├ževesinin T├╝m Kolonlar─▒ndan T├╝m Elemetler i├žin, ba┼čka b...
diye sordu 7 ay ├Ânce
-2 oy
1 cevaplar
B├╝y├╝k veri k├╝melerini herhangi bir s├╝tuna / ├Âzniteli─če g├Âre s─▒ralama
Baz─▒ tablolarda da─č─▒t─▒lm─▒┼č ~ 20M giri┼čli (ve b├╝y├╝yen) bir MySQL veritaban─▒m var. Sistemim, bu bilgilerin sayfalarda g├Âsterildi─či bir ├Âzelli─če sa...
diye sordu 7 ay ├Ânce
0 oy
0 cevaplar
Her ikisi de spark.sql'yi her sat─▒rdaki s├╝tunlara g├Âre iki tablo se├žer
Temel olarak, a┼ča─č─▒da verilen ┼čemalara sahip iki tablom var: root |-- machine_id: string (nullable = true) |-- time_stamp: double (nullable...
diye sordu 7 ay ├Ânce
2 oy
1 cevaplar
Apache HiveÔÇÖ─▒ GCP Apache Spark Dataproc
Bir nedenden ├Ât├╝r├╝, Apache Hive s├╝r├╝m├╝n├╝ Google Cloud Dataproc (1.4.3) Spark Cluster'daki 2.3.4'ten 3'e y├╝kseltmek istiyorum. Hive s├╝r├╝m├╝n├╝ nas─▒...
diye sordu 7 ay ├Ânce
-1 oy
0 cevaplar
neo4j-spark-connector ile d├╝─č├╝m ├Âzellikleri nas─▒l g├╝ncellenir
neo4j-spark-connector ile bir d├╝─č├╝m olu┼čturabilirim: val rows = sc.makeRDD(Seq(Row("Laurence", "Fishburne"))) val schema = StructType(Seq(...
diye sordu 7 ay ├Ânce
2 oy
2 cevaplar
Java / scala API'sini Kullanarak Spark'da ├Âzel s─▒ralama
A┼ča─č─▒daki verilerim var: - +-------------+ | card type| +-------------+ |ColonialVoice| | SuperiorCard| | Vista| | Distinguish| +--...
diye sordu 7 ay ├Ânce
-1 oy
0 cevaplar
Sparklyr S├╝tunu ayr─▒ sat─▒rlara b├Âl
K─▒v─▒lc─▒m masalar─▒ ile ilgili bir sorunum var. Masam: # Source: spark<?> [?? x 4] AssetConnectDeviceKey CreateDate FaultSt...
diye sordu 7 ay ├Ânce
0 oy
0 cevaplar
Spark-Streaming'te Kafka T├╝ketici RDD'ye ÔÇťG├Ârev denemesi 0ÔÇŁ zaten kaydedildi
IntelliJ'de Spark yerel modda ├žal─▒┼čan uygulama. Sparkka Streaming taraf─▒ndan Kafka T├╝ketici konusu oldu─čunda d├Âng├╝de: if ((_rdd != null) &a...
diye sordu 7 ay ├Ânce
1 oy
1 cevaplar
Scala'daki bir├žok giri┼čle birlikte Column veri taban─▒n─▒ di─čer veri ├žer├ževelerinden nas─▒l g├╝ncelleyebilirim?
Spark veri ├žer├ževeleri ile ├žal─▒┼č─▒yorum ve Scala'da spark-sql kullanarak bir kovan tablosundaki column_to_be_updated s├╝tununu g├╝ncellemek istiyor...
diye sordu 7 ay ├Ânce
-1 oy
0 cevaplar
500 MB gz dosyas─▒n─▒ i┼člesem do─čru k─▒v─▒lc─▒m yap─▒land─▒rma ayar─▒ ne olurdu?
K─▒v─▒lc─▒m ├ž─▒karacak bir acemiyim ve analiz etmek istedi─čim 500 mb .gz dosyam var. 3 d├╝─č├╝m k├╝mesi (d├╝─č├╝m ba┼č─▒na 4 vCores ve 16 GB bellek) kullanar...
diye sordu 7 ay ├Ânce
0 oy
0 cevaplar
Spark ak─▒┼č program─▒n─▒ kullanarak mesaj alamama
K├╝me ├╝zerinde ├žal─▒┼čan bir konuya mesaj yay─▒nlayan bir kafka ├Ârne─čim var. Komutu tetiklerken ./bin/kafka-console-consumer.sh --bootstrap-serve...
1 oy
0 cevaplar
spark sql, kovan b├Âl├╝m├╝ s├╝tunlar─▒n─▒ tan─▒yamad─▒
B├Âl├╝mlendirilmi┼č bir tablom var event_fact Ve a┼ča─č─▒daki sorguyu ├žal─▒┼čt─▒rd─▒─č─▒mda, spark-sql, b├Âl├╝m s├╝tunlar─▒ndan ba─č─▒ms─▒z olarak event_fact ├╝...
diye sordu 7 ay ├Ânce
0 oy
1 cevaplar
Spark, sorguyu nas─▒l yazd─▒rabilirim?
Pyspark kullan─▒yorum df = self.sqlContext.read.option( "es.resource", indexes ).format("org.elasticsearch.spark.sql").load()...
diye sordu 7 ay ├Ânce
-1 oy
0 cevaplar
K─▒v─▒lc─▒m sql farkl─▒ say─▒m ├žok say─▒da ele nas─▒l
Spark 2.2.2 kullan─▒yorum. S├╝tun c0, c1, c2, c3 ... cn olan bir tablo var. Ve SQL gibi: Select c0, count(distinct if(condition(c1_1),c...
diye sordu 7 ay ├Ânce
0 oy
1 cevaplar
Daha fazla ayr─▒nt─▒ olmadan i┼č ba┼čar─▒s─▒zl─▒─č─▒. Basit bir rdd.map, DF'ye d├Ân├╝┼čt├╝r ve show () kulland─▒m.
Ben pyspark ile s├╝per yalvar─▒yorum. Belgelerimi Databricks Toplulu─ču'nda i┼člemek i├žin baz─▒ kodlar ├žal─▒┼č─▒yorum. Dataframe'de ├žok fazla html sayfa...
diye sordu 7 ay ├Ânce
0 oy
0 cevaplar
Master taraf─▒ndan belirtilen bellek neden slurm beti─činde istenen ile uyu┼čmuyor?
Spark 2.3.0'─▒ ├žal─▒┼čt─▒rmak i├žin a┼ča─č─▒daki slurm beti─čini kullan─▒yorum. #!/bin/bash #SBATCH --account=def-hmcheick #SBATCH --nodes=2 #SBATCH --t...
diye sordu 7 ay ├Ânce
1 oy
1 cevaplar
Vaka s─▒n─▒flar─▒ listesinden olu┼čan DataSet'lerdeki bo┼člar nas─▒l temsil edilir
Bir vaka s─▒n─▒f─▒m var final case class FieldStateData( job_id: String = null,...
diye sordu 7 ay ├Ânce
-2 oy
1 cevaplar
Veri ├žer├ževesi i├žindeki s├╝tun de─čerlerinin e┼čle┼čtirilmesi
┼×una benzeyen bir veri ├žer├ževem ÔÇőÔÇővar: Market Price date outtime intime ttype ATLJFKJFKATL 150 20190403 0215 0600...
diye sordu 7 ay ├Ânce
0 oy
2 cevaplar
Spark ─░┼činde hi├ž ├ža─čr─▒lmayan Scala nesnesi uygulama y├Ântemi
Mant─▒─č─▒m─▒ k─▒v─▒lc─▒m uygulamas─▒nda ay─▒rmaya ├žal─▒┼č─▒yorum. UDF tan─▒mlar─▒ ve UDF bildirimleri i├žin ayr─▒ s─▒n─▒f olu┼čturdum: UDF Bildirimi:...
1 oy
1 cevaplar
Pyspark: python kullan─▒c─▒ tan─▒ml─▒ fonksiyonlar─▒nda null de─čerlerle nas─▒l ba┼č edilir
Veri ├žer├ževelerinde jaro ve jaro-winkler ├Ânlemleri gibi pyspark'a ├Âzg├╝ olmayan baz─▒ string benzerlik i┼člevlerini kullanmak istiyorum. Bunlar, 06...
1 oy
0 cevaplar
Parke dosyalar─▒n─▒ kaybettim mi? Neden part- <file-number> art─▒ml─▒ de─čil?
B├╝y├╝k (veri) bir i┼čim var, ├ž─▒kt─▒y─▒ hdfs'e yazd─▒m. Parke dosyas─▒ ├ž─▒k─▒┼č─▒ art─▒ml─▒ de─čil. K├╝me daha sonra (bence) bir i┼č├žiyi kaybetti, i┼či kald─▒rama...
diye sordu 7 ay ├Ânce
1 oy
1 cevaplar
Her D├Âng├╝ i├žin i├ž i├že iki DataFrame
foreach DataFrams'─▒n i├ž i├že yineleme d├Âng├╝s├╝nde NullPointerException: def nestedDataFrame(leftDF: DataFrame, riteDF: DataFrame): Unit = {...
diye sordu 7 ay ├Ânce
-2 oy
1 cevaplar
Bir K─▒v─▒lc─▒m s├╝tunundaki t├╝m alanlar i├žin dize nas─▒l b├Âl├╝n├╝r ve d├Ând├╝r├╝len b├Âl├╝nm├╝┼č dize listesinin uzunlu─ču nas─▒l al─▒n─▒r?
┼×u anda, belirli bir IPÔÇÖnin ├žal─▒┼čt─▒─č─▒ hizmetlerin miktar─▒n─▒ almaya ├žal─▒┼č─▒yorum ve hizmetler, bir Spark00FrameÔÇÖde service olarak saklanan ve virg...
diye sordu 7 ay ├Ânce