Pertanyaan ditandai [apache-spark]

7 suara
2 balasan
Spark pengecualian dengan java.lang.ClassNotFoundException: de.unkrig.jdisasm.Disassembler
Saya menjalankan percikan versi 2.1.0 dan saya mendapatkan pengecualian berikut. Saya mendapatkan hasil tetapi melempar pengecualian  java.lan...
tanya 2 tahun yang lalu
4 suara
2 balasan
Tidak dapat mengimpor sqlContext.implicits._ tanpa kesalahan melalui Jupyter
Ketika saya mencoba menggunakan import sqlContext.implicits._ pada notebook Jupyter saya, saya mendapatkan kesalahan berikut:  Name: Compile E...
4 suara
2 balasan
Dalam mode klien Spark, driver memerlukan akses jaringan ke pelaksana jarak jauh?
Saat menggunakan percikan pada mode klien (mis. klien benang), apakah mesin lokal yang menjalankan driver berkomunikasi langsung dengan node p...
tanya 4 tahun yang lalu
4 suara
3 balasan
Menyebarkan aplikasi Apache Spark dari aplikasi lain di Jawa, praktik terbaik
Saya adalah pengguna baru Spark. Saya memiliki layanan web yang memungkinkan pengguna untuk meminta server melakukan analisis data yang kompleks...
17 suara
5 balasan
Bagaimana cara terhubung ke metastore Hive secara terprogram di SparkSQL?
Saya menggunakan HiveContext dengan SparkSQL dan saya mencoba untuk terhubung ke metastore Hive jarak jauh, satu-satunya cara untuk mengatur met...
tanya 4 tahun yang lalu
14 suara
2 balasan
Cara menyambung ke server sarang jarak jauh dari percikan
Saya menjalankan percikan secara lokal dan ingin mengakses tabel Hive, yang terletak di kluster Hadoop jarak jauh. Saya dapat mengakses tabel...
6 suara
2 balasan
Batas waktu koneksi AWS saat menjalankan pekerjaan Spark pada EMR
Saya mencoba mengirimkan pekerjaan percikan sederhana di kluster Amazon EMR. Cluster saya memiliki 5 instance M4.2xlarge (1 master, 4 slave), ma...
15 suara
1 balasan
Hasilkan metadata untuk file parket
Saya memiliki tabel sarang yang dibangun di atas banyak file parket eksternal. File paruqet harus dihasilkan oleh pekerjaan percikan, tetapi kar...
tanya 3 tahun yang lalu
29 suara
9 balasan
Secara otomatis dan elegan meratakan DataFrame di Spark SQL
Semua, Apakah ada cara yang elegan dan diterima untuk meratakan tabel SQL Spark (Parket) dengan kolom yang bersarang StructType Misalnya...
tanya 3 tahun yang lalu
8 suara
6 balasan
Bagaimana cara memperbaiki java.lang.ClassCastException: tidak dapat menetapkan turunan scala.collection.immutable.List ke jenis bidang scala.collection.Seq?
Kesalahan ini paling sulit dilacak. Saya tidak yakin apa yang sedang terjadi. Saya menjalankan kluster Spark di mesin lokasi saya. jadi seluruh...
tanya 2 tahun yang lalu
12 suara
7 balasan
Cara membuat DataFrame dari file teks di Spark
Saya memiliki file teks pada HDFS dan saya ingin mengonversinya menjadi Frame Data di Spark. Saya menggunakan Konteks Spark untuk memuat file...
tanya 9 bulan yang lalu
8 suara
1 balasan
Mengapa seseorang menjalankan Spark / Flink di Tez?
Dalam Kertas Tez dari Saha et al., Arsitektur modular berikut dari Hadoop 2 dengan Tez ditunjukkan: Mengapa seseorang menjalankan Spark...
tanya 3 tahun yang lalu
5 suara
1 balasan
Melewati fungsi Python sebagai objek ke Spark
Saya telah bermain dengan Spark dan Python di notebook jupyter daring ini https://tmpnb.org/ dan mencoba 3 cara untuk melewatkan fungsi python:...
tanya 3 tahun yang lalu
4 suara
1 balasan
Apakah Spark menulis output shuffle antara ke disk
Saya sedang membaca Learning Spark , dan saya tidak mengerti apa itu berarti bahwa output acak Spark ditulis ke disk. Lihat Bab 8, Tuning dan D...
tanya 1 tahun yang lalu
25 suara
4 balasan
scalac compile menghasilkan "objek apache bukan anggota dari paket org"
Kode saya adalah:  import org.apache.spark.SparkContext Itu bisa berjalan dalam mode interaktif, tetapi ketika saya menggunakan scalac untu...
tanya 4 tahun yang lalu
9 suara
7 balasan
Hadoop 2.6 Menghubungkan ke ResourceManager di /0.0.0.0:8032
Saya mencoba menjalankan contoh Spark berikut di bawah Hadoop 2.6, tetapi saya mendapatkan kesalahan berikut: INFO RMProxy: Menghubungkan ke...
tanya 2 tahun yang lalu
5 suara
3 balasan
Apache Spark: berurusan dengan Option / Some / None di RDDs
Saya memetakan tabel HBase, menghasilkan satu elemen RDD per baris HBase. Namun, terkadang baris tersebut memiliki data yang buruk (melempar Nul...
tanya 4 tahun yang lalu
1 suara
1 balasan
Menghubungkan Log4j ke notebook ipython stderr di proyek java / python menggunakan py4j
Saya punya proyek yang menggunakan java, scala, dan Apache Spark untuk melakukan komputasi terdistribusi pada data genom. Menggunakan py4j dan m...
tanya 2 tahun yang lalu