Domande taggate [hadoop]

180 voti
14 risposte
Quando usare Hadoop, HBase, Hive e Pig?
Quali sono i vantaggi dell'utilizzo di Hadoop o HBase o Hive ? Da quanto ho capito, HBase evita l'uso di map-reduce e ha uno storage b...
chiesto 5 anni fa
245 voti
20 risposte
Hadoop "Impossibile caricare la libreria nativa-hadoop per la tua piattaforma"
Attualmente sto configurando hadoop su un server che esegue CentOs . Quando eseguo start-dfs.sh o stop-dfs.sh, ottengo il seguente errore:  ...
chiesto 3 anni fa
21 voti
5 risposte
Qual è la differenza tra -hivevar e -hiveconf?
Da hive -h:  --hiveconf <property=value> Use value for given property --hivevar <key=value> Variable subsitution to appl...
chiesto 1 anno fa
16 voti
4 risposte
Grep su più file in Hadoop Filesystem
Sto lavorando con Hadoop e ho bisogno di trovare quale dei ~ 100 file nel mio filesystem Hadoop contengono una certa stringa. Riesco a vedere...
chiesto 5 anni fa
17 voti
5 risposte
Comando Hadoop non trovato
Ho installato e configurato hadoop in una macchina Linux. Ora sto cercando di eseguire un lavoro MR di esempio. Ho avviato il hadoop tramite il...
chiesto 5 anni fa
34 voti
7 risposte
Hadoop 2.2 Installazione `. ' Nessun file o directory con questo nome
Ho installato Hadoop e HDFS usando questo tutorial  http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html Tutto va ben...
chiesto 5 anni fa
31 voti
3 risposte
Perché abbiamo bisogno di ZooKeeper nello stack Hadoop?
Sono nuovo di Hadoop /ZooKeeper. Non riesco a capire lo scopo di utilizzare ZooKeeper con Hadoop, è ZooKeeper scrivere i dati in Hadoop? Se no,...
chiesto 3 anni fa
27 voti
6 risposte
Apache Storm rispetto a Hadoop
In che modo Storm si confronta con Hadoop? Hadoop sembra essere lo standard defacto per l'elaborazione in batch su larga scala open source, Stor...
chiesto 3 anni fa
13 voti
7 risposte
Come connettersi a Hadoop / Hive da .NET
Sto lavorando a una soluzione in cui avrò un cluster Hadoop con Hive in esecuzione e voglio inviare lavori e query hive da un'applicazione .NET...
chiesto 8 anni fa
17 voti
4 risposte
Hadoop gzip file compressi
Sono nuovo di hasdoop e cerco di elaborare il dump di wikipedia. È un file xml compresso con gzip da 6,7 ​​GB. Ho letto che hadoop supporta i fi...
19 voti
6 risposte
Esiste un equivalente a `pwd` in hdf?
Ho provato a fare hdfs dfs -pwd, ma quel comando non esiste. Così attualmente sto facendo il hdfs dfs -ls .. seguito da hdfs dfs -ls ../... H...
chiesto 5 anni fa
39 voti
8 risposte
Cos'è l'RDD nella scintilla
La definizione dice:    RDD è una raccolta distribuita di oggetti immutabile Non capisco cosa significhi. È come i dati (oggetti partizio...
chiesto 3 anni fa
22 voti
1 risposte
Creare una tabella temporanea in Hive?
Hive supporta tabelle temporanee? Non riesco a trovarlo nei documenti di apache.      22 1 risposte                              1        ...
chiesto 8 anni fa
38 voti
5 risposte
Autorizzazione negata a hdfs
Sono nuovo nel file system distribuito hadoop, ho fatto l'installazione completa di hadoop single node sulla mia macchina.but dopo che quando ho...
chiesto 4 anni fa
17 voti
7 risposte
Pyspark - i file -py non funzionano
Uso questo come suggerito dal documento http://spark.apache.org/docs/1.1 .1 /submitting-applications.html spsark versione 1.1.0  ./spark/...
chiesto 4 anni fa
23 voti
3 risposte
Chiavi primarie con Apache Spark
Ho una connessione JDBC con Apache Spark e PostgreSQL e voglio inserire alcuni dati nel mio database. Quando utilizzo la modalità append, devo s...
26 voti
6 risposte
LeaseExpiredException: nessun errore di lease su HDFS
Sto provando a caricare i dati di grandi dimensioni su HDFS e talvolta ricevo l'errore di seguito. qualche idea del perché? L'errore:  org....
chiesto 7 anni fa
73 voti
10 risposte
unire i file di output dopo la fase di riduzione
In mapreduce ogni task di riduzione scrive il suo output in un file chiamato part-r-nnnnn dove nnnnn è un ID di partizione associato all'att...
chiesto 4 anni fa
11 voti
2 risposte
Come suggeriresti di eseguire "Partecipa" con lo streaming Hadoop?
Ho due file, nei seguenti formati:  field1, field2, field3 field4, field1, field5 Un numero di campo diverso indica un significato diverso....
chiesto 5 anni fa
14 voti
3 risposte
connessione hbase rifiutata
Sono nuovo per HBase e Hadoop . Ho completamente configurato HBase e iniziato perfettamente. Ora, quando ho provato a connettermi da p1 a H...
chiesto 2 anni fa
28 voti
3 risposte
Che cos'è Google Dremel? In cosa differisce da Mapreduce?
Dremel di Google è descritto qui . Qual è la differenza tra Dremel e Mapreduce?      28 3 risposte                              3        ...