Windows

Hadoop erhält mehr Suche mit MapR, Cloudera-Versionen

How to install Cloudera QuickStart VM on VMware

How to install Cloudera QuickStart VM on VMware
Anonim

Benutzer der Hadoop-Datenverarbeitungsplattform haben nun zwei weitere Tools, mit denen sie ihre Berge von Informationen sortieren können.

MapRs neue M7-Distribution entfernt die Hadoop-JVM-Layer, um die Leistung zu verbessern

Hadoop Der Distributor MapR hat die LucidWorks Search in eine eigene Distribution integriert. Cloudera hat unterdessen die erste vollständige Version seiner Impala SQL-Abfrage-Engine für Hadoop veröffentlicht.

[Lesen Sie weiter: Die besten TV-Streaming-Dienste]

"Die Suche als Benutzeroberfläche für Big Data ist sehr interessant. Die Suche ist sehr gut geeignet, um viele verschiedene Arten von Informationen zu nutzen, insbesondere unstrukturierte Informationen ", sagte Jack Norris, Chief Marketing Officer von MapR. "Wir sehen einige wirklich interessante Anwendungen mit Suchmaschinen im Kern, auch wenn ein typischer Benutzer sie nicht als Suchmaschinen-getrieben betrachten würde."

LucidWorks Search ist die kommerzielle Version des Open-Source-Apache Lucene / Solr voll -Text Suchmaschine. Mit der neuen MapR-Integration kann LucidWorks Search entweder Daten auf den Hadoop-Dateisystemen (HDFS) oder auf Dateien anderer Dateisysteme durchsuchen.

LucidWorks Search bietet Snapshots und Mirrors für hohe Verfügbarkeit und macht viel Arbeit überflüssig Installieren Sie Lucene / Solr von Grund auf neu. Es bietet auch native Unterstützung für mehr Datenquellen, eine grafische Benutzeroberfläche und ein Sicherheitsframework.

Die Suchmaschine kann in einer dynamischen Webanwendung verwendet werden, um schnell Fotos, Werbung, Produktempfehlungen und andere verwendbare Informationen abzurufen um Websites im laufenden Betrieb zu füllen. "Dies ist kein kostengünstigerer Ersatz für Data Warehouses. Hier geht es darum, neue Datenquellen zu nutzen und einige Dinge zu tun, die sich dramatisch auf das Geschäft auswirken ", sagte Norris.

MapR und LucidWorks arbeiten seit 2011 gemeinsam an einer gemeinsamen Marketingvereinbarung für ihre Technologien. Anfang des Jahres veröffentlichten sie einen Connector, der die Verwendung von Lucene / Solr mit der MapR Hadoop-Distribution erleichtert.

LucidWords Search arbeitet mit der neu veröffentlichten Map M7-Distribution in Beta-Form. Zusätzlich zur Unterstützung der LucidWorks-Suche wurde die M7-Edition neu gestaltet, um Kompaktierungen oder Hintergrundkonsistenzprüfungen zu eliminieren und so die Performance zu beschleunigen.

Ebenfalls in dieser Woche veröffentlichte Cloudera die Version 1.0 von Cloudera Impala, einer Open-Source-SQL-kompatiblen Abfrage-Engine für Hadoop. SQL ist die Datenbankschnittstellensprache, die in relationalen Datenbankverwaltungssystemen (RDMS) verwendet wird und von Datenbankadministratoren gut bekannt ist.

Impala wurde entwickelt, um Abfragen schneller auszuführen als Hadoops Hive, da es das MapReduce-Framework nicht benötigt Suchergebnisse werden auf die Festplatte geschrieben. Stattdessen können Benutzer Daten, die in HDFS und HBase gespeichert sind, direkt abfragen. Benutzer können Daten entweder interaktiv oder über Batch-Prozesse abfragen.

Cloudera veröffentlichte im Oktober letzten Jahres eine Beta-Version dieser Engine. Seitdem wurde die Software von Unternehmen wie 37signals und Expedia getestet.

Impala ist die Kernkomponente des Cloudera Enterprise RTQ (Real-Time Query) Zusatzpakets für die Cloudera Hadoop-Plattform. Impala kann kostenlos heruntergeladen werden.

Aktualisiert am 6. Mai, um Informationen zur Cloudera Impala-Technologie zu korrigieren.