Neu In MarkLogic 9
Neu inMarkLogic 9WHITEPAPER MAI 2017Die beste Datenbank der Welt für die Datenintegration ist jetzt noch besser: Mit MarkLogic 9präsentieren wir unser bislang anspruchsvollstes Release. MarkLogic 9 umfasst wichtige neueFunktionen zur Verbesserung von Datenintegration, Sicherheit und Management – entwickelt, umdie Datenintegration aus Silos einfacher und schneller zu gestalten.
ContentsEinführung. 2Schnellere, einfachere Datenintegration. 3Entity Services: Modellbasierte Datenintegration für Entitäten, mit denen Ihr Unternehmen arbeitet.3MarkLogic Optic API: Verknüpfungen und Aggregationen über Dokumente hinweg.4Template Driven Extraction: Spezielle Ansichten für Ihre Dokumente.5ODBC-Treiber: Bessere Integration mit BI und Analytics Tools.5Data Movement SDK: Massendatenbewegung mit Java.6Marktführende Datensicherheit. 6Verschlüsselung: Erweiterte Verschlüsselung im Ruhezustand.6Sicherheit auf Elementebene: Granulare Sicherheit auf Dokumenten-Unterebene.7Schwärzen: Exportkontrolle verhindert das Teilen sensibler Daten.8Verbesserte Handhabbarkeit. 8Ops Director: Verständlicher Überblick über das MarkLogic-System.9Noch mehr Verbesserungen. 9Erste Schritte mit MarkLogic 9. 11
EINFÜHRUNGLebenszyklus verwalten und vor zunehmendenCyberangriffen schützen. Seit über einem Jahrzehntdient MarkLogic als Fundament für erfolgskritischeUmgebungen. Die neuen Sicherheits- undDatenschutzfunktionen festigen die Position vonMarkLogic als eine der vertrauenswürdigsten NoSQLDatenbanken für die Data Governance. MarkLogic 9bietet jedoch weitaus mehr und ist auf dem bestenWeg, zur sichersten Datenbank auf dem Marktzu werden.MarkLogic 9 ist das bislang anspruchsvollsteRelease der weltbesten Datenbank zur Integrationvon Daten aus Silos – im wahrsten Sinne desWortes: MarkLogic 9 umfasst mehr neue Funktionenund Updates als jede andere Version. Die neue,verbesserte Funktionalität konzentriert sich aufdrei Kernbereiche: Datenintegration, Sicherheitund Management. MarkLogic war zwar bereitsdie beste und sicherste NoSQL-Datenbank für dieDatenintegration, doch mit den neuen robustenAdmin-Tools legt MarkLogic 9 auch in diesenPunkten die Messlatte höher. Diese Verbesserungenpositionieren MarkLogic als führende Datenbankeiner neuen Generation, mit der Sie alle Ihre Datenaus Silos integrieren und moderne, transaktionaleAnwendungen bedarfsgerecht ausführen können.BESSERES MANAGEMENT FÜRMEHR PRODUKTIVITÄTAngesichts der schnell steigenden Fülle vonAnwendungen und Diensten weltweit brauchenDatenbankadministratoren (DBA) bessere Tools, umdieses rasante Wachstum zu bewältigen. MarkLogic 9bietet neue Funktionen, die eine einheitlichereVerwaltung weltweit verteilter MarkLogic-DatenbankCluster während ihres gesamten Lebenszykluserlauben. Mit einem umfassenderen Überblick überdas System und einem optimierten Admin-Toolsprofitieren Datenbankadministratoren (DBA) von einerstärkeren Automatisierung. So bleibt mehr Zeit fürAufgaben, die zur Wertschöpfung für das gesamteUnternehmen beitragen.SCHNELLERE, EINFACHERE DATENINTEGRATIONDANK DER MULTI-MODELL-FUNKTIONENVON MARKLOGICHerkömmliche relationale Ansätze gehen immermit einem Kompromiss zwischen Flexibilität undGovernance einher und begrenzen Sie bei derIntegration von Daten auf ein starres, tabellarischesDatenmodell. MarkLogic 9 bringt zahlreicheNeuerungen, die Sie von diesem „Zwangskorsett“befreien. Die Datenintegration funktioniert dadurcheinfacher und iterativer, damit Sie schneller nochumfassender von Ihren Daten profitieren. Sie könnenalle Ihre Daten in Silos – ob relational oder nichtrelational – in einer einzigen, einheitlichen Plattformzusammenführen, die eigens für Vielseitigkeitentwickelt wurde. Und mit MarkLogic 9 entscheidenSie allein, wie auf Ihre Daten zugegriffen werden darf.Mit den neuen SQL-Funktionen können Sie Datenals Dokumente, Grafiken oder relationale Datenanzeigen. Modelle lassen sich sogar kombinieren.Dank dieser beispiellosen Flexibilität können Sie aufkostspielige, komplizierte ETL-Prozesse verzichtenund profitieren von einer besseren Verwaltungder Entitäten und Beziehungen, mit denen IhrUnternehmen arbeitet.ZUSÄTZLICHE ERWEITERUNG VON MARKLOGICFUNKTIONENNeben Verbesserungen in den thematischen BereichenDatenintegration, Management und Sicherheit bietetMarkLogic 9 viele weitere zusätzliche Funktionen undErweiterungen. Compliance-Archive vereinfachen dasSpeichern, Verwalten und Sichern historischer Datenund ereignisbasierter Richtlinien. Tiered Storage – eineFunktion zum Verschieben von Daten auf günstigeSpeichermedien – ist jetzt noch schneller und flexibler.Geodaten liefern zusätzliche Aussagekraft undPräzision. Suchabfragen sind dank der erweitertenSprachunterstützung und anderer Verbesserungenjetzt noch stabiler. Die Abfrage-Konsole funktioniertjetzt mit JavaScript-Profiling und automatischemVervollständigen. Und wir unterstützen jetzt auch dieAusführung von MarkLogic in der Microsoft AzureCloud. Ganz zu schweigen von Hunderten weitererVerbesserungen, die die Messlatte für EnterpriseNoSQL um einiges höher legt.BESSERE DATA GOVERNANCE UND INTELLIGENTESICHERHEITSFUNKTIONENWas wäre der Sinn einer Integration von Daten ausSilos, wenn diese Daten nicht ordnungsgemäßgehandhabt und gesichert werden können?MarkLogic 9 wurde mit neuen Funktionen entwickelt,die Ihre integrierten Daten während des gesamten2
bsidaryANY ENTITY SERVICES: Provides a model to design applications around real-world concepts, or entities, like Customers and Products.SCHNELLERE, EINFACHEREDATENINTEGRATIONabzufragen – ohne die zugrunde liegenden Datenzu verändern. Sie können sogar Triples-Linsen fürIhre Dokumentdaten anwenden und Abfragen mitSPARQL oder der neuen Optik-API definieren.Zwei der wichtigsten Alleinstellungsmerkmale vonMarkLogic sind das flexible Datenmodell und dieausgefeilten Indexfunktionen. Gemeinsam sorgensie dafür, dass die Integration von Daten aus Silosschneller erfolgt und weniger riskant ist. MarkLogic 9bietet mehrere neue Funktionen, die genau dieseBesonderheiten nutzen, um die Datenintegrationnoch schneller, einfacher und leistungsstärkerzu gestalten.Die SQL Engine in MarkLogic 9 wurde von Grundauf überarbeitet. SQL läuft damit noch schneller.ODBC-Treiber Auch der Zugriff funktioniert schneller,wodurch MarkLogic noch besser in Ihre Toolsfür Business Intelligence und Analytics integriertist. Aber was wäre der Datenzugriff Wert, wennDaten nicht leicht in MarkLogic geladen oder ausMarkLogic gezogen werden könnten? Mit der DataMovement SDK – eine neuartige Java-Bibliothekfür Anwendungen – können Sie große Datenmengeninnerhalb eines MarkLogic-Clusters verschieben.Zu diesen neuen Funktionen gehören die EntityServices, mit denen sich geschäftliche Entitäten(Kunden und Aufträge, Handelsvorgänge undGegenparteien, Anbieter und Ergebnisse usw.)mit gewünschter Detailtiefe katalogisieren undverwalten lassen. Die neue Optik-API bietet eineeinzigartige Flexibilität: Entwickler erhalten damiteine nahtlose Schnittstelle für Abfragen aller Datenmit JavaScript, XQuery, Java oder Node.js. Mit derOptik-API werden auch effiziente Verknüpfungen undAggregationen über Dokumente hinweg möglich –damit ist MarkLogic die einzige Datenbank auf derWelt, die so etwas kann. Die Technologie, die diesermöglicht, ist die Template Driven Extraction(TDE). Hiermit können Sie eine relationale Linseüber Ihre Dokumentdaten legen, um Teile Ihrer Datenmit Standard-SQL oder über die neue Optik-APIENTITY SERVICES: MODELLBASIERTEDATENINTEGRATION FÜR ENTITÄTEN, MITDENEN IHR UNTERNEHMEN ARBEITETMit seinem flexiblen Datenmodell und der Fähigkeit,mehrere Schemas gleichzeitig zu speichern,ist MarkLogic die ideale Datenbank für dieDatenintegration. Aber Unternehmen brauchen nichtnur die Möglichkeit, gleichzeitig mehrere Schemaszu speichern. Sie müssen auch feste, vorhersehbareAspekte der Daten abfragen können, die realeDinge oder Entitäten repräsentieren. Beispielefür solche Entitäten sind Kunden und Aufträge,3
Handelsvorgänge und Gegenparteien oder Anbieterund Ergebnisse.und aktualisieren lassen. Aber viele Fragen basierenauch auf den Beziehungen zwischen Entitäten. Insolchen Fällen brauchen Sie Verknüpfungen undAggregationen über Dokumente hinweg.Das Problem mit herkömmlichen relationalenDatenbanken ist ihr statisches Datenbankmodellund dass sie nur ein Schema speichernkönnen. Dies gestaltet das Management vonEntitäten extrem schwierig. Der Kontext unddie Bedeutung der Daten “sich überall – inDatenbankabfragen, Anwendungscode, veraltetenAnwendungsspezifikationen und Diagrammen überEntitäten-Beziehungen – außer in der Datenbank. Dasbedeutet, dass es quasi unmöglich ist, Daten sinnvollzu interpretieren:Die innovative Optik-API vereint die relationaleWelt und die Welt der NoSQL-Dokumentemit dokumentübergreifenden Verknüpfungenund Aggregationen. MarkLogic ist die einzigeDatenbank der Welt, die dazu in der Lage ist. Eineder Funktionen, die hierfür verwendet wird, ist dieTemplate Driven Extraction (TDE). Damit werdenrelationale „Linsen“ über Dokumente gelegt.Diese Ansichten basieren auf Vorlagen, die dieTeile eines Dokuments festlegen, die in einer Zeileangezeigt werden sollen. Eine Vorlage verändert IhreDokumente in keiner Weise. Sie verändert nur dieArt und Weise, wie die Indizierung anhand der Werteerfolgt, die das Dokument enthält.Welche Daten stellen einen Kunden zutreffend dar?Was sind die definierenden Eigenschaften? In welcherBeziehung stehen diese zu anderen Entitäten? WelcheSysteme können Kunden generieren? Wie werdenKunden in Anwendungen dargestellt? Welche Kundenerfüllen nicht die Geschäftsregeln?Sie können dann auf Ihre Daten zugreifen und dieDaten durch Ihre Linsen betrachten. Beidesfunktioniert über SQL oder die API. Mit der Optik-APIerhalten Sie eine Volltextsuche für Dokumente, dieSie als Filter, für Zeilenoperationen, zum Aggregierenoder Abfragen von Daten oder auch zumZusammenstellen von Dokumenten bei der AusgabeEntity Services liefert eine bessere Methode, umEntitäten sowie die sich ständig verändernden Datenzu verwalten. Sie können sich dies als ein Verzeichnisvorstellen, das als Referenz für Ihre Entitäten undBeziehungen dient und das die Handhabung undProgrammierung von Daten einfacher gestaltet.DDateneigentümer können mit Entity Services einModell entwickeln, das Governance-RichtlinienSundDatenregeln in der Datenbank erfasst, zu dersie gehören. DEntwickler können Entity Services inmodellbasierte Workflows einbinden, um automatischDatentransformationen, Validierungsregeln,Indexkonfigurationen und SQL-Ansichten zu erstellen,die allesamt Fehler reduzieren und dazu beitragen,EÄnderungen gerecht zu werden.OPTIC APIAGGREGATESJOINSMARKLOGIC OPTIK-API:VERKNÜPFUNGEN UND AGGREGATIONEN ÜBERDOKUMENTE HINWEGDOCUMENTS(SEARCH)Dokumentendatenbanken bieten eine natürliche,denormalisierte Repräsentation von Daten, beidenen Dokumente Entitäten in ihrer Gesamtheitohne Verknüpfungen oder Komplexität darstellen.Der Vorteil dieses Datenmodells liegt darin, dasses den Kontext beibehält sowie Entwicklungs- undSuchfunktionen unterstützt. Dies ist möglich, weilsich alle Informationen über eine Entität an einereinzigen Stelle befinden und sich effizient abfragenRELATIONAL(SQL)SEMANTICS(SPARQL)Abbildung 2: Die neue Optik-API bietet eine Schnittstelle für nativeAbfragesprachen, um Verknüpfungen und Aggregationen überDokumente hinweg auszuführen.4
verwenden können. Sie können bei der Optik-APIsogar mehrere Linsen in einer einzigen Abfrage(einschließlich Triples) kombinieren.handhabt. Aber vielleicht möchten Sie einige TeileIhrer Daten aus relationaler Sicht ansehen und dieseDaten wie gewohnt mit SQL abfragen.Entwickler profitieren von der Einfachheit einereinheitlichen Abfrage-Schnittstelle und einereffizienten, datenbankinternen Verarbeitung. DieOptik-API ist für alle von MarkLogic unterstütztenSchnittstellen verfügbar: Java, JavaScript undREST für den Client sowie JavaScript und XQueryfür den Server. Jede Implementierung übernimmtsprachspezifische Muster, sodass Entwickler, die mitrelationalen Datenbanken Erfahrung besitzen, dasKonzept als vertraut empfinden und dank der Syntaxbisherige Programmierkenntnisse leicht übertragenkönnen. Beispielsweise muss nicht erst ein Stringprogrammiert und für die eigens für diesen Zweckvorgesehene Abfrage-Sprache (SQL oder SPARQL)angepasst werden. Stattdessen können Sie IhreAbfrage mit der Programmiersprache durchführen,Mit der Template Driven Extraction (TDE) könnenSie Teile Ihrer Dokumentdaten mit einer relationalenAnsicht überlagern, ohne dass die Dokumentegeändert werden. Wir nennen das die relationaleLinse. Mit einer Vorlage können Sie relationale Linsenüber ein Dokument legen und genau angeben,welche Teile eines Dokuments als Spalten in einerAnsicht dargestellt werden sollen. Wenn Sie dieseVorlage in die Datenbank einfügen, wird eine SQLAnsicht erstellt und die Indexe werden entsprechendaufgefüllt. Sie können dann die Abfrage in SQL (beimServer mit SQL oder ODBC) oder über die Optik-APIvornehmen. Dies ist besonders praktisch, wenn SieBerichte und Visualisierungen mit Tools erstellenwollen, die sich SQL kommunizieren, oder wenn SieEntitäten verknüpfen und dokumentübergreifendeAggregationen vornehmen wollen.die Sie bevorzugen.Sie können mit TDE auch eine semantische Linsedefinieren. Dafür geben Sie einfach an, welche Datenaus einem Dokumentenbestand RDF-Triples bilden,die dann im Triple-Index indiziert werden. Auf dieseWeise werden die Daten mit SPARQL oder der OptikAPI abfragbar.1DATA ARQL)Mit TDE werden Vorlagen vollkommen unabhängigvon den Dokumenten – sie verändern Ihre Dokumentein keiner Weise. Sie verändert nur die Art und Weise,wie die Indexe anhand der Werte aufgefüllt werden,die die Dokumente enthalten.LENS TEMPLATESODBC-TREIBER: BESSERE INTEGRATIONMIT BI UND ANALYTICS TOOLSXMLDank der besseren SQL Engine von MarkLogic 9laufen Business Intelligence und Analytics Toolsstabiler und problemloser. Die neue SQL Enginelässt sich einfacher einrichten, für mehr Spalten(ohne Memory-Mapped-Index) skalieren und führtAbfragen schneller aus. Die neue SQL Engine trägtzur besseren Nutzung von BI-Investitionen bei, dieviele MarkLogic-Nutzer wegen der Standardisierungfür ODBC-Verbindungen getätigt haben. MarkLogicunterstützt ODBC-Verbindungen seit Version 6. Mitder überarbeiteten SQL Engine profitiert der ODBCTreiber von Funktions- und LeistungsverbesserungenJSONAbbildung 3: Mit Template Driven Extraction (TDE) können Sie sichIhre Dokumente durch relationale und semantische Linsen ansehen.TEMPLATE DRIVEN EXTRACTION:SPEZIELLE ANSICHTEN FÜR IHRE DOKUMENTEinnerhalb der MarkLogic-Architektur.MarkLogic unterstützt das Dokumentmodell. Dahinterverbirgt sich ein flexibler, schema-agnostischerAnsatz, der Rich Data (wie JSON oder XML) nativ1 Laden Sie sich das Datenblatt zum flexiblen Datenmodell und das Semantik-Datenblatt herunter, um sich genauer über die Multi-Modell-Funktionen vonMarkLogic zu informieren.5
MARKTFÜHRENDEDATENSICHERHEITDATA MOVEMENT SDK:MASSENDATENBEWEGUNG MIT JAVAMit MarkLogic lassen sich einfach Daten in eineDatenbank verschieben, aus einer Datenbankverlagern oder innerhalb einer Datenbank bewegen.Sie können z. B. das Laden großer Datenmengenaus Altsystemen, das Erstellen umfassender Berichteoder die Umwandlung von Millionen Dokumentenin einem Arbeitsschritt einfach in die Nachtstundenverlegen.Datensicherheit und Datenschutz besitzen in jedemUnternehmen Priorität. MarkLogic 9 bietet deshalbleistungsstarke neue Funktionen für beide Bereiche.Daten, Konfigurationsinformationen und Protokollelassen sich per Verschlüsselung im Ruhezustandvollständig schützen. Zudem gibt es eine nochgranularere Sicherheit auf Elementebene. Diesebietet Zugriffskontrolle auf Ebene der XML-Elementeoder JSON-Eigenschaften innerhalb von Dokumentenund zusätzlich zur vorhandenen Sicherheit aufDokumentebene. Zudem lassen sich Adressenaus Datenschutzgründen schwärzen, wobei beimImportieren, Exportieren oder Kopieren von DatenInformationen entfernt oder maskiert werden können.Dies verhindert unbefugte Zugriffe aufsensible Informationen.MarkLogic 9 bietet zudem ein neues SDK-Kit fürdie Softwareentwicklung als Teil der vorhandenenJava API. Dieses Data Movement SDK ermöglichtEntwicklern die einfache Einbeziehung vonMassendatenbewegungen in Java-Anwendungen.Das Data Movement SDK übernimmt die gesamtekomplizierte Abstimmung, die ein parallelerDatenbankzugriff und eine ständige Verfügbarkeiterfordern – selbst wenn sich der MarkLogic-Clusterändert (z. B. beim Hinzufügen von Knoten).VERSCHLÜSSELUNG: ERWEITERTEVERSCHLÜSSELUNG IM RUHEZUSTANDDas Data Movement SDK ergänzt die bisherige JavaClient API um eine asynchrone Schnittstelle zumLesen, Schreiben und Umwandeln von Daten ineinem MarkLogic-Cluster. Damit sind Integrationenin vorhandene ETL-Abläufe möglich, wenn z. B.Datenströme aus einer Nachrichtenwarteschlangegeschrieben oder relationale Daten über JDBC oderORM (Object-Relational Mapping) übertragenwerden sollen.Zunehmende interne und externeSicherheitsbedrohungen, umfassendere ComplianceAnforderungen und Cloud Computing sind nureinige Gründe, warum die Verschlüsselungwichtig ist. Nehmen wir beispielsweise folgendeSzenarien, die in der Praxis häufig vorkommen:ein Systemadministrator mit uneingeschränktemZugriff auf die Dateien auf einem Server,unberechenbare Attacken, mit denen sich HackerZugang verschaffen, oder eine Datenbank, die beieinem Cloud-Anbieter gehostet wird, über den Siekeine Kontrolle haben. Ohne Verschlüsselung –und auch trotz Dateiverschlüsselung – können derSystemadministrator, der Cloud-Anbieter oder derHacker auf Dateien zugreifen und diese verändern,einschließlich der Dateien in Ihrer Datenbank.Zu den wichtigsten Einsatzbereichen für dasData Movement SDK gehören: Erfassen von großen Datenmengen oder -strömenaus einer beliebigen Java I/O-Quelle, die Ihrengesamten Cluster zur LeistungserweiterungnutzenMassenverarbeitung von Dokumenten direkt inder Datenbank mit JavaScript oder XQuery-Code,der per Remote-Zugriff über Java gestartet undinnerhalb der Datenbank – nahe den Daten –ausgeführt wird.Exportieren von Dokumenten basierend aufeiner Abfrage, optional mit Aggregation zu einemeinzigen Artefakt wie z. B. CSV-ZeilenDie Verschlüsselung ist eine neue Funktion vonMarkLogic 9, mit der Daten, Konfigurationenund Protokolle transparent verschlüsselt werdenkönnen. Das bedeutet, dass MarkLogic-Dateien aufFestplatten im Ruhezustand verschlüsselt werden,sodass kein Zugriff außerhalb von MarkLogic möglichist. Diese Funktion erfordert keine Anpassung
Die innovative Optik-API vereint die relationale Welt und die Welt der NoSQL-Dokumente mit dokumentübergreifenden Verknüpfungen und Aggregationen. MarkLogic ist die einzige Datenbank der Welt, die dazu in der Lage ist. Eine der Funktionen, die hierfür verwendet wird, ist die Template Driven Extraction (TDE). Damit werden
(Both Docker and Kubernetes) Emma Liu Product Manager, MarkLogic . Vitaly Korolev. Staff QA Engineer, MarkLogic . Setup MarkLogic Docker in 3 Easy Steps DEVELOPING & TESTING MADE EASY DOCKER FILE. Dependencies. Expose ports. 1. MARKLOGIC IMAGE. Docker build. 2. RUN MARKLOGIC DOCKER CONTAINER.
MarkLogic Server SQL on MarkLogic Server MarkLogic 10—May, 2019 SQL Data Modeling Guide—Page 5 1.2 Schemas and Views Schemas and views are the main SQL data-modeli ng components used to represent content stored in a MarkLogic Server database to SQL clients. A view is a virtual read-only table that represents
MarkLogic Server Table of Contents MarkLogic 10—May, 2019 Application Developer’s Guide—Page 6 10.3 Specifying Point-In-Time Queries in xdmp:eval, xdmp:invoke, xdmp:spawn, and
Enterprise NoSQL is a NoSQL database you would bet your business on—a database like MarkLogic. The MarkLogic database moves easily between the schema-less approach used for advanced web, rich content, and document solutions, as well as full ACID transaction processing. Its native shared-nothing architecture enables near-
MarkLogic Server Java Application Developer's Guide 1 MarkLogic 8 February, 2015 Last Revised: 8.0-7, August, 2017
Reallocation Payments Made 1,207: Wataga village: IL3234: TOTAL 1st Tranche for IL NEU 1,213: Wenonah village IL3441: IL NEU Support Team FAQ NEU Reallocation and Tranche 1 Closeout summary: NEUs which declined or were non-responsive to the funding opportunity *Based on US Treasury guidance, the maximum amount of funds an NEU may receive from the
Titres négociables à court terme (Negotiable European Commercial Paper - NEU CP-)1 Programme non garanti . moyen-terme-neu-cp-neu-mtn 1 Dénomination commerciale des titres définis à l’article D.213-1 du Code monétaire et financier . 2 1.
American Gear Manufacturers Association 500 Montgomery Street, Suite 350 Alexandria, VA 22314--1560 Phone: (703) 684--0211 FAX: (703) 684--0242 E--Mail: tech@agma.org website: www.agma.org Leading the Gear Industry Since 1916. May 2004 iii Publications Catalog How to Purchase Documents Unless otherwise indicated, all current AGMA Standards, Information Sheets and papers presented at Fall .
