Business Intelligence Master Data-Science ETL Et Datawarehouse - LIP6
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseBusiness IntelligenceMaster Data-ScienceETL et DatawarehouseLaure SOULIER - laure.soulier@lip6.frSorbonne Université28 janvier 2019Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseRappelL’Informatique Décisionnelle (ID), en anglais Business Intelligence(BI), est l’informatique à l’usage des décideurs et des dirigeantsdes entreprises. Les systèmes de ID/BI sont utilisés par lesdécideurs pour obtenir une connaissance approfondie de l’entrepriseet de définir et de soutenir leurs stratégies d’affaires, par exemple :d’acquérir un avantage concurrentiel,d’améliorer la performance de l’entreprise,de répondre plus rapidement aux changements,d’augmenter la rentabilité, etd’une façon générale la création de valeur ajoutée del’entreprise.et à créer de nouveaux services.Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseLes fonctionsDifférents ”métiers” :Data IntegratorData AnalystData Scientist Data Steward (Responsable des données)Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseLes fonctions de la BIPlan du coursFonction de collecte de donnéesFonction d’intégrationFonction de diffusion (ou distribution)Fonction présentationAujourd’hui : Collecte de données intégrationLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseL’architecture classique de la BILaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesDonnées de l’entrepriseLes données de l’entreprise sont stockées dans des systèmestransactionnels qui enregistrent les données quotidiennes.Différentes sources de données :Fichiers Excel.ERPsSystèmes de CRMsCapteursEt aujourd’hui :Données du WebDonnées sociales : Twitter, .Données des ojets connectésLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesDifficultésSources diverses et disparates ;Sources sur différentes plateformes et OS ;Applications utilisant des BDs et autres technologiesobsolètes ;Historique de changement non-préservé dans les sources ;Qualité de données douteuse et changeante dans le temps ;Structure des systèmes sources changeante dans le temps ;Incohérence entre les différentes sources ;Données dans un format difficilement interprétable ou ambigu.Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesIntégration de donnéesDéfinitionL’intégration de données appelé ETL (Extraction Transfer Loading) regroupeles processus par lesquels les données provenant de différentes parties dusystème d’information sont déplacées, combinées et consolidées. Ces processusconsistent habituellement à extraire des données de différentes sources (basesde données, fichiers, applications, Services Web, emails, etc.), à leur appliquerdes transformations (jointures, lookups, déduplication, calculs, etc.), et àenvoyer les données résultantes vers les systèmes cibles.Source : wikiversity.orgIl existe plusieurs système d’intégration de données :La médiation au service de l’intégration de donnéesd’entreprise (EII).L’intégration de données via les applications (EAI).L’intégration de données via les services Web (ESB, SOA).L’intégration de données en nuage (Data Cloud).L’ETL (Extract - Transform - Load)Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesEII - EAI - ETLSource : IBM Software groupLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesEII - Entreprise Information IntégrationDéfinitionEnterprise Information Integration (EII) est une approched’architecture (voire d’urbanisme) permettant d’obtenir une vueunifiée des données informatiques de l’entreprise.Source : WikipediaLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesEII - CaractéristiquesEn fonction des choix retenus, l’utilisateur aura la possibilité de :modifier les données (et non pas seulement un accès enlecture seule) ;agir en temps réel sur les données (et non pas en différé) ;accéder à des données structurées ;accéder à des données cohérentes ;accéder à des services ;remonter des informations jusque dans le modèle métier(objet) ;Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesEIISource : IBM Software GroupLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesEIISource : IBM Software GroupLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesEAI - Entreprise Application IntegrationDéfinitionL’intégration d’applications d’entreprise est une architectureintergicielle permettant à des applications hétérogènes de gérerleurs échanges. On la place dans la catégorie des technologiesinformatiques d’intégration métier (Business Integration) etd’urbanisation. Sa particularité est d’échanger les données enpseudo temps réel.Source : wikipediaLogique de ”Bus” ou de ”Hub”MessagesLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesArchitecture EAI - ExempleSource : SeraliaLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesEAISource : IBM Software GroupLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesEAISource : IBM Software GroupLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesETL - Etract, Transform, LoadDéfinitionExtract-Transform-Load est connu sous le terme ETL, ouextracto-chargeur, (ou parfois : datapumping). Il s’agit d’unetechnologie informatique intergicielle (comprendre middleware)permettant d’effectuer des synchronisations massives d’informationd’une source de données (le plus souvent une base de données)vers une autre. Selon le contexte, on est amené à exploiterdifférentes fonctions, souvent combinées entre elles : extraction, transformation , constitution ou conversion ,alimentation .Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesArchitecture ETLLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesETLSource : IBM Software GroupLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesETLSource : IBM Software GroupLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesIntégration de donnéesLa médiation au service de l’intégration de donnéesd’entreprise (EII).L’intégration de données via les applications (EAI).L’ETL (Extract - Transform - Load)Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesETL/EII/EAISource : IBM Software GroupLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesETL/EII/EAISource : IBM Software GroupLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseIntégration de DonnéesETL/EII/EAISource : IBM Software GroupLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseConceptionLe rapatriement des données peut se faire de trois façonsdifférentes :Push : la logique de chargement est dans le système deproduction, il pousse les données vers le Staging quand il en al’occasion.Pull : le Pull tire les données de la source vers le Staging.Push-Pull : La source prépare les données à envoyer etprévient le Staging qu’elle est prête. Le Staging va récupérerles données. Si la source est occupée, le Staging fera uneautre demande plus tard.Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDéfinitionDatawarehouseLe terme entrepôt de données (ou base de données décisionnelle,ou encore data warehouse) désigne une base de données utiliséepour collecter, ordonner, journaliser et stocker des informationsprovenant de base de données opérationnelles et fournir ainsi unsocle à l’aide à la décision en entreprise.Source : WikipediaCollecter : Récupérer l’information produite pr l’entrepriseLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDéfinitionDatawarehouseLe terme entrepôt de données (ou base de données décisionnelle,ou encore data warehouse) désigne une base de données utiliséepour collecter, ordonner, journaliser et stocker des informationsprovenant de base de données opérationnelles et fournir ainsi unsocle à l’aide à la décision en entreprise.Source : WikipediaOrdonner : Structurer l’information dans le but de la prise dedécision (structure différente des BDs opérationnelles)Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDéfinitionDatawarehouseLe terme entrepôt de données (ou base de données décisionnelle,ou encore data warehouse) désigne une base de données utiliséepour collecter, ordonner, journaliser et stocker des informationsprovenant de base de données opérationnelles et fournir ainsi unsocle à l’aide à la décision en entreprise.Source : WikipediaJournaliser : Stocker l’historique des donnéesLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDatawarehouseLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDatawarehouseUn entrepôt de données conserve une copie des informations dessystèmes de transaction opérationnels. Il offre la possibilité de :Rassembler des données provenant de sources multiples enune seule base de données afin qu’un moteur de requêteunique puisse être utilisé pour présenter des données.Permettre l’éxécution de requête longues, bloquantes, sur desdonnées opérationnellesMaintenir l’historique des données, même si les systèmes detransaction source ne le font pasIntégrer des données provenant de multiples systèmes sources,permettant une vue centrale dans l’entreprise. Cet avantageest particulièrement valable lorsque l’organisation est issue defusions successivesAméliorer la qualité des donnéesLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDatawarehouseUn entrepôt de données conserve une copie des informations dessystèmes de transaction opérationnels. Il offre la possibilité de :Présenter l’information de l’organisationFournir un seul modèle de données commun pour toutes lesdonnées d’intérêt, indépendamment de la source de donnéesRestructurer les données de sorte qu’elles prennent sens(décisionnel)Ajouter de la valeur aux applications métiers opérationnels,notamment la gestion de la relation client (CRM).Faire des requêtes d’aide à la décision plus faciles à écrire.Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDatawarehouse vs BD opérationnelleLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDatamartDéfinitionUn DataMart (littéralement en anglais magasin de données) est unsous-ensemble d’un DataWarehouse destiné à fournir des donnéesaux utilisateurs, et souvent spécialisé vers un groupe ou un typed’affaire. Techniquement, c’est une base de données relationnelleutilisée en informatique décisionnelle et exploitée en entreprise pourrestituer des informations ciblées sur un métier spécifique,constituant pour ce dernier un ensemble d’indicateurs utilisés pourle pilotage de l’activité et l’aide à la décision.Source : wikipediaLe datawarehouse est Général, le datamart est spécifique à unmétier.Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDatamart vs datawarehouseLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDatamart vs datawarehouseDeux conceptions existantes :Définition d’Inmon : Le DataMart est issu d’un flux dedonnées provenant du DataWarehouse. Contrairement à cedernier qui présente le détail des données pour toutel’entreprise, il a vocation à présenter la donnée de manièrespécialisée, agrégée et regroupée fonctionnellement.Définition de Kimball : Le DataMart est un sous-ensemble duDataWarehouse, constitué de tables au niveau détail et à desniveaux plus agrégés, permettant de restituer tout le spectred’une activité métier. L’ensemble des DataMarts del’entreprise constitue le DataWarehouse.Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDifférentes ArchitecturesLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDifférentes ArchitecturesLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDifférentes ArchitecturesLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDifférentes ArchitecturesLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseDonnées orientées sujetsEn production : données organisées par processus fonctionnelsDatawarehouse : données organisées autour de sujets majeursDonnées structurées par thème, potentiellement transversespar rapport aux domains fonctionnels et organisationnellesExamples (médecine) : Actes, Séjours vs Bases par servicesLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseArchitectureGood DW architecture”It’s not easy to describe a good design, but I’ll know it when I seeit”Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseModèle relationnelNormalisation (3NF)Répond aux besoins transactionnels (OLTP)Avantages :Réduction de l’entrée de donnéesRéduction du nombre d’indexAjouts/destructions/modifications plus rapidesDésavantages :Peu efficace pour l’extraction de données analytiquesBeaucoup de relationsTrop complexe pour l’utilisateur BILaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseModèle relationnelLe modèle relationnel n’est pas (très) approprié pour les DWsLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseModèle dimensionnelPrincipesOn va partir du besoin ”client” (quel analyse ?). On va définir desfaits et des dimensions.Faits : les faits représentent un sujet d’analyse. Les faits sontcaractérisées par plusieurs informationsDimensions : les dimensions sont les critères selon lesquelson souhaite faire de l’analyse.Laure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseModèle dimensionnelLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
IntroductionExtract, Transform and LoadConception d’un ETLDatawarehouseArchitecture d’un datawarehouseModèle dimensionnelAussi connu sous le nom de modèle en étoileLaure SOULIER - laure.soulier@lip6.frBusiness Intelligence Master Data-ScienceETL et Datawarehou
Plan du cours Fonction de collecte de donn ees Fonction d'int egration Fonction de di usion (ou distribution) Fonction pr esentation Aujourd'hui : Collecte de donn ees int egration Laure SOULIER - laure.soulier@lip6.fr Business Intelligence Master Data-ScienceETL et Datawarehouse
Bachelor of Science Source : FSG HEA Office. 1. AS750 Master of Science (Biology) 2. AS780 Master of Science 3. AS751 Master of Science (Applied Biology) . AS760 Master of Science (Applied Physics) 13. AS761 Master of Science (Polymer Science & Technology) 14. AS762 Master of Science (Materials Science &Tec
Business Intelligence Center In this module we are going to explore the Business Intelligence Center site definition that comes with SharePoint 2010. Lessons Business Intelligence Center Lab : Business Intelligence Center After completing this module, students will be able to: 9 Navigate the Business Intelligence Center Site Definition 9 .
Master of Science- Applied Pharmacology Master of Science- Biomedical Research Master of Science- Counselling Master of Science- Cultural Therapy Master of Science- Epidemiology Master of Science- FORENSIC SCIENCE Specializations include: Chemistry; Molecular Biology; Pathology; Toxicology
SAP Business Intelligence. 4. Select . SAP Business Objects Web Intelligence. The Web Intelligence Home Page is displayed: Login to Web Intelligence (Connecting to the Server) 1. Open the . Web Intelligence. menu in the upper left corner of the screen. Note: When you start Web Intelligence from the desktop, you will not be connected to the server.
Business Intelligence Architect Master’s Course 3 P a g e About the Program Our Business Intelligence Architect master's course lets you gain proficiency in Business Intelligence. You will work on real-world projects in Informatica, Tableau, MSBI, Power BI, MS SQL, Data Ware
boost performance. Business Intelligence is a key ingredient of success today, used by forward thinking organisations as a driver for business innovation. That's why Business Intelligence is on every CIO's must-have list" Gartner Business Intelligence Summit 2009. With Sage Business Intelligence Solutions, you have a unified and
Emotional Intelligence 2.0 Travis Bradberry and Jean Greaves Thesis-1: Emotional intelligence is a key factor in people’s success. Thesis-2: There is no known connection between cognitive intelligence and emotional intelligence. Thesis-3: People can increase their emotional intelligence even though cognitive intelligence is set.
Emotional Intelligence and Leadership Emotional Intelligence and Management Emotional Intelligence and Perception Emotional Intelligence and Communication Conclusion Definition of Emotional Intelligence (EI) Emotional Intelligence- capacity to be Aware, Express & Control your Emotions, and handle interpersonal relationships Caringly and .
