Teradata'ya Geçiş İçin Yol Haritası Nezih Sözdinler Teradata Teknoloji Geliştirme Müdürü Neden: Kurumsal Veri Ambarı? Bugün Teknoloji Gereksinimleri İş Gereksinimleri 2 10/1/2014 Gelecek • Yavaş Raporlar • Ölçeklenebilir / Esneklik • Uzun Yükleme Süreleri • Artan kullanıcı sayısı • Yüksek Bakım Maliyetleri • Karmaşık İş Yükü • Konsolidasyon • Yüksek Erişilebilirlik • Karmaşık Alt Yapı • Maliyetleri düşürmek • Limitli raporlar • Yeni yetenekler • Kullanışsız Veriler • In-database hız • Tarihsel Veri ihtiyacı • Büyük Veri fırsatları • Gerçeğin tek versiyonu • Analitik ve Taktik • Finansal Teradata Confidential analizlere yönelik iş yükleri Data Mart konsolidasyonunun gerçek değeri $ Yeni İş Kabiliyetleri Data Mart konsolidasyonunun gerçek değeri Giderlerde Azalma Data Mart 3 10/1/2014 3NF Teradata Confidential İŞ Kabiliyetleri Op. Giderler Neden Teradata? Özellikler Teradata Kurumsal Odak Teradata uçtan uca veri ambarı odağı ile hizmet veren bir firmadır Teknoloji Yol Haritası Her boyuttaki firma için müşteri ihtiyaçlarını adreslemek için tek bir yazılım platformu Niş Platform Datamart çözümünlerinden kurumsal veri ambarı çözümlerine kadar her türlü analitik ihtiyaç için çözümler sunan ölçeklenebilir bir platform Zengin Araçlar Hem yönetimsel hem de sorgu amaçlı sağlanan ve devamlı geliştirilen araçlar Eş Zamanlı Sorgu Sistemdeki her türlü sorgunun istenilen öncelikle yönetilmesini sağlayan bir altyapı Disk Yönetimi Disk Yönetimi, partition bakımı, sık kullanılan verilerin memory’de tutulması gibi işlerin otomatik olarak yapılması Performans Seçenekleri Yazlım altyapımız ile ile çok seviyeli partition, aggregate join index gibi farklı özellikler 4 10/1/2014 Teradata Confidential Neden Teradata? Özellikler Teradata Ölçeklenebilirlik Yeni donanım ihtiyaçlarının müşterilerin beklentilerine göre belirlenerek lineer bir ölçeklenme altyapısı In-Memory Database Desteği Sık kullanılan verilerin In-Memory olarak saklanması ve bu işin sistem tarafından otomatik olarak yapılması Columnar Teradata Hybrid Columnar özelliği ile verinin satır ve kolon yapılarının ihtiyaçlara göre yönetilmesi User Sandboxes Data Lab opsiyonu ile kullanıcılara için otomatik bakımı yapılan bir opsiyon sunulması Tarihsel Sorgular Temporal opsiyonu ile slowly changing dimension bakımının otomatik olarak yapılması Capacity On-Demand İhtiyaç olduğunda kolay bir şekilde lisansların aktif hale getirilmesi Support Farklı seviyelerdeki destek çözümleri ile müşterilerinin hayatını kolaylaştırması 5 10/1/2014 Teradata Confidential Teradata Çok Boyutlu Ölçeklenebilirliği Data Volume (Raw, User Data) Mixed Workload Query Concurrency Active Data Warehousing concurrent ad-hoc and tactical “Iterative”, Ad Hoc Queries Data Analysis/Mining Near real time Daily Data loads Hourly Weekly Data Freshness 10/1/2014 100s of queries 10’s of queries 3-5 Way 5-10 Way Joins Joins 10-20 Way Joins Query Complexity Batch Reporting, Repetitive Queries Simple MB’s Star Reports: posted Multiple, Query results Integrated Governor: query Stars Builder Normalized GB’s Massaged: hand Tuned Multiple, Integrated Ad hoc: Stars and Normalized TB’s Free reign Query Freedom 6 1000s of queries Query Data Volume Teradata Confidential Schema Sophistication Geleneksel Mimarideki Sorunlar Nelerdir? Transactional Users Hub and Spoke Data Warehouse 4. Pahalı Data Replication 2. Gecikme – Veri güncelliği Data Marts Enterprise Information Integration Decision Users Strategic Users 7 10/1/2014 Tactical Users Reporting OLAP Users Teradata Confidential Data Miners Event-driven/ Closed Loop Business & Technology – Consultation Support & Education Services 1.Verinin birden fazla kopyası Operational Data Store (ODS) Enterprise, System, & Database Management Middleware/Enterprise Service Bus Optional ETL Hub Logical Data Model Data Transformation Metadata Transactional Data Physical Data Base Design 3. Karmaşık Entegre, Erişilebilir, Yönetilebilir Audit & Lineage Sources Metadata and Archive Acquisition1 ..n Structured Sources Integrated Data Master Data Access1..n Delivery OLAP Reference Data Reporting Ad hoc Logical Structures (e.g., Views) Structured Data Logs/ Text Variable Structured Data Applications Common Summary Transaction and Data Derived Values 8 Downstream Export Results Loop Files Physical Structures Machine/ Sensor User External Files 10/1/2014 Dashboard Discovery Environment1..n (table or file) Data Mining Delivery Discovery & Investigation Teradata Confidential Geçmiş Dönemde Yapılan Dönüşüm Projelerinin Temel Teknik Kazanımları After Teradata Migration 70% 60% 50% 40% 30% 20% 10% 0% Lines of Code Reduced Job Steps Reduced Load Times ETL Times Reduced Reduced Huge query & concurrent load performance increase! up to 4x-8x for query concurrency and 3x-10x for ad hoc query performance! 9 10/1/2014 Teradata Confidential Teradata’ya Geçiş Yaklaşımımız • Profesyonel Hizmetler > Bütünleşik ve güvenilir geçiş metodolojisi – Kanıtlanmış süreçler – Risk yönetimi Profesyonel Hizmetler takımımız bugüne > Geçiş Araçları kadar 300+ Oracle ve – Migration Estimator 100+ SQL Server – Teradata Migration Accelerator – Teradata Parallel Transporter geçişi gerçekleştirdi – Partner Araçları • Wisdomforce Fastreader, Ab Initio, Informatica, SQL Server Integration Services vb > Deneyimli Kadro – Her endüstriden, ve her bölgede 5000+ danışman 10 10/1/2014 Teradata Confidential Geçiş Süreci Nasıl? • • • • • 11 10/1/2014 Geçiş sürecinin adımları Geçiş tipleri Verinin Taşınması ETL Süreçlerinin taşınması Uygulamaların taşınması Teradata Confidential Teradata’ya geçiş planlaması İlk Adım Proje Başlangıcı • Hızlı proje Değerlendirmesi • 1-3 gün veri ambarının incelenmesi • Hızlı efor ve içerik tahminlemesi • Teradata ve Kurum kaynaklarının atanması • Süreçlerin başlatılması ve yönetimi Proje Öncesi Aktiviteler • • • • • • 12 1-3 haftalık tam değerlendirme Geçiş anketi Tahminleme tablosu Geçiş methodu belirlenmesi Proje Planının oluşturulması Kaynak Planlaması 10/1/2014 İş Bildirisinin Oluşturulması(SOW) Teradata Confidential Geçiş Opsiyonlarını Belirleyen İhtiyaçlar Ölçeklenebilirlik ve Performans Limitleri Maliyetleri Azaltma Entegre Veri –Yeni Veri Modeli Kompleks yapı sorunları Yönetim Sorunları ETL Yükleme Süreleri Yeni İş İhtiyaçları 13 10/1/2014 Teradata Confidential Geçiş Opsiyonları 1:1 Migration Redesign Evolution 14 10/1/2014 Teradata Confidential Geçiş Opsiyonları 1-1 Data Migration (forklift) Data Sources DB 1 DB 2 ETL/ELT Layer - Informatica Data Mart(s)/ ODS/ Data Warehouse BI Layer/ Applications - - Data Stage - Custom Scripts Business Objects Cognos Tableau Microstrategy Reports - Unix Scripts DB 3 Applications Files Data Sources DB 1 DB 2 Data Exports Oracle/DB2/Sybase/ SQL Server ETL/ELT Layer - Informatica - Data Stage Data Mart(s)/ ODS/ Data Warehouse Convert - Custom Scripts BI Layer/ Applications - Business Objects Cognos Tableau Microstrategy Reports - Unix Scripts Convert DB 3 Applications Convert Files 15 Teradata Data Exports Geçiş Opsiyonları Redesign Data Sources DB 1 DB 2 ETL/ELT Layer - Informatica Data Mart(s)/ ODS/ Data Warehouse BI Layer/ Applications - - Data Stage - Custom Scripts Business Objects Cognos Tableau Microstrategy Reports - Unix Scripts DB 3 Applications Files Oracle/DB2/Sybase/ SQL Server Data Exports Migrate Historic Data Data Sources DB 1 DB 2 DB 3 Acquisition and ETL Layer ETL/ ELT tool based on: - Customer req. - Teradata Recommendations Teradata recommended ETL design Integrated Data Warehouse Teradata iLDM REDESIGN Files REDESIGN Teradata 16 BI Layer/ Applications BI / Applications: - Tools selection based on customer requirements - Tools recommended by Teradata REDESIGN Reports Geçiş Opsiyonları Evolution Data Sources DB 1 DB 2 ETL/ELT Layer - Informatica Data Mart(s)/ ODS/ Data Warehouse BI Layer/ Applications - - Data Stage - Custom Scripts Business Objects Cognos Tableau Microstrategy Reports - Unix Scripts DB 3 Applications Files Data Exports Oracle/DB2/Sybase/ SQL Server 1:1 Data Migration Data Sources DB 1 DB 2 DB 3 Files 17 Acquisition and ETL Layer ETL/ ELT tool based on: - Customer req. - Teradata Recommendations Teradata recommended ETL design Integrated Data Warehouse Ad-hoc user access 1 2 3 Teradata iLDM 4 BI Layer/ Applications BI / Applications: - Tools selection based on customer requirements - Tools recommended by Teradata Reports Geçiş Kapsam belirleme:Anket ve Envanter Çalışması Veritabanı Nesneleri ETL İşleri Raporlamalar ve Uygulamalar • • • • • • • • • • • • • • • • • • 18 • Oracle to Teradata Scoping Survey v 4.0 How many databases are being converted? Number of tables What is the version of each database? Number of Views What is the platform (Sun, HP, etc.) and configuration (cpu’s, memory, disk) for each Number of Materialized Views database? ANSI Columns/Non ANSI Columns What is the primary type of schema (Star, 3NF, source system structures, etc)? Core Data Tables Reference/Lookup Tables For each schema how many tables are there? Enter the total number of tables in the Input! D6 cell of the Tablespace Size spreadsheet. Secondary Indexes For each schema how many views are there? Enter the total number of views in the Input!D7 cell of the BLOBS/CLOBS spreadsheet. DB Links For each schema how many ANSI standard columns ETL Tool Used (TYPE & VERSION) are there? Enter the total number of columns in the Input!D8 cell of the spreadsheet. Number of ETL Tool Jobs For each schema how many core data tables are SQL/PLSQL Exits- Cursor or Set there? Enter the total number of core data tables in the Input!D9 cell of the spreadsheet. # Of Extract Jobs SQL Loader Jobs For each schema how many reference/lookup tables are there? Enter the total number of Triggers reference/lookup tables in the Input!D10 cell of the spreadsheet. Dynamic SQL BI Tool (TYPE & VERSION) 10/1/2014 Teradata Confidential PLSQL Applications –Cursor or Set Tahminleme Aracı Summary of Work Conversion Area Man Wks Notes Database & Data Migration 13.60 Assumes a 2 Node System at 100Mbit Application/SQL Conversion 40.15 Check Effort factors & Assumptions BI & Tool Conversion 30.5 Validate Testing Strategy Total Raw Man Weeks 84.25 Factor Additional Testing & QA 8.43 10% Data Model Implementation 2.21 5% New ETL Implementation 2.04 15% Production Implementation 2.00 Final Total 98.92 Of Raw Effort Assumed Forklift New Production Support Procedures 4451.47 Hours Cal Months 19 10/1/2014 Teradata Confidential Weeks for Wk 12.37 3.09 # People 8 Geçiş Metodolojisi Assessment & Design Integration & System Test Build & Unit Test Production Parallel Run Purpose • Existing System Documentation • Build Out Migration Project Plan • Current System Detailed Analysis • Design Purpose • Build Dev Database • Convert Database objects, ETL Code & BI reports • Build out BAR process • Setup and test History Data Migration Process Purpose • Build Test Database • End to End Test of ETL &BI code • Test Historical Data Migration process • Build Deployment Plan Purpose • Build Teradata Prod Env. • Load Historical Data • Deploy ETL and BI code • Run ETL as per prod schedule • Data comparison with Oracle • BI Report and query validation Input Data Flow and ETL flow diagrams Physical Data Models Input ETL & BI Dev environment ready Inventory of Objects Baseline Code Design Documents Historical Data Migration approach Teradata BAR Strategy Unit Test Data Input • Master Test Plan • IST Test Data • Converted ETL and BI code • Oracle Parallel Test Environment • Scheduler changes for ETL code Input • Tested ETL and BI code • Deployment Plan • Initial/Historic Data loaded • Tested Database objects • Tested DB Indexes & access layer • Tested Server connections Output Project Plan Inventory of all DB objects, ETL programs and BI programs Complete inventory of servers and connectivity requirements Developer access for Teradata team** Design Documents** Output Converted Development Database Converted ETL and BI code Historical Data Migration process set up BAR process End User security structure Updated Physical Data Models Connectivity changes in place for dev and test servers Output • Tested ETL and BI code • Deployment Plan • Initial/Historic Data loaded • Tested Database objects environment • Tested DB Indexes & access layer • Tested Server connections • BAR process** • Tested End User security structure Output • Operational Teradata environment • Operational ETL and BI processes • Completed End User Security setup • Teradata TTU pushed to end user desktops/laptops where required Artifacts Project Plan Inventory of Objects Detailed Database Design** Detailed Design Specifications** Historical Data Migration approach document** Teradata Backup Recovery Strategy** Master Test Plan** Artifacts • Teradata Development Database • Updated Physical Data Model • Converted ETL & BI Code • ETL Scheduler changes • Historical Data Migration process set up Artifacts • IST Tested ETL Code • IST Tested Job Schedules • IST Tested BI code • Database Back-up and recovery • Test results • End User Security Structure Artifacts • Productionised Teradata Environment 20 10/1/2014 Teradata Confidential Teradata’ya Geçiş Araçları • Teradata Migration Accelerator (Oracle/DB2’dan Teradata’ya) > Kaynaktan hedefe veritabanı nesnelerinin yaratılması > Teradata Parallel Transporter ile performanslı veri yükleme > PL/SQL ve SQL dönüşümleri > Cursor yaklaşımından Set yaklaşımına kod dönüşümü > Informatica dönüşümü • Teradata OLE DB Access Module > Windows tabanlı kolay kullanımlı veri ve tablo taşıma > Tüm OLE DB kaynaklarına erişim • Wisdomforce FastReader-(partner aracı) > Oracle’dan blok bazlı hızlı veri çıkışı • SwissSQL Console (partner aracı) > Oracle SQL’ini Teradata SQL’ine gerçek zamanlı dönüştürme • Ispire SQL Ways (partner aracı) • SQL Server Integration Services((SQL Server Teradata’ya) 21 10/1/2014 Teradata Confidential Teradata Migration Accelerator Dönüşüm Projeleri Kullanıcılar İşler & Raporlar TMA Ana Ekranı 22 10/1/2014 Teradata Confidential Teradata Migration Accelerator Teradata Veri Tipleri Oracle Veri Tipleri Otomatik veri tipi dönüşümü 23 10/1/2014 Teradata Confidential Teradata Migration Accelerator Schema Taşıma Veri Taşıma Tek bir tuşla dönüşüm Şemaları/Tabloları ve Verileri tek tuşla Teradata’ya taşıyın! 24 10/1/2014 Teradata Confidential Teradata Migration Accelerator SQL ve Stored Procedure Dönüşümü Otomatik SQL , PL/SQL ve SQL+ Dönüşümü 25 10/1/2014 Teradata Confidential ETL ve BI Dönüşümleri Teradata Partner İşbirlikleri BI Araçları • • • • • Portrait Cognos Tableau Microsoft Microstrategy ETL Araçları • • • • • Ab Initio Attensity Attunity Clarabridge DataDirect 26 10/1/2014 • • • • • • • • • • BIS² IBI Safe SAS KXEN • • • • • SPSS TIBCO (Spotfire) SAP NetWeaver SAP Business Objects QlikView Syncsort Talend GoldenGate Harte Hanks IBM InfoSphere Teradata Confidential • • • • • Simba Tech. Speed-Trap Vision Sol. WisdomForce MS SSIS • • • • • Informatica • Composite Software Open Text • Embarcadero Oracle • Expressor SAP BOBJ Software SAS DI Teradata’ya Geçiş Başarı Hikayeleri 27 10/1/2014 Teradata Confidential THY Migration Projesi İhtiyacı THY DWH veri ambarı sistemi, yeni Teradata merkezi veri ambarı çözümüne taşınarak : • Performans ve yönetim problemlerinin giderilmesi • Verilere tek sağlanması bir ortamdan, hızlı ve kolay erişilmesinin • Veri madenciliği ve analitik çözümlerin sunulabilmesi • Dağınık ortamlarda yapılmış ETL geliştirmelerinin ortak bir platformda birleştirilmesi 28 10/1/2014 Teradata Confidential THY Migration Projesi Sonuçları • TMA ile 10 TB Veri Aktarımı • 3000+ tablo aktarımı • 5000 + obje dönüşümü • 500+ OWB job’unun 2000+ üzerinde Datastage ETL job’ına dönüşümü • ETL süreçleri için metadata modeli implementasyonu • 500+ raporun Teradata üzerinde çalışır halde olması • Veri Ambarı sorgularında 100 kata kadar performans artışı 29 10/1/2014 Teradata Confidential Teradata’ya Geçiş Başarı Hikayeleri 30 10/1/2014 Teradata Confidential Proje Öncesi Ortam • • • • • Operational DWH Real Time Data Replication(GG) TT LDM ETL Tool (MS SSIS) OLAP Cubes (MS SSAS) ODS-1 31 EBM 10/1/2014 • • Operational DWH Real Time Data Replication(GG) ODS-2 Teradata Confidential • • Operational Data Center T-1 Reporting DWH ODS-3 Türk Telekom Migration Projesi Projeleri - Migration Mevcut Veri Ambarı EGE\ODS Sybase IQ Sybase IQ ODS-1 EBM ACLDB AKDENIZ\EBM ODS2-2 01.06.2012 15.05.2012 01.06.2012 Analiz Tasarım 05.10.2012 Geliştirme 06.12.2012 Test Canlı Kullanım • 185 TB verinin, 12.000 tablonun taşınması • 22 şemanın Golden Gate replikasyonu (4000 tablo) • 500 script’in değiştirilmesi • 540 SSIS ETL paketinin Informatica ETL paketine dönüştürülmesi 32 10/1/2014 Teradata Confidential Migration Mimari Planı Kaynak Sistem Kullanıcı Sistemleri Veri Ambarı Voyager ODS EBM CDC GYD MEY/MUTES SSAS Cubes 33 10/1/2014 Teradata Confidential GYD Kurumsal Veri Modeli Transformasyon (cLDM) Kaynak Sistemler TMS Siebel TTS MTS Entegrasyon Katmanı ORDER ORDER NUMBER ORDER DATE STATUS “Enterprise” DWH (LDM Modeli) ORDER ITEM BACKORDERED QUANTITY CUSTOMER CUSTOMER NUMBER CUSTOMER NAME CUSTOMER CITY CUSTOMER POST CUSTOMER ST ORDER ITEM SHIPPED QUANTITY SHIP DATE CUSTOMER ADDR CUSTOMER PHONE ITEM CUSTOMER FAX ITEM NUMBER QUANTITY DESCRIPTION PRODUCT PERIOD PERIOD KEY DAT E DAY MONT H YEAR QUART ER T RIMEST ER Application Raporlama Katmanı CUST OMER Application CUST OMER KEY CUST OMER NAME CUST OMER CITY CUST OMER POST CUST OMER ST CUST OMER ADDR CUST OMER PHONE CUST OMER FAX SALES PERIOD KEY PRODUCT KEY CUST OMER KEY MARKET KEY DOLLARS UNIT S PRODUCT KEY PRODUCT NAME DIST RIBUTOR PRODUCT DESCRIPTION PRODUCT HEIGHT PRODUCT WIDT H PRODUCT DEPTH PRODUCT WEIGHT 10/1/2014 Application MARKET MARKET KEY CIT Y STAT E ZIP ZIP4 DIST RICT REGION COUNT RY Dimensional 34 34 Logical Views Teradata Confidential Ortak Veri Modeli Kurumsal Veri Modeli Transformasyon (cLDM) 2012 Haziran Temmuz Ağustos Stream 1 Eylül 2013 Ekim Kasım Aralık Şubat Mart Nisan Mayıs Haziran Müşteri, Abonelik, Ürün, Hesap Stream 2 Network Aktivite, Müşteri Adresi Finans, Gelir, Arıza Stream 3 Promosyon, Kampanya Stream 4 Başlangıç 35 Ocak 10/1/2014 Bitiş Teradata Confidential [email protected]
© Copyright 2024 Paperzz
