DATA WAREHOUSE

    PENGENALAN DATA WAREHOUSE (Pertemuan 1)

NIM      : 10410100104

Sejarah Data warehouse

Awal mula data warehouse berangkat dari tahun 80 an, dimana peneliti IBM Barry Devlin and Paul Murphy mengembangkan "business data warehouse". Pada dasarnya bertujuan untuk menyediakan model arsitektur untuk perubahan data dari sistem operasional menuju sistem DSS. Beberapa hal penting berkisar sejarah data warehouse adalah :

1960s - General Mills dan Dartmouth College, mengembangkan istilah dimensions and facts.

1970s - ACNielsen dan IRI menyediakan imensional data marts untuk penjualan retail

1983s - Teradatamemperkenalkan sistem database yang khusus untuk DSS

1988s - Barry Devlin dan Paul Murphy mempublikasikan artikel An architecture for a business and information systems in yang memperkenalkan istilah "business data warehouse".

1990s - Red Brick Systems memperkenalkan Red Brick Warehouse, sistem manajemen database khusus untuk data warehousing.

1991s - Bill Inmon mempublikasikan buku Building the Data Warehouse.

1995s - The Data Warehousing Institute, organisasi profit yang mempromosikan data warehouse didirikan 1996 - Ralph Kimball mempublikasikan buku The Data Warehouse Toolkit.

2000s - Daniel Linstedt mempublikasikan the Data Vault, yang memungkinkan audit data warehose.

Seiring dengan semakin meningkatnya kompetisi bisnis, tiap organisasi harus dapat melakukan tindakan bisnis yang tepat. Di masa yang lampau keputusan bisnis didasarkan pada intuisi pihak manajemen. Saat ini dibutuhkan informasi yang menunjang, tepat, cepat dan efisien dalam pengambilan keputusan. Informasi yang dibutuhkan berupa informasi yang telah tersumarisasi (summarized), dan terspesialisasi (spesialized) hasil dari analisa data operasional organisasi.

Informasi yang dibutuhkan dapat hadir dalam bentuk laporan khusus, dan forecasting (peramalan) berdasarkan trend. Informasi dihasilkan oleh Business Intelligence atau sistem informasi eksekutif (Executive Support System) yang mendapatkan data dari data warehouse.

Kenapa Membangun Data Warehouse?

DW yang dikombinasikan dengan BI (Business Intelligence) dapat digunakan untuk mendapatkan informasi :

-          Lebih memahami apa yang terjadi pada bisnis

-          Menentukan trend historis

-          Prediksi kesempatan di masa datang

-          Mengukur performance

Manfaat Data Warehouse

Berdasarkan pada penjelasan-penjelasan tersebut di atas, dapat disebutkan bahwa penggunaan data warehouse akan memberikan berbagai manfaat, diantaranya :

·         Walaupun mahal dalam pembuatannya, namun untuk kebutuhan pelaporan dan analisis dapat lebih menghemat biaya dan waktu.

·         Dikarenakan terlebih dahulu mengisi data ke data warehouse, ketidak konsistenan yang ada dapat diketahui dan diatasi sehingga akan mempermudah pelaporan dan analisis.

·         Data yang ada di dalam data warehouse dapat digunakan untuk sistem pendukung keputusan.

·         Data yang ada di dalam data warehouse akan tetap ada walaupun data di sistem operasional telah berubah atau dihapus

·         Data diorganisir dengan baik untuk query analisis dan sebagai bahan untuk pemrosesan transaksi.

·         Perbedaan diantara struktur data yang heterogen pada beberapa sumber yang terpisah dapat diatasi.

·   Aturan untuk transformasi data diterapkan untuk memvalidasi dan mengkonsolidasi data apabila data dipindahkan dari database OLTP ke data warehouse.

·         Masalah keamanan dan kinerja bisa dipecahkan tanpa perlu mengubah sistem produksi.

Nilai Data Warehouse

Data warehouse digunakan untuk sistem BI (Business Intelligence) yang memiliki nilai untuk :

1.      Tracking and trending key performance indicators

2.      Measuring business performance

3.      Reporting and understanding financial results

4.      Understanding customers and their behavior

5.      Identifying high-value customers

6.      Better selection or development of new products

7.      Understanding which products should be scaled back or eliminated

8.      Understanding business competitors

Data warehouse pertama kali diperkenalkan oleh W.H.Inmon, sehingga W.H.Inmon sering disebut Bapak Data Warehouse. Definisi data warehouse sebagai berikut:

Ø  Menurut W.H. Inmon dan Richard D.H., data warehouse adalah koleksi data yang mempunyai sifat berorientasi subjek, terintegrasi, time-variant, dan bersifat tetap dari kumpulan data dalam mendukung proses pengambilan keputusan manajemen.

Ø  Menurut Vidette Poe, data warehouse merupakan database yang bersifat analisis dan read only yang digunakan sebagai fondasi dari sistem penunjang keputusan.

Ø  Menurut Paul Lane, data warehouse merupakan database relasional yang didesain lebih kepada query dan analisis daripada proses transaksi, biasanya mengandung history data dari proses transaksi dan bisa juga data dari sumber lainnya.

Nah…dari ketiga definisi tersebut, dapat saya peroleh kesimpulan bahwa data warehouse adalah sebuah “database” yang berukuran besar yang menyimpan data dari berbagai sumber yang kemudian diproses menjadi bentuk penyimpanan multidimensional dan didesain untuk querying dan reporting. Hal ini bertujuan untuk menghasilkan informasi yang akurat dari waktu ke waktu, berguna untuk pengambilan keputusan, analisis penjualan, analisis pasar, dan sebagainya.

Ø  Karakteristik Data Warehouse

1. Subject Oriented (Berorientasi subject)

Data warehouse berorientasi subject artinya data warehouse didesain untuk menganalisa data berdasarkan subject-subject tertentu dalam organisasi,bukan pada proses atau fungsi aplikasi tertentu. Data warehouse diorganisasikan disekitar subjek-subjek utama dari perusahaan(customers,products dan sales) dan tidak  diorganisasikan pada area-area aplikasi utama(customer invoicing,stock control dan product sales). Hal ini dikarenakan kebutuhan dari data warehouse untuk menyimpan data-data yang bersifat sebagai penunjang suatu keputusan, dari pada aplikasi yang berorientasi terhadap data.

Jadi dengan kata lain, data yang disimpan adalah berorientasi kepada subjek bukan terhadap proses. Secara garis besar perbedaan antara data operasional dan data warehouse yaitu :

2. Integrated (Terintegrasi)

Data Warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah kedalam suatu format yang konsisten dan saling terintegrasi satu dengan lainnya. Dengan demikian data tidak bisa dipecah-pecah karena data yang ada merupakan suatu kesatuan yang menunjang keseluruhan konsep data warehouse itu sendiri.

Syarat integrasi sumber data dapat dipenuhi dengan berbagai cara sepeti konsisten dalam penamaan variable,konsisten dalam ukuran variable,konsisten dalam struktur pengkodean dan konsisten dalam atribut fisik dari data.

Contoh pada lingkungan operasional terdapat berbagai macam aplikasi yang mungkin pula dibuat oleh developer yang berbeda. Oleh karena itu, mungkin dalam aplikasi-aplikasi tersebut ada variable yang memiliki maksud yang sama tetapi nama dan format nya berbeda. Variable tersebut harus dikonversi menjadi nama yang sama dan format yang disepakati bersama. Dengan demikian tidak ada lagi kerancuan karena perbedaan nama, format dan lain sebagainya. Barulah data tersebut bisa dikategorikan sebagai data yang terintegrasi karena kekonsistenannya.

3. Time-variant (Rentang Waktu)

Seluruh data pada data warehouse dapat dikatakan akurat atau valid pada rentang waktu tertentu. Untuk melihat interval waktu yang digunakan dalam mengukur keakuratan suatu data warehouse, kita dapat menggunakan cara antara lain :

Cara yang paling sederhana adalah menyajikan data warehouse pada rentang waktu tertentu, misalnya antara 5 sampai 10 tahun ke depan.

Cara yang kedua, dengan menggunakan variasi/perbedaan waktu yang disajikan dalam data warehouse baik implicit maupun explicit secara explicit dengan unsur waktu dalam hari, minggu, bulan dsb. Secara implicit misalnya pada saat data tersebut diduplikasi pada setiap akhir bulan, atau per tiga bulan. Unsur waktu akan tetap ada secara implisit didalam data tersebut.

Cara yang ketiga,variasi waktu yang disajikan data warehouse melalui serangkaian snapshot yang panjang. Snapshot merupakan tampilan dari sebagian data tertentu sesuai keinginan pemakai dari keseluruhan data yang ada bersifat read-only.

4. Non-Volatile

Karakteristik keempat dari data warehouse adalah non-volatile,maksudnya data pada data warehouse tidak di-update secara real time tetapi di refresh dari sistem operasional secara reguler. Data yang baru selalu  ditambahkan sebagai suplemen bagi database itu sendiri dari pada sebagai sebuah perubahan. Database tersebut secara kontinyu menyerap data baru ini, kemudian secara incremental disatukan dengan data sebelumnya.

Berbeda dengan database operasional yang dapat melakukan update,insert dan delete terhadap data yang mengubah isi dari database sedangkan pada data warehouse hanya ada dua kegiatan memanipulasi data yaitu loading data (mengambil data) dan akses data (mengakses data warehouse seperti melakukan query atau menampilan laporan yang dibutuhkan, tidak ada kegiatan updating data).

v Berikut ini adalah istilah-istilah yang akan kita sering jumpai dalam membahas tentang data warehouse:

1.  OLAP (Online Analytical Processing)

OLAP adalah suatu pemrosesan data warehouse yang menggunakan fact table dan dimension table untuk dapat menampilkan berbagai bentuk laporan, analisis, dan query.

2. OLTP (Online Transaction Processing)

OLTP adalah suatu pemrosesan yang menyimpan data mengenai kegiatan operasional transaksi dalam perusahaan sehari-hari.

3. Fact Table

Fact table (tabel fakta) adalah tabel yang umumnya mengandung sesuatu yang dapat diukur (measure), seperti harga, jumlah barang, dan sebagainya. Fact table juga merupakan kumpulan foreign key dari primary key yang terdapat pada masing-masing dimension table. Fact table juga mengandung data yang historis.

4. Dimension Table

Dimension table (tabel dimensi) adalah tabel yang berisi data detail yang menjelaskan foreign key yang terdapat pada fact table. Atribut-atribut yang terdapat pada dimension table dibuat secara berjenjang (hirarki) untuk memudahkan proses query.

§  Pemanfaatan data warehouse menggunakan data mining, OLAP (online Analytical processing), DSS Namun, metode untuk mendapatkan, dan menganalisa data berupa proses extract, transform dan load data, serta manajemen data dictionary masih termasuk pokok bahasan utama sebagai komponen sistem data warehouse. Definisi lanjutan dari data warehousing termasuk business intelligence tools, tools untuk extract, transform dan load data ke repository, dan tools untuk manajemen metadata.

Ø SUMBER REFERENSI :

[1] Inmon, W.H. (2002). Building the Data Warehouse third edition. Toronto : John Wiley & Sons.

[2] Imhoff, Claudia., Galemmmo, Nicholas. and Geiger, Jonathan G. (2003). Mastering Data Warehouse Design Relational and Dimensional Techniques. Indianapolis : Wiley Publishing

[3] Power, Daniel. (2005). Data-driven DSS: What do I need to know about Data Warehousing/OLAP? [Online]. Tersedia: http://dssresources.com/faq/index.php?action=artikel&cat=5&id=47&artlang=en [17 Oktober 2009]

[4] http://chrezsoft.blogspot.com/2012/10/pengenalan-data-warehouse.html

[5] http://erick1719.wordpress.com/2010/08/21/pengertian-data-warehouse/

[6] http://risyana.wordpress.com/2009/11/17/pengantar-data-warehouse/

[7] http://rully6092.wordpress.com/data-mining-data-warehouse/