Perbedaan DTS dan SSIS (DW Pert - 10)

Perbedaan DTS dan SSIS adalah  DTS tersedia dalam Microsoft SQL Server, namun sejak MS SQL Server 2000 DTS digantikan oleh SQL Server Integration Services (SSIS).
1Satu  set objek  menggunakan alat RTS untuk mengesktrak, mengubah, dan memuat informasi ke dalam atau dari database.Alat ETL yang disediakan oleh Microsoft untuk data tambahan dari sumber yang berbeda
2tidak ada deployment wizard yang tersedia di dtsdeployment wizard tersedia di ssis
3Menggunakan activex script
Refrensi : PPT kelompok 10
menggunakan scriptong language atau bahasa scripting
refrensi: http://blog.aguskurniawan.net/post/SQL-Server-2008-Integration-Services.aspx


Data Transformation Service (DW Pert - 09)

Data Transformation Service adalah modul yang bisa digunakan untuk memindahkan data. juga merupakan alat fleksibel yang dapat diukur untuk mendapat kendali tertinggi atas transformasi dari data itu
Tool Transformation Service
1. Import Export Wizzard
adalah berfungsi untuk membangun Data transformation service packages sederhana dan mensupport perpindahan data dan transformasi sederhana.
2. Data Transformation Service Designer
Data Transformation Service Designer mengimplementasikan Data Transformation Service object graphically yang memungkinkan user untuk menciptakan Data Transformation Service packages dengan fungsi luar
3. Data Transformation Service Run
Data Transformation ServiceRun merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.
4. DTS RunUI
berfungsi untuk mempermudah menselect program, dan termasuk pengaturan variabel yang global.
Task dalam sebuah packages
1. transformasi data
2. mengopy dan mengatur data
3. menjalankan task sebagai jobs dari dalam sebuah packages
Connection dan memindahkan data
1. microsoft data access component drivers
2. microsoft jet drivers
3. other drivers
4. OLE DB connection
refrensi:
http://faizaltrywicaksono.blogspot.com/2014/11/data-transformation-service.html

Extract Transform & load (DW Pert-08)

Ekstraksi Data (Extract)
Ekstraksi data adalah proses dimana
data diambil atau diekstrak dari berbagai sistem operasional, disitu dia bisa menggunakan query.
ETL juga dapat digunakan untuk mengintegrasikan data
Dengan sistem yang sudah ada sebelumnya. Hasil dari proses ETL adalah dihasilkannya data yang memenuhi kriteria data warehouse seperti data historis, terangkum, statis dan memiliki struktur yang dirancang untuk keperluan proses analisis
Terdapat beberapa fungsi ekstraksi data, seperti:
  1. Ekstraksi data secara otomatis dari aplikasi sumber.
  2. Seleksi data hasil ekstraksi.
  3. Pengiriman data dari berbagai platform aplikasi mnuju sumber data.
  4. Perubahan format layout data dari format aslinya.
  5. Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.
Transformasi Data (Transformation)
Transformasi proses dimana data masih mentah (raw data) hasil ekstraksi dia disaring dan diubah sesuai dengan kaidah bisnis yang berlaku.
Proses membersihkan data yang telah diambil pada proses extract sehingga data itu sesuai dengan struktur data warehouse atau data mart.
Langkah-langkah dalam transformasi data adalah sebagai berikut :
  1. Memetakan data input dari skema data aslinya ke skema Data Warehouse
  2. Melakukan konversi tipe data atau format data.
  3. Pembersihan serta pembuangan duplikasi dan kesalahan data.
  4. Penghitungan nilai-nilai agregat atau rangkuman.
  5. Pemerikasaan integritas referensi data.
  6. Pengisian nilai-nilai kosong dengan nilai default.
Pengisian Data (Loading)
Fase load ini merupakan tahapan yang berfungsi untuk memasukkan data ke dalam target akhir, yaitu ke dalam suatu data warehouse.
Cara untuk memuat data adalah dengan menjalankan SQL script secara periodik.
Fase load berinteraksi dengan suatu databaseconstraint didefinisikan dalam skema database sebagai suatu trigger yang diaktifkan pada waktu melakukan load data (contohnya : uniqueness,ntegrity), yang juga berkontribusi untuk keseluruhan tampilan dan kualitas data dari proses ETL.

Refrensi:
http://informatika.web.id/etl-extraction-transformation-loading.htm
http://kundang.weblog.esaunggul.ac.id/2013/09/17/extract-transform-loading/

Modelling Dimensional

Terdiri dari tabel fakta dan dimensi.
pengertiannya
Tabel fakta itu dimana sebuah tabel yang memiliki sebuah composite primary key dia akan membentuk sebuah model dimensional. dan akan menyimpan hasil perhitungan bisnis.
Tabel dimensi dapat dilihat sebagai tabel pendukung penjelasan deskriptif dari sebuah baris dan memiliki banyak atribut.

Lalu bagaimana dengan Star schema
Dalam data warehouse, yg akan disimpan dalam tabel fakta dan tabel dimensi. Tabel fakta akan menyimpan data-data utama ,dan sementara tabel dimensi mendeskripsikan setiap nilai dari suatu dimensi dan dapat direlasikan ke tabel fakta jika diperlukan. biasany
struktur dikatakan sederhana krna slalu berhubungan dengan beberapa tabel dan didefinisikan dengan join path.


Snowflake schema
yaitu pengembangan dari star schema, jadi menurut pengeritannya dikarenakan tabel tabel dimensinya merupakan hasil dari normalisasi dari tabel yang berhubungan.

sedangkan Starflake Schema adalah gabungan dari 2schema langsung yaitu star schema dan snowflake schema.

Adapun Kelebihan model dimensi star schema :
  • cenderung gampang dipahami karena modelnya yang lebih sederhana,
  • memudahkan mencari isi karena kesderhanaannya dengan cara melihat step by step dari masing-masing dimensinya,
  • proses query lebih cepat pada saat melakukan OLAP.
Kekurangan model dimensi star schema :

  • ukuran data lebih besar karena ada data yang disimpan ulang, dll




sumber:
http://en.wikipedia.org/wiki/Snowflake_schema


Tabel & Skema dalam Database

Di dalam permodelan sebuah data warehouse terdapat beberapa macam sprti Star schema, yg merupakan desain skema tabel dimana terdapat sebuah tabel fact dengan n-dimensi dia adanya di tengah dan fungsinya sebagai penghubung tabel-tabel dimensi yang ada. jika dilihat sepintas, ada beberapa kelebihan dan kekurangan dari penggunaan star schema, yaitu untuk performansi sistem, star schema lebih dapat diandalkan dibandingkan dengan skema yang lainnya, hal ini y dikarenakan penggunaan tingkat join antar tabel dimensi dan tabel fact yang sedikit jadi dia mudah utk sistem misal hndak melakukan suatu operasi agregasi.

Kolom-kolom yang terdapat pada tabel fact ini merupakan foreign key atau
berasal primary key dgn setiap tabel dimensi.
mengintegrasikan tabel – tabel antara customer, lokasi ,waktu ,jenis mobil yang akan dijadikan tabel pada sebuah database


Lalu ini kita dapat design star schema nya



Infrastruktur & Arsitektur data warehouse

Arsitektur disini yaitu adalah sekumpulan struktur yang memberikan kerangka untuk rancangan atau mengidentifikasi suatu sistem misalnya seperti produk.
Arsitektur data untuk data warehouse mempunyai komponen utama yaitu read-only database.
Macam macam arsitektur DW:
-yaitu SMP (symmetric multi processing) atau suatu arsitektur yang shared everhyting, mesin olah paralel yang paling sederhana.
-lalu ada MPP (massively parallel processing) atau suatu arsitektur yang shared nothing, arsitektur ini lebih terkair di bagian mengakses disk dibanding akses dalam memori
-ada lagi NUMA (Non uniform memory architecture), arsitektur ini dikembangkan katanya pada awal 1990an 
sistemnnya mempunyai memori yang tunggal dan menunjuk pada keseluruhan alamat memori mesin dimulai dngn node yang pertama lalu dilanjut ke node berikutnya, masing" node ini berisi suatu direktori alamat memori di dalam node tersebut, dalam arsitektur ini jumlah waktu yang diperlukan untuk mendapatkan kembali suatu nilai memori yang bervariasi, sebab node yang pertama memungkinkan nilai yang ada di node lain, hal itulah yang di anggap alasan mengapa arsitektur ini disebut arsitektur akses memori non uniform. 
ya Arsitektur dan komponen utama dari data warehouse dapat dilihat pada gambar berikut ini


selanjutnya kita bicarakan mengenai infrastruktur
Data Warehouse Infrastruktur pada dasarnya mendukung lingkungan data warehouse dengan bantuan kombinasi teknologi. Dalam definisi yang paling umum, data warehouse disini repositori dan mengambil alih sebagian besar segala macam data organisasi pelaksana yang akan membutuhkan pada saat ini dan di masa depan
di kategori ini ada 2 jenis yaitu
infrastruktur operasional dan infrastruktur fisik
*di infrastruktur operasional, terdiri point" yang bergerak seperti
-orang orang
-prosedur
-pelatihan
-manajemen perangkat lunak

*sedangkan jika infrastruktur fisik terdapat point"nya
-Hardware
-OS
-Dbms
-Network software

maksud dari perangkat keras atau hardware dan sistem operasi yg menyusun lingukan untuk data warehouse 
semua penyaringan datam interagsi dan seperti penjadwalan pada hardwre terpilih dan dijalankan dibawah sistem operasi pilihan.

sumber: 
http://blog.ub.ac.id/dhindamaydhita/category/sistem-teknologi-informasi/
http://www.learn.geekinterview.com/data-warehouse/dw-basics/data-warehouse-infrastructure.html
kelolahilmu.blogspot.com/2013/09/arsitektur-dan-infrastruktur-data.html

Arsitektur & skema artikel Studi Kasus PT. Asco Automotive (DW Pert-04)

Aplikasi Data Warehouse untuk Analisis Penjualan Mobil
Berbasis Multidimensional Modeling (MDM) dan Star Schema Design
pada PT Asco Automotive
Paper yang sy jadikan acuan masih sama sprti post saya sblumnya
jika belum tau, dapat dilihat di link berikut :
https://www.dropbox.com/s/lh9u1v5nmxx55iv/Aplikasi%20Data%20Warehouse%20untuk%20Analisis%20Penjualan.pdf?dl=0

Star schema merupakan desain skema tabel dimana terdapat sebuah tabel fact dengan n-dimensi yang berada di tengah fungsinya yaitu sebagai penghubung tabel-tabel dimensi yang ada. Ada beberapa kelebihan dan kekurangan dari penggunaan star schema, yaitu untuk performansi dari system itu sendiri, star schema lebih dapat diandalkan dibandingkan dengan skema yang lainnya, knapa demikian, dikarenakan penggunaan tingkat join antar tabel dimensi dan tabel fact,seperti yang terdapat isi dari table tersebut yaitu contoh time key,item key,dll yang lebih terisi tetapi terbatas jadi hanya sedikit, sehingga memudahkan sistem untuk melakukan suatu operasi.
lalu lihat arsitekturnya yang ada di gambar dibawah

dari keterangan yang kita dapat jika dilihat dari arsitekturnya 
Data dari sistem asal diintegrasikan/menyatukan dan ditransformasi sebelum disimpan ke dalam Database Management System (DBMS) seperti Oracle,Ms SQL Server,dll
database pusat akan menjadi tempat masuk dan keluarnya informasi yang dibutuhkan pada bagian back office dan administrasi yaitu meliputi aplikasi keuangan dan operasional
,manajer atau stake holder dapat melihat aplikasi laporan, aplikasi SDM di karyawan, sedangkan customer menangani di applikasi tenaga pemasarannya.