DATA MART, DATA WAREHOUSE, ETL, ELT, DAN OLAP

Nama/NIM: I Gede Janar Adi Baskara/1304505100
Jurusan/Fakultas/Perguruan Tinggi: Teknologi Informasi/Teknik/Universitas Udayana
Mata Kuliah: Data Warehouse
Dosen: I Putu Agus Eka Pratama, S.T., M.T.

DATA MART, DATA WAREHOUSE, ETL, ELT, DAN OLAP

Data Mart

Data Mart merupakan bagian dari Data Warehouse yang mendukung pada tingkat departemen atau fungsi bisnis tertentu pada perusahaan dengan kata lain, sebuah data mart adalah bentuk sederhana dari sebuah gudang data yang difokuskan pada subjek tunggal (atau area fungsional), seperti Penjualan, Keuangan, atau Marketing.Data Mart sering dibangun dan dikendalikan oleh satu departemen dalam sebuah organisasi. Mengingat subjek tunggal fokus departemen tersebut, data mart biasanya menggambar data dari hanya beberapa sumber. Sumber bisa sistem operasional internal, data warehouse pusat, atau data eksternal.

Jika dibandingkan dengan Data Warehouse, Data Mart memfokuskan pada kebutuhan pemakai terkait dalam sebuah departemen atau fungsi bisnis. Data Mart biasanya tidak mengandung data operasional secara rinci seperti pada Data Warehouse melainkan sebuah ringkasan yang diberikan kepada pengguna tertentu sehingga lebih mudah dipahami dan dinavigasikan.

Data Warehouse

Data Warehouse merupakan koleksi data yang memiliki sifat object-oriented, time-variant, dan terintegrasi dalam sebuah koleksi data sebagai pendukung dalam proses pengambilan keputusan. Data Warehouse berperan sebagai gudang data, yang nantinya data-data yang ada di dalamnya dapat digunakan untuk diolah sewaktu-waktu diperlukan. Data Warehouse digunakan untuk ruang lingkup yang lebih spesifik seperti pada suatu organisasi atau perusahaan.

Data Warehouse hanya dapat dilakukan dengan menggunakan 2 server atau lebih. Data Warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah kedalam suatu format yang konsisten dan saling terintegrasi satu dengan lainnya. Dengan demikian data tidak bisa dipecah-pecah karena data yang ada merupakan suatu kesatuan yang menunjang keseluruhan konsep Data Warehouse itu sendiri. Dengan kata lain informasi dikumpulkan dari data yang terpisah yang kemudian disatukan menjadi sebuah ringkasan.

ETL (Extraction, Transformation, Loading)

Proses ETL (Extraction, Transformation, Loading) merupakan proses yang harus dilalui dalam pembentukan data warehouse. ETL adalah suatu proses mengambil dan mengirim data dari data sumber ke data warehouse. Dalam proses pengambilan data, data harus bersih agar didapat kualitas data yang baik. Contohnya ada nomor telepon yang invalid, ada kode buku yang tidak eksis lagi, ada beberapa data yang null, dan lain sebagainya. Pendekatan tradisional pada proses ETL mengambil data dari data sumber, meletakan pada staging area, dan kemudian mentransform dan meng-load ke data warehouse. Berikut adalah gambaran proses ETL.

Berdasarkan gambar Skema Proses ETL di atas, data diekstrak dari sumber data (data source) menggunakan data extraction tool melalui koneksi apapun yang tersedia. Kemudian data ditransormasikan menggunakan serangkaian rutinitas transformasi. Proses transformasi sebagian besar ditentukan oleh format data output yang diinginkan. Kualitas data dan pemeriksaan integritas dilakukan sebagai bagian dari proses transformasi dan tindakan korektif yang telah disisipkan pada proses trasformasi. Proses transformasi dan pemeriksaan integritas data dilakukan dalam staging area. Seteah data tersebut telah bertransformasi dalam format data yang ditargetkan, data tersebut kemudian dimuat ke dalam data warehouse dan data tersebut siap untuk dipresentasikan dalam bentuk informasi.

Proses ini biasanya dirancang dari end backwards, dimana required output harus dirancang terebih dahulu. Oleh karena itu, proses ini menginformasikan secara tepat data apa saja yang diperlukan dari sumber data. Rutinitas dirancang dan dikembangkan untuk melaksanakan proses yang ditulis khusus untuk mencapai output yang diinginkan dan hanya data yang diperlukan untuk output yang masuk dalam proses ekstraksi Selain itu, desainoutput harus menggabungkan semua fakta dan dimensi yang dibutuhkan untuk menyajikan baik pada tingkat agregasi yang dibutuhkan oleh Business Intelligence dan kebutuhan masa depan. Aturan bisnis yang menentukan bagaimana agregasi akan tercapai dan hubungan antara berbagai entitas baik sumber maupun sasaran yang dirancang dan selanjutnya dikodekan dalam suatu rutinitas untuk melaksanakan proses ETL. Pendekatan ini mengarah pada dependensi yang sempit di suatu rutinitas pada setiap tahapan proses. Terlepas dari kenyataan bahwa terdapat tiga tahap efektif, desain ETL sering dikarakteristikan sebagai proses monolitik dikarenakan target yang telah ditentukan dengan sangat jelas.

Selain tools yang disediakan oleh produsen database, terdapat sejumlah tools yang tersedia dipasaran yang menerapkan pendekatan ini dan menyediakan platform yang kuat, produktivitas, dan fleksibilitas.

ELT (Extraction, Loading, Transformation)

ELT merupakan variasi dari ETL (Extraction, Transformation, Loading). ELT memungkinkan data mentah dimuat secara langsung pada data warehouse yang kemudian akan transformasi pada aata warehouse tersebut. Kemampuan ini sangat berguna untuk memproses set data yang besar yang diperlukan untuk Business Intelligence dan analisis data yang besar. Salah satu kemampuan utama ELT adalah pengurangan waktuloading jika dibandingkan dengan model ETL. Mengambil keuntungan dari kemampuan pemrosesan yang dibangun dalam infrastruktur data warehouse dapat mengurangi waktu yang dihabiskan data untuk melakukan transit dan lebih hemat biaya.

Berdasarkan gambar Skema Proses ELT di atas, data diekstrak dari sumber data menuju ke Staging Database menggunakan data extraction tool melalui konektivitas apapun yang tersedia. Sementara itu padastaging area, pemeriksaan integritas dan aturan bisnis dapat diimplementasikan sehingga dapat menghasilkan koreksi yang relevan. Sumber data kemudian dimuat ke dalam Data Warehouse berupa data validated dancleaned offline copy. Setelah data tersimpan pada data warehouse, proses transformasi akan dijalankan untuk melakukan pembentukan data untuk diubah menjadi target format data output.

Ekstraksi dan proses load dapat diisolasi dari proses transformasi. Hal ini memiliki sejumlah manfaat. Mengisolasi proses load dari proses transformasi akan menghilangkan ketergantungan yang melekat antara tahap-tahap ini, termasuk juga data yang diperlukan untuk melakukan transformasi. Proses ekstraksi danload dapat mencakup elemen data yang mungkin diperlukan di masa depan. Proses load bisa saja menggunakan seluruh sumber data dan memuatnya ke dalam data warehouse. Memisahkan proses memungkinkanproject untuk dipecah menjadi bagian yang lebih kecil sehingga menjadi lebih mudah untuk diprediksi dan dikelola.

Pemeriksaan integritas data pada staging area memungkinkan tahapan selanjutnya dalam proses isolasi dan ditangani pada titik yang paling tepat dalam proses. Pendekatan ini juga membantu untuk memastikan bahwa hanya data bersih dan telah diperiksa yang akan dimuat ke dalam data warehouse untuk ditransformasi. Mengisolasi transformasi dari proses load membantu untuk mendorong lebih banyak tahapan untuk mencapai desain data warehouse dan implementasinya. Hal ini mencakup sifat perubahan yang sedang berlangsung dari pembangunan data warehouse.

Kelebihan

1.    Project Management
Mampu membagi proses data warehouse menjadi tugas-tugas khusus dan terisolasi, memungkinkanproject yang akan dirancang pada basis tugas yang lebih kecil, oleh karena itu project dapat dipecah menjadi potongan-potongan yang dapat dengan mudah dikelola.

2.    Flexible & Future Proof
Secara umum, dalam pelaksanaan ELT semua data dari berbagai sumber dimuat ke dalam data warehouse sebagai bagian dari proses ekstraksi dan load. Keduanya dikombinasikan melakukan isolasi terhadap proses transformasi, berarti bahwa kebutuhan masa depan dapat dengan mudah dimasukkan ke dalam strukur data warehouse.

3.    Risk Minimization
Menghilangkan ketergantungan antara tahapan-tahapan dari proses pembangunan data warehousememungkinkan proses pembangunan untuk diisolasi, sehingga desain proses individu juga dapat diisolasi. Hal ini akan memberikan sebuah platform yang sangat baik untuk melakukan perubahan, pemeliharaan, dan manajemen sistem.

4.    Utilize Existing Hardware
Dalam pengimplementasian ELT dalam proses membangun data warehouse, tools yang telah disediakan pada database engine dapat digunakan atau menggunakan sebagian besar third-party tools untuk ELT yang dapat memanfaatkan kemampuan database engine, sehingga ELT dapat dijalankan pada hardware yang sama dengan database engine yang mendukung data warehousedengan mengerahkan hardware yang telah tersedia.

5.    Utilize Existing Skill Sets
Dengan menggunakan fungsi yang disediakan oleh database engine, investasi pada skill database yang tersedia dapat digunakan kembali untuk mengembangkan data warehouse karena tidak ada keterampilan baru yang perlu dipelajari melainkan pengalaman penuh dalam mengembangkan teknologi database engine-lah yang dimanfaatkan yang pada akhirnya akan mengurangi biaya dan resiko dalam proses membangun data warehouse.

Kekurangan

1.    Against The Norm
ELT adalah sebuah pendekatan yang muncul untuk rancangan data warehouse dan development. Sementara itu ELT telah terbukti bahwa berkali-kali selama penggunaannya yang telah diimplementasikan di seluruh dunia, membutuhkan perubahan pada pendekatan kemampuan dan desain terhadap metode tradisional. Meskipun, beberapa prinsip yang ada tetap benar untuk semua pendekatan  ELT tetap berbeda dalam berbagai hal. 

2.    Tools Availability
ELT adalah sebuah pendekatan teknologi yang baru dikembangkan sehingga masih memiliki keterbatasan pada tools yang dapat digunakan.

OLTP (Online Transaction Processing)

OLTP adalah singkatan dari Online Transaction Processing. OLTP merupakan suatu aplikasi atau program yang digunakan dalam operasional perusahaan sehari-hari seperti melakukan insert (memasukan data), update (mengubah data) dan delete (menghapus data) berbagai macam data, seperti penjualan, pembelian, produksi dan lain sebagainya. OLTP bertujuan untuk memproses suatu transaksi secara langsung melalui komputer yang tergabung didalam jaringan. Contohnya seperti aplikasi yang digunakan minimarket dalam melayani penjualan, jika ada suatu transaksi penjualan, seorang kasir dapat langsung memasukan data kedalam aplikasi yang terhubung didalam jaringan, sehingga pemrosesan data terbantu oleh adanya OLTP tersebut. Berdasarkan datanya, OLTP menggunakan data asli atau hari ini dan dapat di update setiap saat. OLTP biasanya memiliki ukuran yang relatif kecil.

OLAP (Online Analytical Processing)

OLAP adalah singkatan dari Online Analytical Processing. OLAP digunakan untuk pengambilan keputusan, OLAP berguna dalam melakukan analisis data yang sudah ada untuk membantu dalam pengambilan keputusan di masa yang akan datang. OLAP merupakan teknologi yang memproses data di dalam database dalam struktur multidimensi, menyediakan jawaban yang cepat untuk query dan analisis yang kompleks. Data yang disajikan biasanya merupakan suatu fungsi agregasi seperti summary (rangkuman), max (nilai maksimum), min (nilai minimum), average (rata-rata), dan sebagainya.

OLAP memiliki suatu konsep yang biasa disingkat menjadi (FASMI). Konsep ini diutarakan oleh Nigel Pendse dimana FASMI berarti Fast, Analysis, Shared, Multidimensional, dan Information. Fast berarti pengolahan jutaan data transaksi dapat dilakukan dengan cepat. Analysis berarti bahwa sisem dapat mencakup setiap Business Logic (Logika Bisnis) dan data analisa statistik yang relevan dengan data-data yang tersedia. Shared berarti bahwa sistem yang digunakan, di dalamnya telah diimplementasikan suatu sistem keamanan untuk menjaga kerahasiaan informasi, dimana informasi yang dibagikan disesuaikan dengan kebutuhan berdasarkan hak akses masing-masing pengguna. Multidimensional adalah suatu kunci kebutuhan terhadap penggunaan aplikasi OLAP, dimana setiap aplikasi harus selalu mengandung unsur multi dimensi. Information adalah semua data dan turunan informasi yang dibutuhkan, dimanapun dan bagaimanapun data yang akan digunakan data tersebut harus siap digunakan dan terus terhubung dengan aplikasi untuk diolah kembali menjadi informasi yang utuh.

DAFTAR PUSTAKA

[1] Pendse, Nigel. 2005. What is OLAP?. The BI Verdict, Business Application Research Center, 2009. Exposition of "Fast Analysis of Shared Multidimensional Information" (FASMI).

[2] Davenport, Robert J. 2008. ETL vs ELT. http://www.dataacademy.com/files/ETL-vs-ELT-White-Paper.pdf. 15 Oktober 2015.

 [3] Jarke, Matthias, Maurizio Lenzerini, Yannis Vassiliou, Panos Vassiliadis. 2000. Fundamentals of Data Warehouses. Berlin: Springer-Verlag.

[4] Inmon, W.H. 2002. Building the Data Warehouse, Third Edition. Amerika Serikat: Wiley Computer Publishing.

[5] CBSolution. 2011. OLAP vs OLTP: What Makes The Difference. http://www.cbsolution.net/techniques/ontarget/olap_vs_oltp_what_makes. 15 Oktober 2015.

Data Warehouse (DW) dan Business Intelligence (BI)

Nama/NIM: I Gede Janar Adi Baskara / 1304505100

Jurusan/Fakultas/Perguruan Tinggi: Teknologi Informasi / Teknik / Universitas Udayana

Mata Kuliah: Data Warehouse

Dosen: I Putu Agus Eka Pratama, S.T., M.T.

Data Warehouse (DW) dan Business Intelligence (BI)

Business Intelligence yaitu suatu konsep teknologi seperti aplikasi pendukung pengambilan keputusan untuk meningkatkan kualitas pengambilan keputusan bisnis berdasarkan sistem yang dapat diakses dengan mudah. Business Intelligence mengacu pada suatu alat dan teknik yang memungkinkan perusahaan untuk mengubah suatu data menjadi informasi bisnis yang akurat untuk proses pengambilan keputusan.

Artificial Intelligence (AI) yaitu sekelompok alat bantu yang berdaya guna, dan metodologi yang menggunakan tools tersebut guna menyelesaikan masalah-masalah bisnis, dan sebagai penentu keputusan.

Perbedaan BI dengan AI

Fungsi BI adalah untuk membantu pengambilan keputusan berdasarkan sumber data, dan memberikan solusi terhadap suatu keputusan yang digunakan melalui sebuah aplikasi.

Sedangkan, AI merupakan suatu sistem yang dibuat untuk menentukan sebuah keputusan.

Contoh BI :

Sebuah pemilik toko ingin mengetaui produk apa yang laris terjual di tokonya pada bulan tertentu, peranan BI disini sebagai penyedia data yang nantinya akan ditampilkan, sehingga dapat membantu dalam pengambilan keputusan mengenai stock barang terlaris itu apakah ingin ditambah stocknya atau tidak.

Contoh AI:

Didalam sebuah perusahaan dalam pengrekrutan pegawai tentu terdapat nilai standar, dengan penggunaan AI (sebuah aplikasi) mampu menentukan keputusan apakah layak dalam kriteria pengrekrutan perusahaan tersebut atau tidaknya.

Terdapat beberapa komponen teknologi pendukung Business Intelligence, yaitu :

Data Warehouse sebagai sarana untuk menganalisis data

Business Intelligence sebagai sarana untuk membantu dalam pengambilan keputusan

OLAP sebagai aplikasi pemrosesan data

Data Mining sebagai sumber informasi data

Open Data sebagai tambahan untuk mencari informasi data public

Arsitektur Data Warehouse (DW) :

1.       Central

Merupakan implementasi datawarehouse dimana seluruh datanya terpusat pada satu DW dan diteruskan ke beberapa client untuk melayani kebutuhan beberapa unit bisnis yang terpisah secara bersamaan. Kelebihannya yaitu alur kerja sistem sederhana dan mudah untuk dikelola. Sedangkan kekurangannya yaitu kinerja sistem yang kurang handal karena tidak ada redundansi / distribusi beban kerja.

2.      Federated

Merupakan sistem yang bekerja dengan berbagai sistem data mart, aplikasi analitis, dan menyimpan data operasional. Sebuah arsitektur federasi DW adalah sebuah sistem yang terdiri dari beberapa arsitektur. Kelebihannya yaitu handal dalam pendistribusian data. Sedangkan kekurangannya yaitu lebih kompleks, dan pengumpulan data terbatas.

3.      Tiered

Merupakan implementasi datawarehouse dimana perwujudan datanya terpusat . Data didistribusikan ke data mart dalam satu atau lebih tingkatan. Kelebihannya yaitu performa sistem terbaik karena redundansi dan distribusi. Sedangkan kekurangannya yaitu terlalu kompleks sehingga sulit untuk dikelola.

DAFTAR PUSTAKA :

1.http://www.kompasiana.com/febrie.dk/implementasi-business-intelligence-system-sebagai-bentuk-optimalisasi-pengambilan-keputusan-pada-level-manajemen_55009afea33311a96f5119cc

2.http://pbsabn.lecture.ub.ac.id/2012/05/pengertian-artificial-intelligence/ Diakses

3.http://dinus.ac.id/wbsc/assets/dokumen/majalah/Implementasi_Sistem_Business_Intelligence_Untuk_Melakukan_Analisis_Data_Guna_Mendukung_Pembuatan_Keputusan_Manajer_(_Studi_Kasus_Di_PT._Indomarco_Adi_Prima_Semarang).pdf

DATA WAREHOUSE DAN BIG DATA

Nama/NIM : I Gede Janar Adi Baskara/1304505100
Jurusan/Fakultas/Perguruan Tinggi : Teknologi Informasi/Teknik/Universitas Udayana
Mata Kuliah : Data Warehouse
Dosen : I Putu Agus Eka Pratama, S.T., M.T.

DATA WAREHOUSE DAN BIG DATA

Data Warehouse

Data warehouse adalah suatu konsep dan kombinasi teknologi yang memfasilitasi organisasi untuk mengelola dan memelihara data historis yang diperoleh dari sistem atau aplikasi operasional [Ferdiana, 2008].  Pemakaian teknologi data warehouse hampir dibutuhkan oleh semua organisasi, tidak terkecuali perpustakaan. Data warehouse memungkinkan integrasi berbagai macam jenis data dari berbagai macam aplikasi atau sistem. Hal ini menjamin mekanisme akses “satu pintu bagi manajemen untuk memperoleh informasi, dan menganalisisnya untuk pengambilan keputusan”.

Data warehouse merupakan koleksi data yang mempunyai karakteristik berorientasi subjek, terintegrasi, time-variant, dan non-volatile, bersifat tetap dari koleksi data dalam mendukung proses pengambilan keputusan management. Data Warehouse merujuk pada suatu database yang bersifat analisis dan read only yang digunakan sebagai fondasi dari sistem penunjang keputusan.

Data warehouse sering diintegrasikan dengan berbagai sistem aplikasi untuk mendukung proses laporan dan analisis data dengan menyediakan data histori. Jadi, data warehouse merupakan metode dalam perancangan database, yang menunjang dan menyediakan infrastruktur bagi DSS (Decission Support System) dan EIS (Executive Information System).

Big Data

Big data merupakan sekumpulan data yang memiliki skala besar sehingga tidak dapat diproses menggunakan alat tradisional biasa dan harus menggunakan cara maupun alat baru untuk mendapatkan nilai dari data ini, bisa dengan cara di clustering, partisi, dan digudangkan pada data warehouse.

 Big data mengacu pada kumpulan data yang ukurannya diluar kemampuan dari database software tools untuk meng-capture, menyimpan,me-manage dan menganalisis. Ukuran big data sekitar beberapa lusin TeraByte sampai ke beberapa PetaByte tergantung dari kebutuhan industri akan data tersebut. Dalam pemrosesan big data, terdapat 3 dimensi pendukung yang kita kenal dengan istilah 3V, antara lain : Variety, Velocity, dan Volume.

Variety : pengolahan, penyimpanan dan analisis data yang sangat kompleks dalam beragam bentuk/format.

Big data memiliki keanekaragaman data yang didapatkan dari lingkungan internal dan eksternal perusahaan, layaknya studi tentang gaji dan demografi tenaga kerja. Variasi juga mengacu pada jenis data yang terstruktur dan tidak terstruktur.

Data yang terstruktur merupakan data yang bersifat standar dan relasional, seperti HRIS, sistem akunting, dan sistem perencaaan sumber daya perusahaan. Berbeda halnya dengan data yang tidak terstruktur, data tersebut didapatkan dari sumber informasi yang lebih luas seperti pernyataan lisan/tulisan dari subjek penelitian, surel, gambar, video, hingga postingan di social media.

Velocity  : mengacu pada kecepatan dalam pengolahan data

Kecepatan atau velocity mereferensi kepada peningkatan pengumpulan data dan seberapa cepat data yang dikumpulkan harus dievaluasi dan diaplikasikan untuk meningkatkan nilai bisnis.

Volume  : data yang diproduksi lebih besar dari data non tradisional

Volume dari big data selalu meningkat seiring berjalannya waktu, terlebih lagi dengan kemajuan teknologi yang memudahkan perusahaan untuk mendokumentasikan informasi digital yang datang dari berbagai sumber seperti smartphones, media sosial, dan social barcode. 

Dari ketiga dimensi big data yang telah dipaparkan, maka dapat dipahami bahwa big data merupakan manifestasi dari peningkatan jumlah dan variasi data yang datang secara cepat dari berbagai media. Proses utilisasi big data tidak selesai pada pengumpulan data yang beragam, melainkan terus berlanjut seiring dengan perusahaan men-transformasikan data-data mentah menjadi informasi yang terukur, dan dapat dimengerti. Manfaat adanya Big data antara lain adalah dapat membantu analisa proses sistem yang sedang berjalan untuk mencegah dan menanggulangi kegagalan dalam sistem, menggunakan hasil analisa log untuk menemukan dan menetukan secara pasti kegagalan apa yang terjadi didalam sistem, menyiapkan langkah-langkah pasti yang dapat digunakan sebagai solusi masalah sistem.

Gambar Diagram Karakteristik Big Data (Sumber: http://makingdatameaningful.com/wp-content/uploads/3vsBigData.jpg)

Seiring dengan perkembangan dunia digital, data yang butuh untuk disimpan kedalam database semakin besar. Data tersebut bisa jadi tumbuh dalam hitungan detik, dan yang lebih parah adalah bentuk data tersebut semakin beragam. Bisa jadi data-data tersebut memiliki format video, gambar, logs, binary, trace logs (.pcap), dsb. Ketika data-data tersebut tumbuh dalam hitungan detik dan ingin disimpan dalam database sehingga bisa diproses oleh aplikasi maka dibutuhkan suatu pendekatan baru untuk menyimpan data-data tersebut serta memprosesnya dalam waktu singkat. Kita tidak perlu membuat definisi struktur terlebih dahulu untuk menyimpan data tersebut sehingga apapun bentuk datanya maka akan tersimpan kedalam media penyimpanan / database, apabila dibutuhkan maka kita bisa memproses data apapun dalam media penyimpanan tersebut untuk mendapatkan hasil pemrosesan dalam waktu singkat. Hingga saat ini terdapat berbagai software Big Data seperti Apache Hadoop, IBM’s Big Data Platform, Oracle NoSql Database, Microsoft HDInsight dan EMC Pivotal One.

Big Data dan Data Warehouse

Big Data dan Data Warehouse tidaklah saling bertentangan, masing-masing  baik Big Data dan Data Warehousememiliki kasus skenario penggunaan sendiri. Dalam beberapa kasus, sebuah perusahaan yang memilikidatabase terutama operasional yang memiliki data terstruktur sehingga analisis data dapat dilakukan dengan hanya mengandalkan Data Warehouse, sedangkan pada sebuah kasus dimana sebuah industri yang membutuhkan dan menggunakan sejumlah data mentah yang besar, dan bentuk/format datanya sangat bervariasi untuk melakukan analisis maka diperlukan teknologi Big Data.

Membangun Data Warehouse juga dapat membantu dalam membangun open-standards API untuk memungkinkan fleksibilitas ketika dikemudian hari diperlukannya teknologi Big Data karena akan lebih mudah dalam membangun API dari sumber data yang ada dari berbagai sumber operasional yang telah disetujui. 

Processing (Pengolahan) Data Warehouse dan Big Data

Dalam mengolah data pada Data Warehouse  dan Big Data diperlukan infrastruktur yang mumpuni seperti dengan menggunakan supercomputer atau yang sering disebut sebagai high-level computing. Supercomputerbukan seperti komputer pada umumnya. Supercomputer adalah mesin komputasi yang memiliki kinerja tingkat tinggi dan memiliki kecepatan pemprosesan data yang sangat cepat. Supercomputer memiliki berbagai macam aplikasi, seperti, scientific calculations, modeling simulations, and rendering large 3D graphics. Supercomputerbiasanya memiliki ukuran yang lebih besar dari komputer biasa dan membutuhkan daya/power yang lebih besar dari komputer biasa. Bahkan, sebuah Supercomputer dapat terdiri dari serangkaian komputer yang membutuhkan space ruangan yang besar.

Infrastruktur adalah landasan dalam menjalankan sebuah sistem. Untuk menggunakan infrastruktur yang telah disediakan, maka diperlukan sebuah perankat lunak yang mampu menangani pemrosesan Data Warehouse danBig Data. Salah satu perangkat tersebut adalah Apache Hadoop yang merupakan sebuah framework perangkat lunak open-source. 

Apache Hadoop terdiri dari 4 modul yaitu, Hadoop Common (berisi libraries dan utilities yang dibutuhkan oleh modul Hadoop lainnya), HDFS atau Hadoop Distributed File System (sebuah distributed file-system), Hadoop YARN (sebuah platform resource-management yang bertanggung jawab untuk mengelola resources dalam clusters danscheduling), dan Hadoop MapReduce (sebuah model programming untuk pengelolaan data skala besar).

Anaytical (Analisa Data) dengan OLAP

OLAP adalah singkatan dari Online Analytical Processing. OLAP digunakan untuk pengambilan keputusan, OLAP berguna dalam melakukan analisis data yang sudah ada untuk membantu dalam pengambilan keputusan di masa yang akan datang. OLAP merupakan teknologi yang memproses data di dalam database dalam struktur multidimensi, menyediakan jawaban yang cepat untuk query dan analisis yang kompleks. Data yang disajikan biasanya merupakan suatu fungsi agregasi seperti summary (rangkuman), max (nilai maksimum), min (nilai minimum), average (rata-rata), dan sebagainya.

OLAP memiliki suatu konsep yang biasa disingkat menjadi (FASMI). Konsep ini diutarakan oleh Nigel Pendse dimana FASMI berarti Fast, Analysis, Shared, Multidimensional, dan Information. Fast berarti pengolahan jutaan data transaksi dapat dilakukan dengan cepat. Analysis berarti bahwa sisem dapat mencakup setiap Business Logic (Logika Bisnis) dan data analisa statistik yang relevan dengan data-data yang tersedia. Shared berarti bahwa sistem yang digunakan, di dalamnya telah diimplementasikan suatu sistem keamanan untuk menjaga kerahasiaan informasi, dimana informasi yang dibagikan disesuaikan dengan kebutuhan berdasarkan hak akses masing-masing pengguna. Multidimensional adalah suatu kunci kebutuhan terhadap penggunaan aplikasi OLAP, dimana setiap aplikasi harus selalu mengandung unsur multi dimensi. Information adalah semua data dan turunan informasi yang dibutuhkan, dimanapun dan bagaimanapun data yang akan digunakan data tersebut harus siap digunakan dan terus terhubung dengan aplikasi untuk diolah kembali menjadi informasi yang utuh.

Transactional (Transaksi Data) dengan OLTP

OLTP adalah singkatan dari Online Transaction Processing. OLTP merupakan suatu aplikasi atau program yang digunakan dalam operasional perusahaan sehari-hari seperti melakukan insert (memasukan data), update(mengubah data) dan delete (menghapus data) berbagai macam data, seperti penjualan, pembelian, produksi dan lain sebagainya. OLTP bertujuan untuk memproses suatu transaksi secara langsung melalui komputer yang tergabung didalam jaringan. Contohnya seperti aplikasi yang digunakan minimarket dalam melayani penjualan, jika ada suatu transaksi penjualan, seorang kasir dapat langsung memasukan data kedalam aplikasi yang terhubung didalam jaringan, sehingga pemrosesan data terbantu oleh adanya OLTP tersebut. Berdasarkan datanya, OLTP menggunakan data asli atau hari ini dan dapat di update setiap saat. OLTP biasanya memiliki ukuran yang relatif kecil.

DAFTAR PUSTAKA

[1] Pendse, Nigel. 2005. What is OLAP?. The BI Verdict, Business Application Research Center, 2009. Exposition of "Fast Analysis of Shared Multidimensional Information" (FASMI).

[2] Oracle. 2014. Oracle Database 12c for Data Warehousing and Big Data. http://www.oracle.com/technetwork/database/bi-datawarehousing/data-warehousing-wp-12c-1896097.pdf.  

[3]  http://vijjam.blogspot.co.id/2013/12/memahami-definisi-big-data.html

[4] Maulana, Adhi. 2014. Apa Itu Teknologi 'Big Data' ?. http://tekno.liputan6.com/read/801638/apa-itu-teknologi-big-data.

[5] Wikipedia, English. 2015. Big Data. https://en.wikipedia.org/wiki/Big_data.

[6] Heripracoyo, Sulistyo. 2014. Big Data. http://sis.binus.ac.id/2014/04/29/big-data/.

PERAN OLTP DAN OLAP PADA DATA WAREHOUSE

Nama/NIM : I Gede Janar Adi Baskara/1304505100
Jurusan/Fakultas/Perguruan Tinggi : Teknologi Informasi/Teknik/Universitas Udayana
Mata Kuliah : Data Warehouse
Dosen : I Putu Agus Eka Pratama, S.T., M.T.

OLTP DAN OLAP PADA DATA WAREHOUSE

Untuk mengetahui OLTP (Online Transaction Processing) dan OLAP (Online Analytical Processing) secara detail perlu diketahui terlebih dahulu apa yang dimaksud dengan Data Warehouse.

Data Warehouse merupakan koleksi data yang memiliki sifat object-oriented, time-variant, dan terintegrasi dalam sebuah koleksi data sebagai pendukung dalam proses pengambilan keputusan. Data Warehouse berperan sebagai gudang data, yang nantinya data-data yang ada di dalamnya dapat digunakan untuk diolah sewaktu-waktu diperlukan. Data Warehouse digunakan untuk ruang lingkup yang lebih spesifik seperti pada suatu organisasi atau perusahaan.

Data Warehouse hanya dapat dilakukan dengan menggunakan 2 server atau lebih. Data Warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah kedalam suatu format yang konsisten dan saling terintegrasi satu dengan lainnya. Dengan demikian data tidak bisa dipecah-pecah karena data yang ada merupakan suatu kesatuan yang menunjang keseluruhan konsep Data Warehouse itu sendiri. Dengan kata lain informasi dikumpulkan dari data yang terpisah yang kemudian disatukan menjadi sebuah ringkasan.

Data Warehouse terbagi kedalam 2 sistem yaitu sistem transaksi yaitu OLTP dan analisis yaitu OLAP. Secara umum dapat dijelaskan bahwa sistem OLTP menyediakan sumber data untuk Data Warehouse, kemudian sistem OLAP akan melakukan analisis terhadap data tersebut.

OLTP

OLTP (Online Transactional Processing) merupakan sekumpulan fungsi yang bekerja secara bersama-sama dalam mengelola, mengumpulkan, menyimpan, memproses serta mendistribusikan informasi. Didalam dunia kerja sistem informasi harus user friendly untuk memudahkan user dalam penggunaan dan sistem informasi harus efisien, transparan dan terintegrasi. Sebuah sistem OLTP pada umumnya memiliki karakteristik seperti memiliki jumlah user yang sangat banyak yang secara serentak dalam melakukan pengelolahan data. Seperti misalanya kasir pada sebuah super market yang menggunakan mesin dalam proses transaksinya, transaksi yang dapat dilakukan dalam pengolahan data yaitu berupa insert, update dan delete data.

OLAP

OLAP (Online Transactional Processing) merupakan jenis perangkat lunak yang digunakan untuk melakukan permintaan terhadap data dalam bentuk yang kompleks dan bersifat sementara atau sewaktu-waktu. OLAP (Online Transactional Processing) memanipulasi dan menganalisis data bervolume besar dari berbagai perspektif atau multidimensi. Tujuan dari OLAP yaitu menggunakan informasi dalam sebuah basis data (data warehouse) dalam memandu keputusan-keputusan yang strategis. Contoh dari perangkat lunak OLAP yaitu Express Server (Oracle), PowerPlay (Cognos Software), Metacube (Informix/Stanford Technology Group), dan HighGate Project (Sysbase).

OLAP memiliki suatu konsep yang biasa disingkat menjadi (FASMI). Konsep ini diutarakan oleh Nigel Pendse dimana FASMI berarti Fast, Analysis, Shared, Multidimensional, dan Information. Fast berarti pengolahan jutaan data transaksi dapat dilakukan dengan cepat. Analysis berarti bahwa sisem dapat mencakup setiap Business Logic (Logika Bisnis) dan data analisa statistik yang relevan dengan data-data yang tersedia. Shared berarti bahwa sistem yang digunakan, di dalamnya telah diimplementasikan suatu sistem keamanan untuk menjaga kerahasiaan informasi, dimana informasi yang dibagikan disesuaikan dengan kebutuhan berdasarkan hak akses masing-masing pengguna. Multidimensional adalah suatu kunci kebutuhan terhadap penggunaan aplikasi OLAP, dimana setiap aplikasi harus selalu mengandung unsur multi dimensi. Information adalah semua data dan turunan informasi yang dibutuhkan, dimanapun dan bagaimanapun data yang akan digunakan data tersebut harus siap digunakan dan terus terhubung dengan aplikasi untuk diolah kembali menjadi informasi yang utuh.

OLAP mengijinkan pengguna melihat data dari sudut pandang secara logika dan multidimensi pada Data Warehouse, melakukan drill down untuk menampilkan data pada level yang lebih detail atau roll up untuk agregasi dari satu dimensi atau beberapa dimensi, menyediakan proses kalkulasi dan perbandingan data, memfasilitasi query-query kompleks dan analisa bagi pengguna, serta menampilkan hasil dalam bentuk angka, tabel, hingga grafik.

Daftar Pustaka

[1] Dwi Purwanto. 2013. Apa Itu OLTP, ETL, OLAP dan DataWarehouse?. (http://www.kompasiana.com/dhephe/apa-itu-oltp-etl-olap-dan-datawarehouse_552e1db26ea834f73d8b45b7) diakses pada 12 September 2015

[2] Putri, Alifianti. 2014. Data Warehouse, OLTP dan OLAP, Fact dan Dimension Table (http://datawarehouse12.blogspot.co.id/2014/12/data-warehouse-oltp-dan-olap-fact-dan.html) diakses pada 12 September 2015

[3] Rully. 2009. Data Mining dan Data Warehouse (https://rully6092.wordpress.com/data-mining-data-warehouse/) diakses pada 12 September 2015