Hadoop Setting - Arumprimandari.files.wordpress

HADOOP SETTINGArum Handini Primandari

PERSIAPANPastikan setting virtualization technologylaptop ENABLEBuka setting bios: Restart laptop Masuk ke setting bios pada saat laptop booting. Catatan:setiap merk laptop memiliki kunci masuk bios yangberbeda-beda, googling terlebih dahulu, contoh: tekanF2 pada dell ketika booting (logo dell muncul) Cari setting untuk virtualization , arahkan pada“ENABLE”. Terkadang, virtualization berada di menu“option” atau menu tersendiri.

VIRTUAL MACHINEVirtual machine (VM) dalam komputasimerupakan tiruan dari system computer yangdapat menjalankan program yang samaseperti computer biasa.Kegunaan VM: Mencoba suatu software baru. Apabila terjadikerusakan VM karena software tersebut, maka tidakakan mempengaruhi komputer aslinya. Menjalankan software yang tidak disupport oleh OSdari komputer asli.Terdapat beberapa pilihan virtual machineyang dapat digunakan, seperti vmware atauvirtualbox (dari Oracle)

INSTALL VIRTUAL MACHINEAtau vmware sktop end user computing/vmware workstation player/14 0Install vmware

INSTALL VIRTUAL MACHINEDownload virtualbox oracle:https://www.virtualbox.org/Install virtualbox

CLOUDERA kstart vms/5-13.htmlCDH: Cloudera Distributionfor HadoopPilih platform:vmware/virtualbox

MENGAKSES HADOOPMobaxtermUntuk mengakses Hadoop, client dapatmenggunakan browser, mobaxterm, atau putty.Misalkan, client (yang menggunakan OSWindows) ingin mengakses file di VM-Linux.Untuk keperluan tersebut, client membutuhkanmobaxterm.Lakukan installasi mobaxterm. Contoh: gunakanMobaXterm Installer v10.5Klik session untuk membuat sesikoneksi baru.

MOBAXTERMKlik SSH untuk membuat koneksidengan protocol SSH.Untuk terhubung dengan VM-Linux,kita membutuhkan nomor IP.Mendapatkan IP dari VM-Linux:Pada panel cloudera-quicstart, klikicon terminalKetikkan perintah: ifconfigNomor IP akan muncul pada “inetaddr”Copy nomor IP tersebut, kemudianpastekan pada mobaxterm bagianRemote host. Gunakan username:Specify username: cloudera.

MOBAXTERMGunakan perintah berikut pada terminalmobaxterm: 𝑙𝑙 digunakan untuk melihat direktori yang berada didalam linux 𝑚𝑘𝑑𝑖𝑟 digunakan untuk membuat direktori baruSelain mengakses Linux, mobaxtermdigunakan untuk mengakses Hadoop: ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 digunakan untuk mengakses HDFS(Hadoop Distributed File System) ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 𝑙𝑠 /𝑢𝑠𝑒𝑟 digunakan untukmemunculkan user dibawah Hadoop ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 𝑚𝑘𝑑𝑖𝑟 /𝑑𝑖𝑟 digunakan untukmembuat direktori. Contoh: ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 𝑚𝑘𝑑𝑖𝑟 /user/cloudera/contoh ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 �� digunakan untukmeng-copy file dari local Linux ke dalam hdfsUntuk memulai, ketikkan password: cloudera.Dengan begitu, mobaxterm siap digunakan.

MOBAXTERMContoh:Buat folder “projects” dibawahfolder /home/cloudera/DocumentsUpload file “Adult.csv” ke dalamfolder tersebut. Gunakan icon“upload to this current folder” untukmengambil file dari folder di OSWindows

MOBAXTERMBuat folder dengan nama “contoh” dalam hdfsℎ𝑑𝑓𝑠 𝑑𝑓𝑠 𝑚𝑘𝑑𝑖𝑟 /user/cloudera/contohPastikan bahwa folder tersebut telah adaℎ𝑑𝑓𝑠 𝑑𝑓𝑠 𝑙𝑠 /user/clouderaCopy file “Adult.csv” dari Linux, ke dalam hdfsℎ𝑑𝑓𝑠 𝑑𝑓𝑠 //localhost/user/cloudera/contoh/Adult.csv

HUESelain menggunakan terminal,mengakses dan menjalankan hdfsdapat dilakukan denganmenggunakan user interface HUE(Hadoop User Experience)Gunakan: Username: cloudera Password: cloudera

HUEKlik icon tersebut yaitu Filebrowser dalam HUE.Folder “contoh” dan data“Adult.csv” berada di bawah/user/cloudera.

METASTORE TABLEData yang akan diolah (query)menggunakan tools yang tersediadalam Hadoop, diubah ke dalammetastore table terlebih dahulu.Langkah-langkah: Klik “Data Browser”, kemudian pilih“Metastore Table”, klik “default” (tempatpenyimpanan table) Klik icon “create a new table from file” (iconkertas dengan tanda plus) Isikan nama table name, input file (pilihlokasi tempat menyimpan file)

METASTORE TABLEIkuti setiap step. Pada step 3:define Columns, perhatikan: Nama kolomnya Tipe data kolom: Klik “create table” jika sudah selesai.

TIPE DATA INTEGER

QUERYUntuk melakukan query, dapatdigunakan tools Hadoop “Hive” ponents/180)Pada “Query Editor” pilih “Hive”Hive is a data warehouse infrastructure tool to process structureddata in Hadoop. It resides on top of Hadoop to summarize BigData, and makes querying and analyzing easy.(https://www.tutorialspoint.com/hive/hive introduction.htm)

QUERYGunakan data: AdultLakukan query, contoh: tampilkansemua kolom pada table adult, dimanaage lebih dari 25

BERTUKAR FILE ANTARA OSUntuk keperluan bertukar file antara OS Windowsdengan VM-Linux, selain menggunakan mobaxtermdapat pula melalaui beberapa cara: Drag and drop dari Windows ke Linux Pada versi lama cloudera-quickstarts, bertukar file cukup dragdari Windows ke folder di Linux Pada versi baru cloudera-quickstart, bertukar file dengan dragand drop perlu disetel terlebih dahulu. sharing folder antara kedua OS.

PERSIAPAN Pastikan setting virtualization technology laptop ENABLE Buka setting bios: Restart laptop Masuk ke setting bios pada saat laptop booting. Catatan: setiap merk laptop memiliki kunci masuk bios yang