Để tiến hành cài đặt hadoop chúng ta cần tải hadoop-3.2.1.tar.gz về thông qua wget http://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

hoặc

wget http://www-eu.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

Tiến hành giải nén hadoop-3.2.1.tar.gz tar xvzf hadoop-3.2.1.tar.gz

Đổi tên thư mục từ hadoop-3.2.1 thành hadoop mv hadoop-3.2.1 hadoop

Di chuyển thư mục hadoop sang /usr/local sudo mv hadoop /usr/local/

Trong trường hợp có lỗi (“hduser is not in the sudoers file. This incident will be reported”) không chuyển được chúng ta cần cho phép hduser có thể sudo bằng cách chạy lệnh sau dưới quyền của quản trị hệ thống (root user) sudo adduser hduser

Điền thông tin tài khoản

Điền bộ phận

Điền số điện thoại

Điền số điện thoại

Điền số điện thoại di động

Lựa chọn “y

Phân quyền cho phép hduser với /usr/local/hadoop sudo chown -R hduser:azedu /usr/local/hadoop

Thiết lập các files cấu hình

Các tệp sau đây sẽ phải được sửa đổi để hoàn tất thiết lập Hadoop

  • ~/.bashrc
  • /usr/local/hadoop/etc/hadoop/hadoop-env.sh
  • /usr/local/hadoop/etc/hadoop/core-site.xml
  • /usr/local/hadoop/etc/hadoop/mapred-site.xml
  • /usr/local/hadoop/etc/hadoop/hdfs-site.xml

~/.bashrc

Trước khi chỉnh sửa .bashrc, chúng ta cập nhật biến môi trường JAVA_HOME bằng cách kiểm tra thông qua lệnh sau update-alternatives –config java

/usr/lib/jvm/java-11-openjdk-amd64/bin/java là giá trị của JAVA_HOME sẽ được cập nhật trong .bashrc cùng với các biến môi trường khác thông qua câu lệnh nano ~/.bashrc