【误闯大数据】【从安装到入门】常用环境篇

495 阅读4分钟
作者 日期 天气
元公子 2019-12-23(周一) 阳光明媚,风和日丽

你知道的越少,你不知道的就越少

没有朋友的点赞,就没法升级打怪

一、前言

大数据环境一定会使用到一些其他语言的环境,这里将统一进行讲述。部署机采用Centos7操作系统。

二、Java环境

话说oracle jdk版本大于8u200以上,将不能用于商业用途(自己练习可以随便玩耍)。高版本可以选择openjdk,部署方式都一样。

下载地址:oracle javaopenjdk

# root用户
# 习惯性把软件安装到自定义根目录下的soft目录,或者/usr/local目录。大家可以按自己的习惯来
[root@hadoop-master /]# mkdir /soft
[root@hadoop-master /]# cd /soft
[root@hadoop-master /soft]# tar -xvzf jdk-8u172-linux-x64.tar.gz
[root@hadoop-master /soft]# ln -s jdk1.8.0_172 jdk
[root@hadoop-master /soft]# vi /etc/profile
# 文件最底部加入
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin

执行保存: Esc :wq
# source当前会话生效,全局需重启
[root@hadoop-master /soft]# source /etc/profile  
[root@hadoop-master /soft]# java -version
java version "1.8.0_172"
Java(TM) SE Runtime Environment (build 1.8.0_172-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.172-b11, mixed mode)

三、Scala 环境

下载地址:scala,底部Other resources章节,下载后缀为.tgz文件。

# root用户
[root@hadoop-master /soft]# tar -xvzf scala-2.13.1.tgz
[root@hadoop-master /soft]# ln -s scala-2.13.1 scala
[root@hadoop-master /soft]# vi /etc/profile
# 文件最底部加入
export SCALA_HOME=/soft/scala
export PATH=$PATH:$SCALA_HOME/bin

执行保存: Esc :wq
# source当前会话生效,全局需重启
[root@hadoop-master /soft]# source /etc/profile  
[root@hadoop-master /soft]# scala -version
Scala code runner version 2.13.1 -- Copyright 2002-2019, LAMP/EPFL and Lightbend, Inc.

四、Python环境

1.使用官方安装包方式安装

在服务器上直接下载安装包,或者通过网址下载

[root@hadoop-master /soft]# wget https://www.python.org/ftp/python/3.9.0/Python-3.9.0a1.tar.xz

查看全局命令在哪个目录

[root@hadoop-master /soft]# which python

安装软件依赖包

[root@hadoop-master /soft]# yum -y install gcc-c++ libffi-devel yum install python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

软件安装在/usr/local/python3目录,解压缩文件可放在随意位置。

[root@hadoop-master /root/download]# tar -xvJf Python-3.9.0a1.tar.xz
[root@hadoop-master /root/download]# mkdir /usr/local/python3
[root@hadoop-master /root/download]# cd Python-3.9.0a1
[root@hadoop-master /root/download/Python-3.9.0a1]# ./configure --prefix=/usr/local/python3 --enable-shared --enable-optimizations
[root@hadoop-master /root/download]# make && make install

创建python3、pip3全局命令

[root@hadoop-master /root/download]# ln -s /usr/local/python3/bin/python3 /usr/bin/python3
[root@hadoop-master /root/download]# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

2.使用Anaconda方式安装(在单服务器傻瓜式支持多个Python环境)

下载地址:Anaconda,选择Linux安装包,并下载Python 3.7 version和Python 2.7 version x64版本两个安装文件。

# 安装Anaconda3
[root@hadoop-master /root/download]# chmod +x Anaconda2-2019.10-Linux-ppc64le.sh
[root@hadoop-master /root/download]# chmod +x Anaconda3-2019.10-Linux-ppc64le.sh
[root@hadoop-master /root/download]# ./Anaconda3-2019.10-Linux-ppc64le.sh -b -p /usr/local/anaconda3

# 安装Anaconda2
[root@hadoop-master /root/download]# ./Anaconda2-2019.10-Linux-x86_64.sh -b -p /usr/local/anaconda3/envs/py27

# 创建全局命令
[root@hadoop-master /root/download]# ln -s /usr/local/anaconda3 /usr/local/anaconda
[root@hadoop-master /soft]# vi /etc/profile
# 文件最底部加入
export ANACONDA_HOME=/usr/local/anaconda
export PATH=$PATH:$ANACONDA_HOME/bin

执行保存: Esc :wq
# source当前会话生效,全局需重启
[root@hadoop-master /soft]# source /etc/profile
# 查看当前版本
[root@hadoop-master /soft]# conda -V

基本使用:

# 查询当前存在的环境列表,*表示当前有效的环境
[root@hadoop-master /root/download]# conda info --envs
# 简单的创建环境命令,高级使用可参考conda create -h
[root@hadoop-master /root/download]# conda create --name 环境名称 pytohn==3.6 
# 环境切换
[root@hadoop-master /root/download]# source activate 环境名称
# 删除环境
[root@hadoop-master /root/download]# conda remove -n 环境名称 --all

参考文章:

四、nano编辑器

平时经常用到Vim,换换nano编辑器,也会一样习惯的。

[root@hadoop-master /root/download]# yum -y install nano

这里可能是坑:

Python问题

问题:/usr/local/python3/bin/python3.9: error while loading shared libraries: libpython3.9m.so.1.0: cannot open shared object file: No such file or directory

[root@hadoop-master /root/download]# ldd /usr/local/python3/bin/python3
	linux-vdso.so.1 =>  (0x00007ffd95bf0000)
	# 这行可能不存在
	`libpython3.9m.so.1.0 => /usr/local/python3/lib/libpython3.9m.so.1.0 (0x00007fa4e9336000)`
	libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fa4e9119000)
	libdl.so.2 => /lib64/libdl.so.2 (0x00007fa4e8f15000)
	libutil.so.1 => /lib64/libutil.so.1 (0x00007fa4e8d12000)
	libm.so.6 => /lib64/libm.so.6 (0x00007fa4e8a0f000)
	libc.so.6 => /lib64/libc.so.6 (0x00007fa4e864c000)
	/lib64/ld-linux-x86-64.so.2 (0x000055b01d20e000)
# 查找3.9m.so.1.0所在位置
[root@hadoop-master /root/download]# find / -name 'libpython3.9m.so.1.0' 
/usr/local/python3/lib/libpython3.9m.so.1.0
# 在/etc/ld.so.conf.d目录下,创建python3.conf,并写入所在路径内容
[root@hadoop-master /root/download]# cd /etc/ld.so.conf.d
[root@hadoop-master /etc/ld.so.conf.d]# vi python3.conf
/usr/local/python3/lib/
执行保存: Esc :wq
[root@hadoop-master /etc/ld.so.conf.d]# ldconfig

问题:Linux gcc编译error:"collect2: ld returned 1 exit status"

# 清除编译文件,重新编译
[root@hadoop-master /root/download/Python-3.9.0a1]# make clean