| 作者 | 日期 | 天气 |
|---|---|---|
| 元公子 | 2019-12-23(周一) | 阳光明媚,风和日丽 |
你知道的越少,你不知道的就越少
没有朋友的点赞,就没法升级打怪
一、前言
大数据环境一定会使用到一些其他语言的环境,这里将统一进行讲述。部署机采用Centos7操作系统。
二、Java环境
话说oracle jdk版本大于8u200以上,将不能用于商业用途(自己练习可以随便玩耍)。高版本可以选择openjdk,部署方式都一样。
下载地址:oracle java,openjdk
# root用户
# 习惯性把软件安装到自定义根目录下的soft目录,或者/usr/local目录。大家可以按自己的习惯来
[root@hadoop-master /]# mkdir /soft
[root@hadoop-master /]# cd /soft
[root@hadoop-master /soft]# tar -xvzf jdk-8u172-linux-x64.tar.gz
[root@hadoop-master /soft]# ln -s jdk1.8.0_172 jdk
[root@hadoop-master /soft]# vi /etc/profile
# 文件最底部加入
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin
执行保存: Esc :wq
# source当前会话生效,全局需重启
[root@hadoop-master /soft]# source /etc/profile
[root@hadoop-master /soft]# java -version
java version "1.8.0_172"
Java(TM) SE Runtime Environment (build 1.8.0_172-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.172-b11, mixed mode)
三、Scala 环境
下载地址:scala,底部Other resources章节,下载后缀为.tgz文件。
# root用户
[root@hadoop-master /soft]# tar -xvzf scala-2.13.1.tgz
[root@hadoop-master /soft]# ln -s scala-2.13.1 scala
[root@hadoop-master /soft]# vi /etc/profile
# 文件最底部加入
export SCALA_HOME=/soft/scala
export PATH=$PATH:$SCALA_HOME/bin
执行保存: Esc :wq
# source当前会话生效,全局需重启
[root@hadoop-master /soft]# source /etc/profile
[root@hadoop-master /soft]# scala -version
Scala code runner version 2.13.1 -- Copyright 2002-2019, LAMP/EPFL and Lightbend, Inc.
四、Python环境
1.使用官方安装包方式安装
在服务器上直接下载安装包,或者通过网址下载
[root@hadoop-master /soft]# wget https://www.python.org/ftp/python/3.9.0/Python-3.9.0a1.tar.xz
查看全局命令在哪个目录
[root@hadoop-master /soft]# which python
安装软件依赖包
[root@hadoop-master /soft]# yum -y install gcc-c++ libffi-devel yum install python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
软件安装在/usr/local/python3目录,解压缩文件可放在随意位置。
[root@hadoop-master /root/download]# tar -xvJf Python-3.9.0a1.tar.xz
[root@hadoop-master /root/download]# mkdir /usr/local/python3
[root@hadoop-master /root/download]# cd Python-3.9.0a1
[root@hadoop-master /root/download/Python-3.9.0a1]# ./configure --prefix=/usr/local/python3 --enable-shared --enable-optimizations
[root@hadoop-master /root/download]# make && make install
创建python3、pip3全局命令
[root@hadoop-master /root/download]# ln -s /usr/local/python3/bin/python3 /usr/bin/python3
[root@hadoop-master /root/download]# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
2.使用Anaconda方式安装(在单服务器傻瓜式支持多个Python环境)
下载地址:Anaconda,选择Linux安装包,并下载Python 3.7 version和Python 2.7 version x64版本两个安装文件。
# 安装Anaconda3
[root@hadoop-master /root/download]# chmod +x Anaconda2-2019.10-Linux-ppc64le.sh
[root@hadoop-master /root/download]# chmod +x Anaconda3-2019.10-Linux-ppc64le.sh
[root@hadoop-master /root/download]# ./Anaconda3-2019.10-Linux-ppc64le.sh -b -p /usr/local/anaconda3
# 安装Anaconda2
[root@hadoop-master /root/download]# ./Anaconda2-2019.10-Linux-x86_64.sh -b -p /usr/local/anaconda3/envs/py27
# 创建全局命令
[root@hadoop-master /root/download]# ln -s /usr/local/anaconda3 /usr/local/anaconda
[root@hadoop-master /soft]# vi /etc/profile
# 文件最底部加入
export ANACONDA_HOME=/usr/local/anaconda
export PATH=$PATH:$ANACONDA_HOME/bin
执行保存: Esc :wq
# source当前会话生效,全局需重启
[root@hadoop-master /soft]# source /etc/profile
# 查看当前版本
[root@hadoop-master /soft]# conda -V
基本使用:
# 查询当前存在的环境列表,*表示当前有效的环境
[root@hadoop-master /root/download]# conda info --envs
# 简单的创建环境命令,高级使用可参考conda create -h
[root@hadoop-master /root/download]# conda create --name 环境名称 pytohn==3.6
# 环境切换
[root@hadoop-master /root/download]# source activate 环境名称
# 删除环境
[root@hadoop-master /root/download]# conda remove -n 环境名称 --all
参考文章:
四、nano编辑器
平时经常用到Vim,换换nano编辑器,也会一样习惯的。
[root@hadoop-master /root/download]# yum -y install nano
这里可能是坑:
Python问题
问题:/usr/local/python3/bin/python3.9: error while loading shared libraries: libpython3.9m.so.1.0: cannot open shared object file: No such file or directory
[root@hadoop-master /root/download]# ldd /usr/local/python3/bin/python3
linux-vdso.so.1 => (0x00007ffd95bf0000)
# 这行可能不存在
`libpython3.9m.so.1.0 => /usr/local/python3/lib/libpython3.9m.so.1.0 (0x00007fa4e9336000)`
libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fa4e9119000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007fa4e8f15000)
libutil.so.1 => /lib64/libutil.so.1 (0x00007fa4e8d12000)
libm.so.6 => /lib64/libm.so.6 (0x00007fa4e8a0f000)
libc.so.6 => /lib64/libc.so.6 (0x00007fa4e864c000)
/lib64/ld-linux-x86-64.so.2 (0x000055b01d20e000)
# 查找3.9m.so.1.0所在位置
[root@hadoop-master /root/download]# find / -name 'libpython3.9m.so.1.0'
/usr/local/python3/lib/libpython3.9m.so.1.0
# 在/etc/ld.so.conf.d目录下,创建python3.conf,并写入所在路径内容
[root@hadoop-master /root/download]# cd /etc/ld.so.conf.d
[root@hadoop-master /etc/ld.so.conf.d]# vi python3.conf
/usr/local/python3/lib/
执行保存: Esc :wq
[root@hadoop-master /etc/ld.so.conf.d]# ldconfig
问题:Linux gcc编译error:"collect2: ld returned 1 exit status"
# 清除编译文件,重新编译
[root@hadoop-master /root/download/Python-3.9.0a1]# make clean