hadoop连接Amazon s3时，core-site.xml文件该怎么配置？

文章目录
  1.注意
  2.s3的配置模板
  3.s3n的配置模板
  4.s3a的配置模板
  5.必须要添加的配置
    5.1 配置 endpoint
    5.2 禁用ssl

1. 注意

具体配置要求如下：
1.首先，要确认自己使用的是 s3 服务接口，还是s3n、s3a，然后在下面三个模板中选择一个添加到你的 core-site.xml 文件中去。

2.记得修改成自己的 secret key 与 access key 哦！

2. s3的配置模板

<property>
    <name>fs.s3.access.key</name>
    <value>AD219WWP7J246X6M88D2</value>
</property>
<property>
    <name>fs.s3.secret.key</name>
    <value>DhK8SZdmAVwwDDYh0KXbUPQelIejl7snZOwPNlNh</value>
</property>
<property>
    <name>fs.s3.impl</name>
    <value>org.apache.hadoop.fs.s3.S3FileSystem</value>
</property>

3. s3n的配置模板

<property>
    <name>fs.s3n.access.key</name>
    <value>access.key</value>
</property>
<property>
    <name>fs.s3n.secret.key</name>
   <value>secret.key</value>
</property>
<property>
    <name>fs.s3n.impl</name>
    <value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value>
</property>

4. s3a的配置模板

<property>
    <name>fs.s3a.access.key</name>
    <value>access.key</value>
</property>
<property>
    <name>fs.s3a.secret.key</name>
    <value>secret.key</value>
</property>
<property>
    <name>fs.s3a.impl</name>
    <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>

5. 必须要添加的配置

5.1 配置 endpoint

似乎只有s3a才支持配置endopint！s3没试过、s3n版本太旧了，hadoop强制要我改成s3a才可以连接。

<property>
    <name>fs.s3a.endpoint</name>
    <value>endpoint:port</value>
</property>

5.2 禁用ssl

<property>
  <name>fs.s3a.connection.ssl.enabled</name>
  <value>false</value>
</property>