WebHDFS REST API

配置说明

master webhdfs端口:50070
dataNode webhdfs端口:70075

创建文件并写入数据

创建HDFS文件

1	curl -i -X PUT "http://masterHost:masterPort/webhdfs/v1/文件夹?op=CREATE"

获取Location地址并上传数据

1	curl -i -X PUT "http://dataHost:dataPort/webhdfs/v1/文件夹?op=CREATE..."

例如:

    wissy@wissy-PC:~$ curl -i -X PUT "http://master:50070/webhdfs/v1/data/wissy/test?op=CREATE"
    HTTP/1.1 307 TEMPORARY_REDIRECT
    Cache-Control: no-cache
    Expires: Mon, 25 Sep 2017 08:54:53 GMT
    Date: Mon, 25 Sep 2017 08:54:53 GMT
    Pragma: no-cache
    Expires: Mon, 25 Sep 2017 08:54:53 GMT
    Date: Mon, 25 Sep 2017 08:54:53 GMT
    Pragma: no-cache
    Content-Type: application/octet-stream
    X-FRAME-OPTIONS: SAMEORIGIN
    Location: http://node7:50075/webhdfs/v1/data/wissy/test?op=CREATE&namenoderpcaddress=nameservice1&overwrite=false
    Content-Length: 0
    Server: Jetty(6.1.26.cloudera.4)
wissy@wissy-PC:~$ curl -i -X PUT -T c.txt  "http://node7:50075/webhdfs/v1/data/wissy/test?op=CREATE&namenoderpcaddress=nameservice1&overwrite=false"
    HTTP/1.1 100 Continue

    HTTP/1.1 201 Created
    Location: hdfs://nameservice1/data/wys/test
    Content-Length: 0
    Connection: close

追加数据

创建HDFS文件

1	curl -i -X PUT "http://masterHost:masterPort/webhdfs/v1/文件夹?op=APPEND"

获取Location地址并上传数据

1	curl -i -X PUT "http://dataHost:dataPort/webhdfs/v1/文件夹?op=APPEND..."

读取数据

1	curl -i -L "http://masterHost:masterPort/webhdfs/v1/文件夹?op=OPEN[&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]"

创建文件夹

1	curl -i -X PUT "http://masterHost:masterPort/文件夹?op=MKDIRS[&permission=<OCTAL>]"

重命名文件/文件夹

1	curl -i -X PUT "http://masterHost:masterPort/webhdfs/v1/旧路径?op=RENAME&destination=新路径"

删除文件/文件夹

1	curl -i -X DELETE "http://masterHost:masterPort/webhdfs/v1/路径?op=DELETE[&recursive=<true\|false>]"

查看文件/文件夹状态

1	curl -i "http://masterHost:masterPort/webhdfs/v1/路径?op=GETFILESTATUS"

列出文件夹下面的文件

1	curl -i "http://masterHost:masterPort/webhdfs/v1/路径?op=LISTSTATUS"

参考资料

[http://hadoop.apache.org/docs/r1.0.4/webhdfs.html]