大数据存储选型实战：HDFS、S3 与 HBase 的适用场景对比

选型建议：

1. 离线分析为主：首选 HDFS，配合 Hive/Spark 处理。
2. 云原生与弹性需求：优先 S3，利用其托管优势。
3. 实时交互业务：必须 HBase，确保低延迟响应。

实战代码示例

Python 操作 HDFS 与 S3

这里展示如何使用客户端库进行基础的文件操作。注意连接配置需根据实际环境调整。

from hdfs import InsecureClient
import boto3

# --- HDFS 写入示例 ---
# 连接到本地 HDFS 集群
client = InsecureClient('http://localhost:50070', user='hadoop')
with client.write('/user/data/test.txt', encoding='utf-8') as writer:
    writer.write('Hello, HDFS!')

# --- S3 上传示例 ---
# 初始化 S3 客户端
s3 = boto3.client('s3')
bucket_name = 'my-bucket'
file_path = 'test.txt'
object_key = 'data/test.txt'

# 上传文件到指定桶
s3.upload_file(file_path, bucket_name, object_key)

Java 操作 HBase

HBase 的客户端开发主要依赖 Java SDK。以下示例演示了如何建立连接并执行 Put 与 Get 操作。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;

public class HBaseExample {
    public static void main(String[] args) throws IOException {
        // 创建配置与连接
        Configuration config = HBaseConfiguration.create();
        Connection connection = ConnectionFactory.createConnection(config);
        Table table = connection.getTable(TableName.valueOf("my_table"));

        // 写入数据
        Put put = new Put(Bytes.toBytes("row1"));
        put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col1"), Bytes.toBytes("value1"));
        table.put(put);

        // 读取数据
        Get get = new Get(Bytes.toBytes("row1"));
        Result result = table.get(get);
        byte[] value = result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col1"));
        System.out.println(Bytes.toString(value));

        // 关闭资源
        table.close();
        connection.close();
    }
}

总结

存储选型没有银弹。HDFS 胜在生态成熟与低成本，适合海量数据的沉淀；S3 胜在灵活与免运维，适合云环境下的通用存储；HBase 胜在实时性与高并发，适合在线业务支撑。理解各自的数据模型与约束，结合业务场景的读写特征，才能设计出稳健的大数据架构。