配置 Spark SQL 访问 Hive 元数据

如果 HDFS 做了高可用，还需要把 Hadoop 集群里的 hdfs-site.xml 和 core-site.xml 一并复制到 $SPARK_HOME/conf 下。

接下来启动 spark-shell 时，必须带上 MySQL 驱动 jar，因为 Spark 要通过 JDBC 连元数据库。两种常见模式：

Spark 集群模式:

bin/spark-shell \
  --master spark://spark-master:7077 \
  --executor-memory 512m \
  --total-executor-cores 2 \
  --driver-class-path /path/to/mysql-connector-java-5.1.35-bin.jar

Spark on YARN:

bin/spark-shell \
  --master yarn \
  --executor-memory 512m \
  --total-executor-cores 2 \
  --driver-class-path /path/to/mysql-connector-java-5.1.35-bin.jar

进入 shell 之后，就能用 SQL 了。最简单的办法是用 sqlContext.sql：

val rdd = sqlContext.sql("select * from default.person limit 2")
rdd.write.json("hdfs://192.168.19.131:9000/personresult")

或者显示创建 HiveContext：

import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
hiveContext.sql("select * from default.person")

你也可以直接启动 spark-sql 命令行，用法和 Hive 几乎一样：

bin/spark-sql \
  --master spark://spark-master:7077 \
  --executor-memory 512m \
  --total-executor-cores 3 \
  --driver-class-path /path/to/mysql-connector-java-5.1.35-bin.jar

进去之后写 SQL 就行了：

select * from default.person limit 2

有一点需要特别说明：元数据库里只存了表对应的 HDFS 路径，没有实际数据。Spark SQL 能建表，但不能像传统数据库那样用 INSERT 往里写数据。这和把 DataFrame 存成表是两回事，别搞混了。

Thrift JDBC/ODBC Server

Spark SQL 也提供类似 HiveServer2 的 Thrift Server，支持远程 JDBC 连接。同样需要 hive-site.xml 和 MySQL 驱动。加驱动的方式有三种：

• 在 spark-defaults.conf 里配 spark.jars，例如 spark.jars /path/to/mysql-connector-java-5.1.26-bin.jar
• 加 spark.driver.extraClassPath，这个比较方便，可以一次配多个 jar
• 启动时用 --jars 参数指定

我一般习惯用 --jars，因为不用改配置文件。

启动 Thrift Server：

./sbin/start-thriftserver.sh --jars /path/to/mysql-connector-java-5.1.35-bin.jar --master yarn

start-thriftserver.sh 的参数和 spark-submit 完全一致，还能额外接受 --hiveconf。不加任何参数就是以 local 模式运行，默认监听 10000 端口。

用 beeline 连接测试：

./bin/beeline
beeline> !connect jdbc:hive2://localhost:10000

用户名输当前 Linux 用户，密码直接回车就行。

Java 代码里通过 JDBC 连接

在 Java 工程里连这个 Thrift Server，和连 HiveServer2 一模一样。Maven 依赖：

<dependency>
  <groupId>org.apache.hive</groupId>
  <artifactId>hive-jdbc</artifactId>
  <version>1.2.1</version>
</dependency>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>2.4.1</version>
</dependency>
<dependency>
  <groupId>jdk.tools</groupId>
  <artifactId>jdk.tools</artifactId>
  <version>1.6</version>
  <scope>system</scope>
  <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
</dependency>

驱动类：org.apache.hive.jdbc.HiveDriver URL：jdbc:hive2://192.168.19.131:10000/default 用户名：启动 ThriftServer 的那个 Linux 用户（比如 hadoop） 密码：空字符串

示例代码：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class Test1 {
  public static void main(String[] args) throws SQLException {
    String url = "jdbc:hive2://192.168.19.131:10000/default";
    try {
      Class.forName("org.apache.hive.jdbc.HiveDriver");
    } catch (ClassNotFoundException e) {
      e.printStackTrace();
    }
    Connection conn = DriverManager.getConnection(url, "hadoop", "");
    Statement stmt = conn.createStatement();
    String sql = "SELECT * FROM person LIMIT 10";
    ResultSet res = stmt.executeQuery(sql);
    while(res.next()){
      System.out.println("id: "+res.getInt(1)+"\tname: "+res.getString(2)+"\tage:" + res.getInt(3));
    }
  }
}

这种 JDBC 方式实际上是向 YARN 提交了一个长任务来执行 SQL，缺点也很明显：同一时间只能跑一个查询，多个客户端请求只能串行排队。如果并发需求高，就得想别的办法。

关于 Spark SQL 的可视化，常见的路子有两种：一是自己把 SQL 和存储路径打包成 jar 然后 shell 提交；二是直接利用 Thrift JDBC Server，让 BI 工具通过 JDBC 连过来，这样更省事一些。

以上就是 Spark SQL 整合 Hive 的主要配置步骤，希望能帮到有类似需求的同学。