# Hive CTAS知识点回顾 `CREATE TABLE AS SELECT`（简称 CTAS）是 SQL 中的一个命令，用于从一个或多个表中选取数据，并根据选择的结果创建一个新表。这个命令通常具有以下形式： ``` CREATE TABLE 新表名 AS SELECT 列名1, 列名2, ... FROM 原表名 WHERE 条件; ``` 这里： - `新表名` 是你想要创建的新表的名称。 - `SELECT` 语句后跟的是你希望从原表中选取的列名，或者使用 `*` 来选取所有列。 - `原表名` 是你想要从中选取数据的表的名称。 - `WHERE` 子句是可选的，用于指定数据的选择条件。以下是一个简单的例子： ``` CREATE TABLE teacher1 AS SELECT * FROM teacher; ``` 这个例子会创建一个名为 `teacher1` 的新表，其结构与 `teacher` 表相同，并包含了 `teacher` 表中的所有数据。 CTAS 命令有几个特点： 1. 它会快速创建新表，并填充数据，无需先创建表结构再插入数据。 2. 新表会继承 `SELECT` 语句中指定的列的数据类型。 3. 如果 `SELECT` 语句中包含聚合函数或 `GROUP BY` 子句，新表将包含聚合后的结果。 4. CTAS 不会复制原表的索引、触发器、约束等属性，只会复制数据和结构。 ## 情景再现今天我在DataGrip 这个软件里执行`create table teacher1 as select * from teacher;` 语句遇到以下报错： ``` [08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. User: xiaowang is not allowed to impersonate xiaowang ``` ![e6a5684f517ae05231eaa495dffc6a5](https://pic.code-nav.cn/post_picture/1623004460282298369/FQkM8AOmnXrSlVtB.webp) 然后我去网上查找了一下该报错，结果发现却没有，我心想：坏了，又要踩坑了于是我去虚拟机内部执行了同样的指令却执行成功了，如下图： ![b8f195bab85fec629ae6fae0d9fd7ef](https://pic.code-nav.cn/post_picture/1623004460282298369/6WOEheJqV5JJ5bYU.webp) 查看一下进程都没有错误 ![6f2aad964965c2da2ac6fe9063bfe3e](https://pic.code-nav.cn/post_picture/1623004460282298369/cPgY9qF6OHzoss8V.webp) 然后我就开始纳闷了，为什么服务器内部可以执行成功，使用软件工具就不可以，带着这个问题我来问了一下AI，他给我的答复是这样的：这个错误信息表明，在使用Hive执行查询时，用户`xiaowang`尝试模拟（impersonate）自己，但是Hive的配置不允许这样做。这通常与Hadoop的安全配置有关。以下是一些可能的解决方案： 1. **检查Hadoop的安全配置**： - 确认`hadoop.proxyuser.xiaowang.groups`和`hadoop.proxyuser.xiaowang.hosts`配置项是否正确设置在`core-site.xml`文件中。这些配置项控制着用户`xiaowang`可以模拟哪些用户以及从哪些主机发起模拟。 2. **修改`core-site.xml`**： - 打开Hadoop的`core-site.xml`文件。 - 确保有如下配置项，如果没有，则添加它们： ``` hadoop.proxyuser.xiaowang.groups * hadoop.proxyuser.xiaowang.hosts * ``` - `*`表示允许所有组和主机，出于安全考虑，您应该替换为具体的组和主机名。 3. **重启Hadoop服务**： - 修改配置文件后，需要重启Hadoop服务，以便配置生效。 4. **检查Hive的配置**： - 确认Hive是否启用了安全模式。如果是，确保Hive的配置与Hadoop的安全配置相匹配。 5. **检查用户权限**： - 确认用户`xiaowang`有足够的权限在Hadoop集群上执行作业。 6. **查看日志文件**： - 查看Hive和Hadoop的日志文件以获取更详细的错误信息，这有助于进一步定位问题。 7. **确保没有其他安全策略冲突**： - 如果集群有额外的安全策略（如Kerberos），确保它们没有与用户的模拟权限发生冲突。于是我按照要求查了一下我的相关配置文件： core-site.xml配置 ```bash fs.defaultFS hdfs://hadoop102:8020 hadoop.tmp.dir /opt/module/hadoop-3.1.3/data hadoop.http.staticuser.user xiaowang hadoop.proxyuser.xiaowang.hosts * hadoop.proxyuser.xiaowang.groups * hadoop.proxyuser.xiaowang.users * ``` 我有加这个配置项，那就不是这个配置的问题，然后我当时又查看了一下这个`hive-site.xml` 这个配置 hive-site.xml配置 ```bash javax.jdo.option.ConnectionURL jdbc:mysql://hadoop102:3306/metastore?useSSL=false javax.jdo.option.ConnectionDriverName com.mysql.cj.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 000000 hive.metastore.warehouse.dir /user/hive/warehouse hive.server2.thrift.bind.host hadoop102 hive.server2.thrift.port 10000 hive.cli.print.header true Whether to print the names of the columns in query output. hive.cli.print.current.db true Whether to include the current database in the Hive prompt. ``` 我心想，没毛病啊。。。接着继续查找资料，然后发现 ***\*配置文件方式\*** 默认配置文件：hive-default.xml 用户自定义配置文件：hive-site.xml 注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。我找到了这个hive-default.xml这个文件，从中我发现了有个参数： ```bash hive.server2.enable.doAs true Setting this property to true will have HiveServer2 execute Hive operations as the user making the calls to it. ``` 具体的配置解释如下： - **配置名称**：`hive.server2.enable.doAs` - **配置值**：`true` - **描述**：当这个属性设置为 `true` 时，HiveServer2 将会以调用它的用户身份来执行 Hive 操作。这意味着，如果用户 A 连接到 HiveServer2 并执行查询，那么查询将在用户 A 的权限下运行，而不是以运行 HiveServer2 进程的用户身份运行。这个配置的主要作用是安全性和权限管理。它允许每个用户在HiveServer2上执行操作时，使用他们自己的权限，这有助于实现更细粒度的访问控制。例如，用户 A 可能只能访问特定的数据库或表，而用户 B 可能可以访问其他资源。通过设置 `hive.server2.enable.doAs` 为 `true`，HiveServer2 可以确保每个用户都遵守这些权限限制。所以，在Hive中允许用户模拟自己，就得把其中的`true` 改为 `false` 也就是： ```bash hive.server2.enable.doAs false ``` 然后重启服务就好了。。。 ![image-20240802154550211](https://pic.code-nav.cn/post_picture/1623004460282298369/gHFmc8zPLA39KVyk.webp) 踩坑踩了3小时。。。。真是醉了

hive踩坑的全部评论