无法在 Spark 2.4.0 shell 中使用以下 SQL 查询来查询配置单元表锁定信息。
spark.sql("show locks dbName.tableName")
低于错误
scala> spark.sql("show locks dbName.tableName")
org.apache.spark.sql.catalyst.parser.ParseException:
Operation not allowed: show locks(line 1, pos 0)
== SQL ==
show locks dbName.tableName
^^^
at
org.apache.spark.sql.catalyst.parser.ParserUtils$.operationNotAllowed(ParserUtils.scala:39)
at org.apache.spark.sql.execution.SparkSqlAstBuilder$$anonfun$visitFailNativeCommand$1.apply(SparkSqlParser.scala:1001)
at org.apache.spark.sql.execution.SparkSqlAstBuilder$$anonfun$visitFailNativeCommand$1.apply(SparkSqlParser.scala:992)
at org.apache.spark.sql.catalyst.parser.ParserUtils$.withOrigin(ParserUtils.scala:99)
at org.apache.spark.sql.execution.SparkSqlAstBuilder.visitFailNativeCommand(SparkSqlParser.scala:992)
at org.apache.spark.sql.execution.SparkSqlAstBuilder.visitFailNativeCommand(SparkSqlParser.scala:55)
at org.apache.spark.sql.catalyst.parser.SqlBaseParser$FailNativeCommandContext.accept(SqlBaseParser.java:723)
at org.antlr.v4.runtime.tree.AbstractParseTreeVisitor.visit(AbstractParseTreeVisitor.java:42)
at org.apache.spark.sql.catalyst.parser.AstBuilder$$anonfun$visitSingleStatement$1.apply(AstBuilder.scala:71)
at org.apache.spark.sql.catalyst.parser.AstBuilder$$anonfun$visitSingleStatement$1.apply(AstBuilder.scala:71)
at org.apache.spark.sql.catalyst.parser.ParserUtils$.withOrigin(ParserUtils.scala:99)
at org.apache.spark.sql.catalyst.parser.AstBuilder.visitSingleStatement(AstBuilder.scala:70)
at org.apache.spark.sql.catalyst.parser.AbstractSqlParser$$anonfun$parsePlan$1.apply(ParseDriver.scala:69)
at org.apache.spark.sql.catalyst.parser.AbstractSqlParser$$anonfun$parsePlan$1.apply(ParseDriver.scala:68)
at org.apache.spark.sql.catalyst.parser.AbstractSqlParser.parse(ParseDriver.scala:97)
at org.apache.spark.sql.execution.SparkSqlParser.parse(SparkSqlParser.scala:48)
at org.apache.spark.sql.catalyst.parser.AbstractSqlParser.parsePlan(ParseDriver.scala:68)
at org.apache.spark.sql.SparkSession.sql(SparkSession.scala:637)
... 48 elided
但相同的查询在 Spark 1.6.0 中使用 hiveContext 工作
我的用例是在 Spark 2.4.0 的 spark 作业中获取有关 hive 表的锁定信息
有什么方法可以在 spark job 中获取表锁信息?
最佳答案
请参阅下面的链接。 spark 2.4.0不支持锁
https://github.com/apache/spark/blob/branch-2.4/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser/SqlBase.g4#L195
不支持的 HiveNativeCommands | kw1=显示 kw2=锁定
https://dbdb.io/db/spark-sql 也在上面的博客上。并发控制部分说,它不支持锁。
关于apache-spark - 在 Spark 2.4.0 中使用 spark.sql 的 Hive 表锁定信息抛出错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58231458/
相关文章:
swift - animateTransition 不再适用于 iOS 13 中以模态呈现的 vie
r - R : how to find the place of maximum memory us
java - 创建名为“kafkaListenerContainerFactory”的 bean 时
java - elasticsearch 中的 too_many_buckets_exception
flutter - Google AdMob 奖励视频有时只加载
reactjs - Jest 测试无法使用 create react app 和 craco 导入铯
wordpress - 您无权查看此页面 : JWT Authentication for WP R
react-native - null 不是对象(评估 'StripeModule.init' )