SPARK SQL ERROR: Detected cartesian product for INNER join between logical plans报错解决方法-白红宇

SPARK SQL ERROR: Detected cartesian product for INNER join between logical plans报错解决方法

阅读量：4983 次

发布时间：2019-06-12

本文共 684 字，大约阅读时间需要 2 分钟。

SparkSql运行程序报错，

Exception in thread "main" org.apache.spark.sql.AnalysisException: Detected cartesian product for INNER join between logical plans

解决方式：设置spark.sql.crossJoin.enabled=true

因为，2.x中默认不支持笛卡尔积操作，需要通过参数spark.sql.crossJoin.enabled开启

程序代码里面开始笛卡尔积操作，如下示：

val sc: SparkSession = SparkSession.builder   .appName("My Spark Application")  // optional and will be autogenerated if not specified   .master("local[*]")               // avoid hardcoding the deployment environment   .config("spark.debug.maxToStringFields", "200")   .config("spark.sql.crossJoin.enabled","true")   .getOrCreate val rst = discountFinancial.run(sc)

转载于:https://www.cnblogs.com/cindy-zl24/p/11606121.html

你可能感兴趣的文章

16进制的简单运算

查看>>

速读《Javascript模式》（一）（简介、var的变量提升以及es6新规范的let）