这是当前代码:

from pyspark.sql import SparkSession

park_session = SparkSession\
    .builder\
    .appName("test")\
    .getOrCreate()

lines = spark_session\
    .readStream\
    .format("socket")\
    .option("host", "127.0.0.1")\
    .option("port", 9998)\
    .load()

The 'lines' looks like this:
+-------------+
|    value    |
+-------------+
|     a,b,c   |
+-------------+

But I want to look like this：
+---+---+---+
| a | b | c |
+---+---+---+

我尝试使用“split()”方法，但没有用。您只能将每个字符串拆分为一列中的列表，而不能拆分为多列

我该怎么办？

最佳答案

拆分值列并通过访问array index(或)element_at(from spark-2.4) (或)getItem() 函数到 create new columns.

from pyspark.sql.functions import *

lines.withColumn("tmp",split(col("value"),',')).\
withColumn("col1",col("tmp")[0]).\
withColumn("col2",col("tmp").getItem(1)).\
withColumn("col3",element_at(col("tmp"),3))
drop("tmp","value").\
show()
#+----+----+----+
#|col1|col2|col3|
#+----+----+----+
#|   a|   b|   c|
#+----+----+----+

关于pyspark - Spark Structured Streaming时DataFrame中的字符串列如何拆分为多列，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/61324549/