我有一个包含 json 格式列的 dask 数据框，我想将该列解析为数据框格式。

json 格式的列如下所示:

{"名称": {"id": 1000, "地址": "ABC", ....}},,,

所以我只想提取“名称”的值，并将它们中的每个键作为一列，每个值在其中一个值，如:

id    address ...
1000  ABC
2000  DEF
3000  GHA
...   ...

我认为我们可以通过 read_json 将 json 文件读入 dask dataframe，但我该怎么做呢？

最佳答案

您正在执行的操作似乎并行得令人尴尬。因此，您可以编写一个 Pandas 函数，然后将该函数并行应用于 dask 数据帧。

def f(df: pandas.DataFrame) -> pandas.DataFrame:
    ... however you would do this in Pandas

ddf = ddf.map_partitions(f)

https://stackoverflow.com/questions/61787813/