所以我有一个包含超过一百万条记录的巨大 tfidf 矩阵，我想找到这个矩阵与其自身的余弦相似度。我正在使用 colab 来运行代码，但我不确定如何最好地利用 colab 提供的 gpu。

顺序运行代码 -

tfidf_matrix = tf.fit_transform(df['categories'])

cosine_similarities = linear_kernel(matrix, matrix)

有没有办法使用 jit 或任何其他方式并行化代码？

最佳答案

1. 尝试使用 sentence transformers 库中的示例中的简单 torch 代码:https://github.com/UKPLab/sentence-transformers/blob/master/sentence_transformers/util.py#L31 或者只导入函数。

2. 考虑使用 CUDA 加速的 cuml 库 https://docs.rapids.ai/api/cuml/nightly/api.html

https://stackoverflow.com/questions/62317399/