聚类算法。DBSCAN算法相关

[liujianing971218]

您好，我这边想确认一下关于聚类算法能力的问题：

1. 当前聚类算法对数据规模是否有要求或限制？
   例如如果输入 50 万条、1024 维的向量数据，是否能够正常完成聚类？大概对内存、耗时有什么要求？
2. 当前是否支持增量聚类 / 在线聚类？
   也就是在数据持续流式进入的情况下：
   新数据能够自动归入已有簇；
   当出现明显不同的新类别时，能够自动生成新的簇；
   新簇是作为一个新的类别，而不是被直接判定为噪声。

如果支持的话，想进一步了解一下具体实现方式以及适用场景。

[jbampton]

I auto translated this issue hope it seems correct. See below:

---

Hello, I would like to confirm the question about the ability of clustering algorithm:

Does the current clustering algorithm have any requirements or restrictions on the data scale?

For example, if 500,000 and 1024-dimensional vector data are entered, can the clustering be completed normally? What are the requirements for memory and time consumption?

Does incremental clustering / online clustering are currently supported?

That is, in the case of continuous streaming of data:

New data can be automatically included into existing clusters;

When there are obviously different new categories, new clusters can be automatically generated;

The new cluster is as a new category, not directly judged as noise.

If it is supported, I would like to know more about the specific implementation method and applicable scenarios.

[jiayuasu]

感谢提问。

Sedona 当前的 DBSCAN 主要用于批处理场景下的地理空间聚类，输入是 GeometryType 几何列。它使用 ST_Distance 或 ST_DistanceSpheroid 计算几何对象之间的距离，因此并不是面向通用 1024 维向量聚类的实现。

关于数据规模，Sedona 没有固定的行数上限，但实际性能会强依赖 epsilon、数据分布、分区方式和 Spark 集群资源。当前实现会在整个 DataFrame 上计算 epsilon 邻域关系，然后通过 GraphFrames 的 connected components 得到聚类结果；如果大量记录彼此都落在 epsilon 范围内，内存和耗时都会显著增加。50 万条数据在空间邻域较稀疏、集群资源充足的情况下可行，但建议用真实数据和参数做基准测试。

当前 DBSCAN 是批处理算法，不支持增量聚类或在线聚类，也就是说不支持在流式数据持续进入时自动归入已有簇、自动生成新簇并维护聚类状态。类似需求需要按批次/时间窗口重新运行聚类，或使用专门的流式/增量聚类算法。