在处理数据时，我们常常需要将数据进行分组，以便更好地理解数据的内在结构和特征。聚类分析就是这样一种强大的工具，它可以把相似的数据点归为一类。而在聚类过程中，确定最佳的聚类数是一个关键问题，这直接影响到聚类结果的质量。今天，我们就来聊聊在 MATLAB 里，确定最佳聚类数的评估方法。
一、聚类分析的概念和应用场景
1. 聚类分析概念
聚类分析是一种无监督学习方法，它不需要预先定义好类别标签，而是根据数据点之间的相似度将数据自动划分成不同的组。比如说，我们有一堆水果，有苹果、香蕉、橙子等，虽然事先不知道每个水果之间的分类，但可以根据它们的颜色、形状、大小等特征，把相似的水果归为一类。在数据领域也是同样的道理，通过计算数据点之间的距离或者相似度，将距离近或者相似度高的数据点聚成一类。
2. 应用场景
聚类分析在很多领域都有广泛的应用。在市场营销中，通过对客户的消费行为、偏好等数据进行聚类，可以将客户分成不同的群体，企业可以针对不同群体制定个性化的营销策略。例如，一家电商公司可以根据客户的购买金额、购买频率、购买品类等数据，将客户分为高价值客户、中等价值客户和低价值客户，然后针对高价值客户提供专属的服务和优惠活动。 在图像识别领域，聚类分析可以用于图像分割。将图像中的像素点根据颜色、亮度等特征进行聚类，把相似的像素点归为一类，从而实现对图像不同区域的划分。比如，在医学影像中，可以通过聚类分析将肿瘤区域和正常组织区域区分开来。 在生物学中，聚类分析可以对基因数据进行分析，将具有相似表达模式的基因聚为一类，有助于研究基因的功能和调控机制。
二、MATLAB 中的聚类函数基础
在 MATLAB 中，有很多用于聚类分析的函数。最常用的是 kmeans 函数，它是实现 K - 均值聚类算法的函数。下面我们来看看它的基本使用方法：
% 生成一些示例数据
X = [randn(100,2)+ones(100,2); randn(100,2)-ones(100,2)];
% 使用 kmeans 函数进行聚类，这里将数据聚成 2 类
[idx, C] = kmeans(X, 2);
% idx 是每个数据点所属的聚类编号
% C 是每个聚类的中心
在这个示例中，我们首先生成了一个包含 200 个数据点的二维数据集 X，其中前 100 个数据点围绕 [1, 1] 分布，后 100 个数据点围绕 [-1, -1] 分布。然后使用 kmeans 函数将数据聚成 2 类，得到每个数据点所属的聚类编号 idx 和每个聚类的中心 C。
三、确定最佳聚类数的评估方法
1. 手肘法（Elbow Method）
手肘法的核心思想是通过计算不同聚类数下的误差平方和（Sum of Squared Errors, SSE），随着聚类数的增加，SSE 会逐渐减小。当聚类数较小时，增加聚类数会使 SSE 显著减小；但当聚类数达到一定程度后，再增加聚类数，SSE 的减小幅度会变得很缓慢。这时，曲线会呈现出一个类似手肘的形状，手肘处对应的聚类数就是最佳聚类数。 下面是使用手肘法确定最佳聚类数的示例代码：
% 生成示例数据
X = [randn(100,2)+ones(100,2); randn(100,2)-ones(100,2)];
% 初始化最大聚类数
max_k = 10;
% 初始化 SSE 数组
sse = zeros(max_k, 1);
for k = 1:max_k
% 使用 kmeans 函数进行聚类
[idx, C] = kmeans(X, k);
% 计算每个数据点到其所属聚类中心的距离的平方和
for i = 1:size(X, 1)
sse(k) = sse(k) + norm(X(i, :) - C(idx(i), :))^2;
end
end
% 绘制 SSE 随聚类数变化的曲线
plot(1:max_k, sse, 'bx-');
xlabel('Number of clusters (k)');
ylabel('Sum of squared errors (SSE)');
title('Elbow Method For Optimal k');
在这个示例中，我们首先生成了一个二维数据集 X，然后通过循环，计算不同聚类数（从 1 到 10）下的 SSE。最后绘制 SSE 随聚类数变化的曲线，通过观察曲线的手肘位置，确定最佳聚类数。
2. 轮廓系数法（Silhouette Method）
轮廓系数是用来衡量每个数据点与其所在聚类的相似程度以及与其他聚类的分离程度。轮廓系数的取值范围是 [-1, 1]，值越接近 1 表示数据点与所在聚类的相似度越高，与其他聚类的分离度越好；值越接近 -1 表示数据点可能被错误地分配到了其他聚类。
在 MATLAB 中，可以使用 silhouette 函数来计算轮廓系数。下面是示例代码：
% 生成示例数据
X = [randn(100,2)+ones(100,2); randn(100,2)-ones(100,2)];
% 初始化最大聚类数
max_k = 10;
% 初始化平均轮廓系数数组
silhouette_avg = zeros(max_k, 1);
for k = 2:max_k
% 使用 kmeans 函数进行聚类
[idx, ~] = kmeans(X, k);
% 计算轮廓系数
s = silhouette(X, idx);
% 计算平均轮廓系数
silhouette_avg(k) = mean(s);
end
% 找出平均轮廓系数最大时的聚类数
[~, best_k] = max(silhouette_avg);
disp(['Best number of clusters: ', num2str(best_k)]);
在这个示例中，我们同样生成了一个二维数据集 X，然后通过循环，计算不同聚类数（从 2 到 10）下的平均轮廓系数。最后找出平均轮廓系数最大时对应的聚类数，即为最佳聚类数。
3. Calinski - Harabasz 指数法
Calinski - Harabasz 指数也称为方差比准则，它通过计算类间离散度与类内离散度的比值来评估聚类的质量。该指数的值越大，表示聚类效果越好。 在 MATLAB 中，可以通过以下代码实现：
% 生成示例数据
X = [randn(100,2)+ones(100,2); randn(100,2)-ones(100,2)];
% 初始化最大聚类数
max_k = 10;
% 初始化 Calinski - Harabasz 指数数组
ch_index = zeros(max_k, 1);
for k = 2:max_k
% 使用 kmeans 函数进行聚类
[idx, ~] = kmeans(X, k);
% 计算 Calinski - Harabasz 指数
ch_index(k) = evalclusters(X, idx, 'calinski');
end
% 找出 Calinski - Harabasz 指数最大时的聚类数
[~, best_k] = max(ch_index);
disp(['Best number of clusters: ', num2str(best_k)]);
在这个示例中，我们生成数据集 X 后，通过循环计算不同聚类数下的 Calinski - Harabasz 指数，最后找出指数最大时对应的聚类数作为最佳聚类数。
四、技术优缺点分析
1. 手肘法
优点：手肘法简单直观，容易理解和实现。通过观察曲线的形状，可以快速地确定最佳聚类数。而且该方法不需要对数据的分布有特殊的假设。 缺点：手肘法的主观性较强，曲线的手肘位置并不总是很明显，不同的人可能会有不同的判断结果。此外，当数据的分布比较复杂时，手肘法可能无法准确地找到最佳聚类数。
2. 轮廓系数法
优点：轮廓系数法考虑了数据点与所在聚类的相似度以及与其他聚类的分离度，能够更全面地评估聚类效果。而且该方法不需要对数据的分布有特殊的假设。 缺点：计算轮廓系数的时间复杂度较高，尤其是当数据量较大时，计算时间会比较长。此外，轮廓系数法对于不同形状的聚类可能不太敏感。
3. Calinski - Harabasz 指数法
优点：Calinski - Harabasz 指数法通过类间离散度与类内离散度的比值来评估聚类效果，能够较好地反映聚类的紧凑性和分离性。该方法的计算速度相对较快。 缺点：该方法对数据的分布有一定的假设，当数据的分布不符合假设时，评估结果可能不准确。
五、注意事项
1. 数据预处理
在进行聚类分析之前，需要对数据进行预处理，包括数据清洗、标准化等。数据清洗可以去除数据中的噪声和异常值，避免对聚类结果产生影响。标准化可以将不同特征的数据统一到相同的尺度上，避免某些特征的数值范围过大对聚类结果产生主导作用。
2. 算法选择
不同的聚类算法适用于不同类型的数据和应用场景。除了 K - 均值聚类，还有层次聚类、DBSCAN 等算法。在选择聚类算法时，需要根据数据的特点和分析的目的进行选择。
3. 评估方法的局限性
每种评估方法都有其局限性，不能仅仅依靠一种方法来确定最佳聚类数。可以结合多种评估方法进行综合判断，以提高确定最佳聚类数的准确性。
六、文章总结
在 MATLAB 中进行数据聚类分析时，确定最佳聚类数是一个关键问题。本文介绍了三种常用的确定最佳聚类数的评估方法：手肘法、轮廓系数法和 Calinski - Harabasz 指数法。手肘法简单直观，但主观性较强；轮廓系数法能全面评估聚类效果，但计算复杂度较高；Calinski - Harabasz 指数法计算速度较快，但对数据分布有一定假设。在实际应用中，需要根据数据的特点和分析的目的选择合适的评估方法，同时要注意数据预处理、算法选择等问题，以得到准确可靠的聚类结果。
评论