使用Python進行異常檢測的解決方案
計算每個特征的平均值。這里我們只有兩個特征:0和1。s = np.sum(df, axis=0)
mu = s/m
mu
輸出:0 14.112226
1 14.997711
dtype: float64
根據上面“公式和過程”部分中描述的公式,讓我們計算方差:vr = np.sum((df - mu)**2, axis=0)
variance = vr/m
variance
輸出:0 1.832631
1 1.709745
dtype: float64
現在把它做成對角線形狀。正如我在概率公式后面的“公式和過程”一節中所解釋的,求和符號實際上是方差var_dia = np.diag(variance)
var_dia
輸出:array([[1.83263141, 0. ],
[0. , 1.70974533]])
計算概率:k = len(mu)
X = df - mu
p = 1/((2*np.pi)**(k/2)*(np.linalg.det(var_dia)**0.5))* np.exp(-0.5* np.sum(X @ np.linalg.pinv(var_dia) * X,axis=1))
p

訓練部分已經完成。下一步是找出閾值概率。如果概率低于閾值概率,則樣本數據為異常數據,但我們需要為我們的特殊情況找出那個閾值。對于這一步,我們使用交叉驗證數據和標簽。對于你的案例,你只需保留一部分原始數據以進行交叉驗證。現在導入交叉驗證數據和標簽:cvx = pd.read_excel('ex8data1.xlsx', sheet_name='Xval', header=None)
cvx.head()

標簽如下:cvy = pd.read_excel('ex8data1.xlsx', sheet_name='y', header=None)
cvy.head()

把'cvy'轉換成NumPy數組。y = np.array(cvy)
輸出:# 數組的一部分
array([[0],
[0],
[0],
[0],
[0],
[0],
[0],
[0],
[0],
這里,y值為0表示這是一個正常的樣本,y值為1表示這是一個異常的樣本。選擇閾值首先讓我們再檢查一下概率值。p.describe()
輸出:count 3.070000e+02
mean 5.905331e-02
std 2.324461e-02
min 1.181209e-23
25% 4.361075e-02
50% 6.510144e-02
75% 7.849532e-02
max 8.986095e-02
dtype: float64
請輸入評論內容...
請輸入評論/評論長度6~500個字


分享













