ロボットoutliers() メソッド
数値型列における統計上の異常値を検出します。異常値の検出対象は、数値型列全体であるか、あるいは 1 つ以上のキー列の値に基づく複数のグループです。
構文
データフレーム名.outliers(keys = ["キー列", "...n"]|None, on = "数値列", distance = 標準偏差数, method = mean|median)
パラメーター
| 名前 | 説明 |
|---|---|
| keys = ["キー列", "...n"] | None |
|
| on = "数値列" | 異常値がないかどうかを調べる数値列。一度に 1 つの列しか調べることができません。 異常値とは、グループまたは列の標準偏差またはそのような標準偏差の指定倍数によって設定される上限と下限の範囲に含まれない値のことです。 |
distance = 標準偏差数 | 数値列において、平均または中央値から異常値の上限および下限までに含まれる標準偏差の数。任意の正の整数または 10 進数（0.5、1、1.5、2、...）を指定できます。。。) 異常値の境界を作成するための式： 平均/中央値 ± (標準偏差数 * 標準偏差) メモ 標準偏差はデータセットの分布の測定です。つまり、値の拡散方法を測定します。異常値計算は母集団標準偏差を使用します。 異常値の境界の例distance = 2 数値列全体または各キー列グループに対し、以下が設定されます。
上限より大きいか下限より小さい任意の値が、異常値として出力結果に追加されます。 メモ 同じデータ セットに対し、標準偏差数の値を大きくすると、返される異常値の数が減る可能性があります。 |
method = mean | median 任意 | 数値列（異常値列）の値の中心点を計算するメソッド。
中心点は、以下のいずれかについて計算されます。
これらの中心点は、後で各グループ、または数値列の標準偏差を整数として計算する際に使用されます。 method を省略した場合は、デフォルトの平均値が使用されます。 ヒント 異常値がないかどうかを調べるデータに大きな偏りがある場合は、中央値を使用すると、データの大勢をより正しく表す結果を生成することができます。 |
戻り値
HCL データフレーム。
例
異常な取引金額の特定
売掛金データフレーム全体から、異常な取引金額を検出したいとします。
異常値の上下限を「Amount（金額）列から標準偏差の±3 倍」に設定します。次のテストにより、772 行のデータフレームで 16 個の異常値が返されます。
outliers_ar = accounts_receivable.outliers(keys = None, on = "Amount", distance = 3, method = "mean")
「標準偏差の±3.5 倍」にしてテストを繰り返します。異常値の上下限が Amount 列の値群の中心点から遠くなったため、6 個の異常値がこのテストによって返されます。
outliers_ar = accounts_receivable.outliers(keys = None, on = "Amount", distance = 3.5, method = "mean")
顧客別の異常な取引金額の特定
売掛金データフレームの各顧客で、異常な取引金額を検出したいとします。
異常値の上下限を「各顧客の取引グループから標準偏差の±3 倍」に設定します。
outliers_customer_ar = accounts_receivable.outliers(keys = ["CustNum"], on = "Amount", distance = 3, method = "mean")
このテストにより、7 個の異常値が返されます。mean を指定すると、各顧客の取引グループについて、標準偏差と平均値が報告されます。
| グループ番号 | CustNum | 金額 | 平均 | stdev | distance |
|---|---|---|---|---|---|
| 0 | 65003 | 4,954.64 | 833.83 | 1015.58 | 3 |
| 1 | 262001 | 3,567.34 | 438.81 | 772.44 | 3 |
| 1 | 262001 | (2,044.82) | 438.81 | 772.44 | 3 |
| 2 | 376005 | (931.55) | 484.57 | 411.18 | 3 |
| 3 | 501657 | 5,549.19 | 441.14 | 1332.80 | 3 |
| 4 | 811002 | 3,409.82 | 672.10 | 634.20 | 3 |
| 5 | 925007 | 3,393.87 | 906.16 | 736.48 | 3 |
顧客 262001 に関する異常値の特定方法
売掛金データフレームには顧客 262001 の取引が 101 個あり、そのうち 2 つが異常値として報告されたとします。これらは、その顧客の異常値境界を超えるためです。
| 異常値 | 下限 | 上限 | 異常値 |
|---|---|---|---|
| (2,044.82) | (1,878.51) | 2,756.13 | 3,567.34 |
顧客 262001 に関する異常値境界の計算方法
異常値の上下限は、顧客 262001 の全取引の平均値に、取引の標準偏差の指定倍数をプラスマイナスしたものです。
| 顧客 262001 の全取引の平均値 | 438.81 |
| 標準偏差の指定倍数 | 3 |
| 取引の標準偏差 | 772.44 |
438.81 ± (3 * 772.44) = 438.81 ± 2,317.32 = (1,878.51) (下限) = 2,756.13 (上限) | |
中央値を使用した、顧客別の異常な取引金額の特定
平均値の代わりに中央値を使用した場合でも、上記の例で行ったのと同じ異常値テストを行うことができます。
outliers_customer_ar_median = accounts_receivable.outliers(keys = ["CustNum"], on = "Amount", distance = 3, method = "median")
上のテストでは、直前のテストで返された 7 個の異常値の代わりに、10 個の異常値が返されます。中央値と平均値では、データの性質に応じて多少異なる結果が返されます。
| グループ番号 | CustNum | 金額 | 中央値 | stdev | distance |
|---|---|---|---|---|---|
| 0 | 65003 | 4,954.64 | 663.68 | 1015.58 | 3 |
| 1 | 262001 | 3,567.34 | 450.67 | 772.44 | 3 |
| 1 | 262001 | (2,044.82) | 450.67 | 772.44 | 3 |
| 2 | 376005 | (931.55) | 517.16 | 411.18 | 3 |
| 3 | 501657 | 4,426.14 | 146.80 | 1332.80 | 3 |
| 3 | 501657 | 5,549.19 | 146.80 | 1332.80 | 3 |
| 4 | 811002 | 3,409.82 | 624.53 | 634.20 | 3 |
| 5 | 925007 | 2,972.78 | 717.88 | 736.48 | 3 |
| 5 | 925007 | 3,030.71 | 717.88 | 736.48 | 3 |
| 5 | 925007 | 3,393.87 | 717.88 | 736.48 | 3 |
各顧客に関する異常値境界の計算方法
異常値の上下限は、各顧客の取引の中央値に、取引の標準偏差の指定倍数をプラスマイナスしたものです。
たとえば、顧客262001の場合：450.67 ± (3 * 772.44)
備考
入力データフレームのすべての列は自動的に出力データフレームに含まれます。異常値計算に直接関係しない列は、出力データフレームの右端に配置されます。
