|
上海天元項目數據分析師事務所有限公司
| 聯系人：王經理
女士 (經理) |
| 電 話：021-24193019 |
| 手 機： |
 |
|
 |
|
| 債務履約能力評級報告數據挖掘核心算法之——回歸 |
債務履約能力評級報告數據挖掘核心算法之——回歸
上海天元項目數據分析師事務所有限公司
地址：上海市徐匯區天鑰橋路329號B棟7樓
王經理：021-24193019
回歸，是一個廣義的概念，包含的基本概念是用一群變量預測另一個變量的方法，白話就是根據幾件事情的相關程度，用其中幾件來預測另一件事情發生的概率，最簡單的即線性二變量問題(即簡單線性)；復雜一點就是多變量(即多元線性，這里有一點要注意的，因為我最早以前犯過這個錯誤，就是認為預測變量越多越好，做模型的時候總希望選取幾十個指標來預測，但是要知道，一方面，每增加一個變量，就相當于在這個變量上增加了誤差，變相的擴大了整體誤差，尤其當自變量選擇不當的時候，影響更大，另一個方面，當選擇的倆個自變量本身就是高度相關而不獨立的時候，倆個指標相當于對結果造成了雙倍的影響 )。
1513數據挖掘核心算法
大數據時代的問題當然不能讓你用肉眼看出來，不然要海量計算有啥用，所以除了上面那倆種回歸，我們經常用的還有多項式回歸，即模型的關系是n階多項式；邏輯回歸(類似方法包括決策樹)，即結果是分類變量的預測；泊松回歸，即結果變量代表了頻數；非線性回歸、時間序列回歸、自回歸等等，太多了，這里主要講幾種常用的，好解釋的(所有的模型我們都要注意一個問題，就是要好解釋，不管是參數選擇還是變量選擇還是結果，因為模型建好了最終用的是業務人員，看結果的是老板，你要給他們解釋，如果你說結果就是這樣，我也不知道問什么，那升職加薪基本無望了)，例如你發現日照時間和某地葡萄銷量有正比關系，那你可能還要解釋為什么有正比關系，進一步統計發現日照時間和葡萄的含糖量是相關的，即日照時間長葡萄好吃，另外日照時間和產量有關，日照時間長，產量大，價格自然低，結果是又便宜又好吃的葡萄銷量肯定大。再舉一個例子，某石油產地的咖啡銷量增大，國際油價的就會下跌，這倆者有關系，你除了要告訴領導這倆者有關系，你還要去尋找為什么有關系，咖啡是提升工人精力的主要飲料，咖啡銷量變大，跟蹤發現工人的工作強度變大，石油運輸出口增多，油價下跌和咖啡銷量的關系就出來了(參考了一個根據遙感信息獲取船舶信息來預測糧食價格的真實案例，感覺不夠典型，就換一個，實際油價是人為操控地)。
回歸利器--最小二乘法，數學家高斯用的(另一個法國數學家說自己先創立的，不過沒辦法，誰讓高斯出名呢)，這個方法主要就是根據樣本數據，找到樣本和預測的關系，使得預測和真實值之間的誤差和最小；使用工具就可以了，基本所有的數據分析工具都提供了這個方法的函數，主要給大家講一下之前的一個誤區，最小二乘法在任何情況下都可以算出來一個等式，因為這個 |
 |
| |
|
|
 |
|
|
免責聲明：以上所展示的信息由會員自行提供，內容的真實性、準確性和合法性由發布會員負責，www.qy6.com對此不承擔任何責任。如有侵犯您的權益，請來信通知刪除。