亚洲an日韩专区在线-亚洲an天堂an在线观看-亚洲a区视频-亚洲a图-免费黄网大全-免费黄网在线

大數據時代,你該怎么分析數據?

2013-11-29 09:12:28 大云網  點擊量: 評論 (0)
大數據時代究竟意味著什么?更多數據——理論上,全部數據都可以納入收集、挖掘、分析和利用的范疇。正如牛津大學網絡學院互聯網研究所治理與監管專業教授維克托·邁爾-舍恩伯格在其所著的《大數據時代》一書中

       大數據時代究竟意味著什么?更多數據——理論上,全部數據都可以納入收集、挖掘、分析和利用的范疇。正如牛津大學網絡學院互聯網研究所治理與監管專業教授維克托·邁爾-舍恩伯格在其所著的《大數據時代》一書中指出的,“我們可以分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴于隨機采樣”。

     《大數據時代》也指出,海量數據納入分析,必然意味著甄別、篩除,并由此帶來誤差和相對精確的結果。“誤差”和“相對精確”是什么意思呢?基于計算機和互聯網的系統服務、軟件服務仍不免出現出錯乃至面臨崩潰,比如,殺毒軟件會發生“錯殺”、“誤殺”,手機里的防騷擾軟件有時會對通訊錄里邊的已有號碼開展攔截,最可靠的電子郵箱仍不免將明明很安全的郵件驅逐到“垃圾郵箱”。

      紐約大學統計系教授馮啟思(Kaiser Fung)在《數據統治世界》一書中,對大數據時代到來背景下,數據挖掘分析所需遵循的統計規律及其應用進行了深入而頗具趣味的探討。馮啟思以反興奮劑組織為例,更深入的探討了誤差和相對精確問題。

      對于反興奮劑組織而言,“假陰性”、“假陽性”或許是永遠無法避免的尷尬,前者指的是服用禁藥卻通過某種方式主動或檢測機構的疏漏,而錯誤檢測為隱性,以類固醇檢測為例,每確認一個使用就要漏過十個“假陰性”;后者則指沒有服用過禁藥的無辜者,卻被藥檢為陽性。“假陽性”與正確的藥檢隱性的比例達到了1:899。藥檢檢測機構面對的一個消長關系是:假陽性少了,假陰性就多了,反之亦然,即放寬檢測的某些指標,可以減少乃至防止無辜者被錯檢為假陽性的可能;收緊某些指標,就會減少服用禁藥者逃過處罰的比率,看上去,這是個均衡的風險等式。實則不然,錯檢無辜者的假陽性事件,會給體育部門、反興奮劑組織帶來極大壓力,招致運動員工會、媒體和公眾的強烈抨擊;假陰性引起的批評就要少得多,因為沒有直接的、個人化的受害者。因此,檢測機構會盡量避免假陽性發生,容忍“假陽性”的存在,寧可放過十個,也絕不冤枉一個。

      在一些國家和地區,刑事案件偵辦以及反恐機構開展中運用到的測謊,則出現了反向偏向,造成大量的無辜者被認定為罪犯或恐怖主義組織成員,為其沒有犯下的罪行錯誤承擔責任。值得注意的是,無論是反興奮劑檢測,還是反恐檢查,都較早的體現了大數據海量采集數據的理念,應用并不斷更新升級數據挖掘與分析的技術,但仍不能避免假陽性和假陰性兩類誤差帶來的極大代價(經濟代價和社會代價),甚至可能因錯誤檢測和冤案葬送公眾對反恐體系、司法體制的信心。很顯然,大數據時代在誤差不可避免的情況下,要在假陽性和假陰性兩類誤差之間取得某種平衡,讓誤差造成的社會總成本趨于最低,而這也才是相對精確的要義所在。

      數據挖掘與分析,所對應的是“統計式思維”。馮啟思在《數據統治世界》這本書中分別談及了平均數與差異性、隨機模型和相關模型、組別差異、精確與誤差、小概率等“統計式思維”涉及到的重要概念。歸結他的觀點,第一,數據分析要避免陷入平均化誤區,要努力辨識發現數據差異性。舉例來說,百年一遇的災害,并不能理解為在一百年內每一年的災害風險只有1%,事實上很多保險公司在償付巨災后的賠款時迅速滑向破產,就源于對災害風險極端變異性和空間集中性的忽略。第二,要挖掘數據之間的相關性,而不能僅僅停留于因果性。第三,要善于建立標準對數據開展分類分組分析,也就是實現更趨精確的比較。第四,重視風險,但要避免將過多資源投放到防止或爭取某些小概率事件發生之上。這些要點不僅是大數據時代值得重視和遵循的數據挖掘分析重要原則,而且也有助于人們更好、更為深入的認識社會復雜系統,借助數據挖掘分析的力量改善工作與生活。

大云網官方微信售電那點事兒

責任編輯:小沈

免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
?
主站蜘蛛池模板: 欧美日韩国产一区二区三区在线观看 | 亚洲国产精久久久久久久 | 国产一区二区三区久久 | 精品手机在线视频 | 男人的天堂在线观看视频不卡 | 欧美日韩不卡一区 | 国产一区二区免费不卡在线播放 | 性做久久久久久久免费看 | 97久久精品午夜一区二区 | 手机国产日韩高清免费看片 | 农村寡妇偷毛片一级 | 日韩免费a级在线观看 | 亚洲网站在线播放 | 一区二区三区在线播放 | 欧美高清亚洲欧美一区h | 99在线免费 | 欧美在线一二三区 | 模特精品一区二区三区 | 日本天堂网在线观看 | 精品自拍视频 | 久久久久久久久影院 | 亚洲热视频 | 国产大臿蕉香蕉大视频 | 美女拍拍拍爽爽爽爽爽爽 | 久久久久久国产精品免费免费 | 日韩毛片欧美一级国产毛片 | 欧美成年黄网站色视频 | 日本成本人片 | 91香蕉国产线观看免 | 久久久久欧美国产精品 | 色偷偷资源网 | 免费特黄一级欧美大片在线看 | 精品国产欧美一区二区三区成人 | 国产黄色三级网站 | 全部免费毛片免费播放 | 久草在线2 | 亚洲第一激情 | 成人国产精品一区二区网站 | 日韩欧美国产亚洲 | 久草新在线观看 | 国产亚洲欧美日韩在线看片 |