from：
大資料諮詢公司newvantage partners在近期公布的報告中指出，尤其是金融服務公司這類大型公司正在快速採用大資料，並且這一速度比預期的要快。這些公司是如何利用大資料做出更明智的業務決策的呢?事實證明，與技術解決方案一樣，要想通過大資料獲得成功也需要技巧。
newvantage partners在去年夏季與來自50多家大型公司的高管(主要是首席資料官、首席資訊官、首席技術官、首席分析官、首席資訊架構師)、業務主管和高階程式設計師進行了研討。在這些大型公司中，多數公司的員工數量都超過了30000人。在newvantage partners公司的調查中，有一半的受訪者為來自金融服務公司的高管，另外一半的受訪者為來自保險、**機構以及其他行業的公司高管。
newvantage partners 創始人兼管理合夥人paul barth 稱：「大多數公司每年在技術上的花費為10億美元。他們通常都不會快速做出響應，但是一旦開始響應，他們將會為這些創新投入更多的財力和物力。」
這些大型公司看到了大資料的價值並開始將他們的資源投向大資料。barth稱，85%的受訪者表示他們正在進行大資料創新。
他稱：「75%的受訪者每年在大資料上的投入超過了100萬美元。25%的受訪者每年在大資料上的投入超過了1000萬美元。他們恪守將這一技術應用到乙個專案或一系列專案的承諾。因為他們非常清楚，如果沒有大資料，他們手中的專案將無法進行下去。」
受訪者給出了許多他們投資大資料的原因，如降低風險、打造高質量產品和服務等。不過，排在首位的兩個主要原因是：根據實際情況更快的做出決策和提公升客戶體驗。當然，這也是他們投資傳統商業智慧型分析的首要原因。barth稱，在進行深入調查時，newvantage發現這些公司投資大資料的深層原因是希望提公升決策或響應速度。
barth 稱：「如果你的響應速度在乙個案例中是30分鐘，在另乙個案例中是30秒，那麼這實際上將會改變你的業務流程。它們將讓你成為一名效率極高的業務分析師。」
他表示，有了大資料技術，公司在幾秒中內就能夠回應遇到的問題，而不是花上幾天甚至幾個月的時間。反過來，這種提公升能夠讓公司回應那些難以進行分析、開發測試和流程學習但又要快速適應市場、讓複雜的工作流實現自動化的問題。
不過，要想充分利用響應時間縮短所帶來的優勢還需要乙個嚴謹的流程。大資料與傳統分析解決方案之間的關係應當定義清楚和從屬關係明確，因為它們是制訂流程的基礎。
報告指出「傳統分析法與大資料之間的區別，以及它們在企業內部分別承擔的組織責任在以前就已經展開了多次討論。不過，調查顯示傳統分析法與大資料正變得越來越錯綜複雜。它們必須要協同工作才能發揮大資料的預期效果。未來，在it部門和業務部門之間打破組織界限進行更為緊密的整合將成為公司制訂成功的大資料策略的關鍵一步。」
報告稱「資料管理和分析通常由公司中不同的部門負責。」「it部門通常控制著資料，而分析則由公司中乙個特殊的團隊或部門負責。這完全違背了大資料的原則。調查顯示，這些公司已經認識到進行緊密整合的必要性。65%的受訪者認為，大資料是資料管理的主要部分。68%的受訪者表示，大資料是高階分析工具的一部分。」
newvantage總結認為，打破it與業務部門之間的界限，將傳統分析法與大資料進行整合是一次重大飛越，而這一飛越正是實現以大資料促進業務發展這一機構創新的乙個早期關鍵性舉措。
報告稱「將實時完整的分析功能整合到業務和運營部門中能夠讓公司對關鍵的業務問題和挑戰做出快速響應，從而為公司建立起競爭優勢，幫助公司提公升業績。」
barth 稱：「根據資料和資料質量，我們將它們分為金銀銅三個不同的等級。儲存在資料倉儲中的資料為金質資料。當你查詢這些金質資料時，你知道這些資料已經被處理完畢。但是如果獲取的資料為原始形式，並且在一周或乙個月內才能夠提供給我時，情況會是怎麼樣，如果你將所有的資料都放在乙個地方，並且基本上沒有對它們進行梳理，情況又會怎麼樣?在進行充分提煉之前這些資料非常有用。」
與傳統的關係型資料庫不同，大資料平台允許分析師有選擇性地組織、清理和整合資料，忽視那些目前不是分析重點的記錄和字段。這樣可以擺脫資料倉儲，避免將大量的精力放在了資料工程上。newvantage指出，通過推遲整個資料工程，大資料平台在面向發現的分析過程中提公升了響應速度，同時無需對那些無法提供價值的資料進行工程分析。
barth稱，這大資料平台變成了乙個，而且是非常重要的乙個資料生態圈。雖然這個生態圈是建立在已知的東西上面，但是這個生態圈的設計目的是不斷從客戶、市場、產品和風險中尋找新的洞察力。換句話說，就是通過「已經的」、健康的持續改良模式中尋找「新」的東西。
更快 更準 更強，「友戲」引領大資料選角新變革
隨著網際網路技術的進步，中國影視工業化發展趨勢迅猛，由網際網路助力影視行業發展越來越普及。在北京會議中心隆重舉行的2018春季北京電視節目交易會 以下簡稱春推會 中，多款影視網際網路應用亮相於會場，其中令人印象最為深刻的是一款叫做 友戲 的app，它通過網際網路技術和大資料手段解決了選角環節中的很多...
資料科學 如何使用CuPy使Numpy更快
numpy一直是python社群的禮物。它允許資料科學家，機器學習從業者和統計學家以簡單有效的方式處理矩陣格式的大量資料。就速度而言，numpy本身就是python的重要一步。每當你發現你的python 執行緩慢時，特別是如果你看到很多for迴圈，那麼將資料處理轉移到numpy並讓它的向量化以最快的...
企業應該如何在大資料基礎架構方面做出選擇？
如果詢問十家公司他們為了執行大資料負載需要使用怎樣的基礎架構，那麼可能會得到十種不同的答案。現在這個領域當中幾乎沒有可以遵循的原則，甚至沒有可以參考的最佳實踐。不管是從資源還是從專業性方面來說，大資料分析已經成為基礎架構領域當中真正的難題。顧名思義，大資料分析工具所針對的資料集合，規模將會非常龐大，...