資料探勘工程師面試指南

2021-06-10 00:00:44 字數 1106 閱讀 6461

**:

資料探勘

領域是乙個獨特的行業,通常的招聘面試方法可能不大適用於本行業的特點。在招聘乙個合格的資料探勘工程師時,公司一般關注以下三個方面:

為了解候選人是否具有資料探勘工程師的潛質,需要一小時的面試,主要通過以下五個環節:

1 簡介

如同交談之初的寒暄一樣,簡介是使候選人放鬆下來。可以先介紹一下公司本身的情況,再回答對方的一些疑問。如果問題很複雜,可以將回答放到面試的最後階段再處理。

2 關於資料探勘專案

這是最為重要且耗時的面試階段,詢問候選人最近接手的資料探勘專案的情況和處理方式。要提問的方面包括:

在這個面試階段,不僅要提問關於「what」的問題,還要很多關於「why」的問題。因為優秀的資料探勘工程師要能面對客戶,清晰的論證並支援其提出的觀點。

3 關於資料探勘的流程

考察候選人對於工作流程的認識是必要的,如果他談到了

跨行業資料探勘流程規範

(crisp-dm)意味著好兆頭。有很多時候,候選人對這些規範不以為然。雖然說從不同的角度來看待問題是一種創新,但是創新也需要建立在堅實在流程標準之上。因為它可以保證我們不會出現大的紕漏。

必要的時候,可以用白板讓候選人畫出流程圖。並讓他評價這些工作中最為重要或需要反思的地方。因為建模工作不可能一次完成,反覆的提煉問題、建立模型的情況是經常遇到的。

另外可以在某個挖掘流程進行深入考查,例如詢問對方如何避免過度擬合,如何從大量的候選變數中進行篩選,如何評價或比較模型的效果。

4 解決問題

軟體公司的面試一般會包括「編碼測試」,考查資料探勘工程師也應該如此。一種可以參考的作法是提供乙份存在缺陷的分析報告。讓候選人對報告進行研究,表達報告中結論的意義,提出其中所存在的問題或不足,提出改進或補救的方法。

5 收尾

在面試的最後階段,需要回答候選人的其它提問,並使之相信本公司在本行業中的優勢地位,以及在職業生涯中的作用。在完成面試後,需要立即將面試記錄進行整理存檔。

面試是一件苦差事,但也是乙個交流學習的機會。通過面試可以了解到其它人遇到的問題,以及他們是如何解決的。

注:本文得到discovery公司的授權,摘譯了其文章的一部分。據筆者了解,discovery公司主要使用spss model進行資料探勘,圖形表現工具則是tableau。

資料探勘工程師 需要掌握的技術

了解lr gbdt xgboost dnn和nlp等常用模型的開源工具 熟悉語言,sas統計分析軟體,python,scala程式語言等 熟練掌握資料探勘 機器學習 優化演算法的基礎理論和方法,了解embbeding等方法理念 熟悉hadoop hive spark yarn kafka flink...

大資料工程師面試題

你曾經參與或主導過哪些大資料型別的專案?專案目標是什麼?你具體擔負的哪個角色?使用哪些演算法?使用哪些統計方法?如果解決使用者商品匹配的話,你會採用什麼型別的模型?二部圖模型有什麼缺陷?對應有什麼改進模型?標籤系統有什麼特徵?有什麼問題?使用者行為分析有什麼模型?說說你曾經專案中的模型迭代過程?成功...

大資料工程師面試經驗(一)

優點 極高的裝載速度 最高可以等於所有硬碟io 的總和,基本是極限了 適合儲存大量資料 實時載入資料僅限於增加 刪除和更新需要解壓縮block 然後計算然後重新壓縮儲存 高效的壓縮率,不僅節省儲存空間也節省計算記憶體和cpu。非常適合做聚合操作。缺點 不適合掃瞄小量資料 不適合隨機的更新 批量更新情...