爬蟲產品開發安排

2021-09-07 08:04:52 字數 549 閱讀 4341

一 產品的功能特點

包括自定義抓取 以及 常備**一鍵入庫抓取

支援自定義排程

版本更新無感,後期免維護

程式再抓取過程中出現問題會有郵件提醒

支援mysql oracle mongodb

支援非同步入庫

支援restful介面

支援thrift/grpc呼叫python版本

支援分布式部署

支援登入/驗證碼驗證登入功能

二 開發進度安排

一期(年前)

完成產品的單機docker一鍵部署

任務自定義排程

郵件提醒

mysql mongodb非同步入庫驅動改寫

oracle驅動支援

完成pip的安裝方式支援 二期

完成restful介面支援

完成thrift/grpc介面支援

完成登入/驗證碼登入功能 三期

產品的分布式部署支援

與kubernetes的結合

後期迭代

docker kubernetes 與rpc服務治理的融合探索

開發時間安排

1.評估.每次開完一次迭代會,根據不同頁面的複雜程度和互動邏輯的難易去合理的評估時間。一般迭代是兩周,任務量有可能超過兩周,所以再開發前,根據自己的評估時間和產品定出乙個大致的合理開發結束時間。建任務可以以單個頁面的開發和互動完成為基準。2.開始乙個任務時,比如做乙個頁面,不要急著去開發,應該合理的...

產品開發 產品開發思想

優雅降級和漸進增強印象中是隨著css3流出來的乙個概念。由於低階瀏覽器不支援css3,但css3的效果又太優秀不忍放棄,所以在高階瀏覽中使用css3而低階瀏覽器只保證最基本的功能。咋一看兩個概念差不多,都是在關注不同瀏覽器下的不同體驗,關鍵的區別是他們所側重的內容,以及這種不同造成的工作流程的差異。...

產品開發 產品架構

當理解市場 顧客需求,確立產品規格,敲定產品概念後。下一步工作便由開發部門展開,而在開發工作展開之前,是對產品架構的確立。對於產品架構的思考有以下幾方面 產品架構對後續提供多樣化產品能力的影響 不同架構對成本的影響 產品架構對固定時間段內完成設計能力的影響 產品架構對管理開發流程的影響 什麼是產品架...