async await的多非同步處理方式

寫爬蟲時候遇到的批量非同步處理的一些思考和總結。

async/await是es2017加入的標準，它允許用同步的寫法來進行非同步的操作，它的本質是es6引入的promise和generator函式的語法糖。

async
function
sleepy()
/** * @params sleeptime
* @params awaketext
* @params error
* @returns promise*/
function
sleep
(sleeptime, awaketext, error)
else
}, sleeptime);}
);}

通過async字首定義乙個特殊函式，在函式的內部可以使用await關鍵字來接乙個promise型別的值，按照從上到下的順序來執行函式。先通過settimeout和promise定義乙個最簡單的非同步函式sleep。

執行sleepy函式之後，會按照順序輸出i awake -> and sleep -> awake now。

前文也說到了async/await實質上是promise和generator的語法糖，上文的sleepy可以改寫成如下形式：

function
*sleepy()

實際過程中，批量處理非同步請求時常常會遇到與期望不符的情況。我們假設存在複數的請求，我們需要得到這些請求的值。

// sleepy 非同步的請求
const requests =
newarray(10
).fill
(sleepy)
;const results = requests.
map(
async
(request)
=>
await
request()
);// [promise]

上面的例子嘗試將陣列中複數的請求通過map方法返回所有請求的結果來進行批量處理，實際上得到的只能是乙個pending狀態的promise陣列。其實我們很容易想到這樣產生的原因，map等一系列陣列方法是在es5版本加入的，當時沒有promise的提案，更沒有async/await。當時的map方法應該是直接執行傳入的函式。

// map 的簡單實現
array.prototype.
map=
function
(handler)
return handler;
}

但是既然既然返回的是promise型別，其實可以很簡單的使用promise.all的 api 來完成想要操作的結果。

promise.
all(
requests.
map(request =>
request()
)).then
(results =>
);

這樣能夠實現併發多個請求，並在所有請求處理完畢後返回處理結果陣列的需求。而在我自己的爬蟲專案中，需要開啟很多個詳情頁並爬取對應的資料。如果同時併發請求，在資料量大的情況話，可能順時切開上百個詳情頁。此時需要順序完成請求操作。

(
async
function()
})()
;

因為await關鍵字只能在async函式定義中有效。因此使用iife來產生async函式環境，達成次序執行的目的。

async await的多非同步處理方式

非同步async await寫法

非同步操作async await

利用 async await 的非同步程式設計

async await的多非同步處理方式

非同步async await寫法

非同步操作async await

利用 async await 的非同步程式設計

相關推薦