併發程式設計之多程序理論

2022-05-02 19:42:08 字數 4348 閱讀 4745

顧名思義,程序即正在執行的乙個過程。程序是對正在執行程式的乙個抽象。

程序的概念起源於作業系統,是作業系統最核心的概念,也是作業系統提供的最古老也是最重要的抽象概念之一。作業系統的其他所有內容都是圍繞程序的概念展開的。

所以想要真正了解程序,必須事先了解作業系統,點選進入

ps:即使可以利用的cpu只有乙個(早期的計算機確實如此),也能保證支援(偽)併發的能力。將乙個單獨的cpu變成多個虛擬的cpu(多道技術:時間多路復用和空間多路復用+硬體上支援隔離),沒有程序的抽象,現代計算機將不復存在。

程序:正在進行的乙個過程或者說乙個任務,負責執行任務的是cpu。

舉例(單核+多道,實現多個程序的併發執行):

在乙個時間段內有很多任務要做:python備課的任務,寫書的任務,交女朋友的任務,王者榮耀上分的任務,但同一時刻只能做乙個任務(cpu同一時間只能幹乙個活),如何才能玩出多個任務併發執行的效果?備一會課,再去跟李傑的女朋友聊聊天,再去打一會王者榮耀....這就保證了每個任務都在進行中.

程式僅僅是一堆**,程序指的是程式的執行過程。

以做蛋糕為例的話:

蛋糕食譜就是程式(適當形式描述的演算法)

蛋糕師就是處理器

蛋糕的原料就是輸入的資料

程序就是廚師閱讀食譜、取各種原料及烘製蛋糕等一系列動作的總和。

無論是並行還是併發,在使用者看來都是'同時'執行的,不管是程序還是執行緒,都只是乙個任務而已,真實幹活的是cpu,cpu來做這些任務,而乙個cpu同一時刻只能執行乙個任務。

一、併發:偽並行,即看起來多個程序像在同時執行。單個cpu+多道技術可實現併發。

二、並行:多個程序同時執行,只有具備多個cpu才能實現。

單核下,可以利用多道技術,多個核,每個核也都可以利用多道技術(多道技術是針對單核而言的)有四個核,六個任務,這樣同一時間有四個任務被執行,假設分別被分配給了cpu1,cpu2,cpu3,cpu4;一旦任務1遇到i/o就被迫中斷執行,此時任務5就拿到cpu1的時間片去執行,這就是單核下的多道技術。

而一旦任務1的i/o結束了,作業系統會重新呼叫它(需知程序的排程、分配給哪個cpu執行,由作業系統說了算),可能被分配給四個cpu中的任意乙個去執行。

所有現代計算機經常會在同一時間做很多件事,乙個使用者的pc(無論是單cpu還是多cpu),都可以同時執行多個任務(乙個任務可以理解為乙個程序)。

多道技術概念回顧:記憶體中同時存入多道(多個)程式,cpu從乙個程序快速切換到另外乙個,使每個程序各自執行幾十或幾百毫秒,這樣,雖然在某乙個瞬間,乙個cpu只能執行乙個任務,但在1秒內,cpu卻可以執行多個程序,這就給人產生了並行的錯覺,即偽併發,以此來區分多處理器作業系統的真正硬體並行(多個cpu共享同乙個物理記憶體)。

所謂同步,就是在發出乙個功能呼叫時,在沒有得到結果之前,該呼叫就不會返回。按照這個定義,其實絕大多數函式都是同步呼叫。但是一般而言,我們在說同步、非同步的時候,特指那些需要其他部件協作或者需要一定時間完成的任務。

#

舉例:#

#2. concurrent.futures.processpoolexecutor().submit(func,).result()

#3. concurrent.futures.threadpoolexecutor().submit(func,).result()

非同步的概念和同步相對。當乙個非同步功能呼叫發出後,呼叫者不能立刻得到結果。當該非同步功能完成後,通過狀態、通知或**來通知呼叫者。如果非同步功能用狀態來通知,那麼呼叫者就需要每隔一定時間檢查一次,效率就很低(有些初學多執行緒程式設計的人,總喜歡用乙個迴圈去檢查某個變數的值,這其實是一 種很嚴重的錯誤)。如果是使用通知的方式,效率則很高,因為非同步功能幾乎不需要做額外的操作。至於**函式,其實和通知沒太多區別。

#

舉例:#

#2. concurrent.futures.processpoolexecutor(3).submit(func,)

#3. concurrent.futures.threadpoolexecutor(3).submit(func,)

阻塞呼叫是指呼叫結果返回之前,當前執行緒會被掛起(如遇到io操作)。函式只有在得到結果之後才會將阻塞的執行緒啟用。有人也許會把阻塞呼叫和同步呼叫等同起來,實際上他是不同的。對於同步呼叫來說,很多時候當前執行緒還是啟用的,只是從邏輯上當前函式沒有返回而已。

#

舉例:#

#2. 阻塞呼叫:當socket工作在阻塞模式的時候,如果沒有資料的情況下呼叫recv函式,則當前執行緒就會被掛起,直到有資料為止。

非阻塞和阻塞的概念相對應,指在不能立刻得到結果之前也會立刻返回,同時該函式不會阻塞當前執行緒。

小結:

1. 同步與非同步針對的是函式/任務的呼叫方式:同步就是當乙個程序發起乙個函式(任務)呼叫的時候,一直等到函式(任務)完成,而程序繼續處於啟用狀態。而非同步情況下是當乙個程序發起乙個函式(任務)呼叫的時候,不會等函式返回,而是繼續往下執行當,函式返回的時候通過狀態、通知、事件等方式通知程序任務完成。

2. 阻塞與非阻塞針對的是程序或執行緒:阻塞是當請求不能滿足的時候就將程序掛起,而非阻塞則不會阻塞當前程序。

但凡硬體都需要作業系統去管理。有作業系統就有程序,需要有建立程序的方式。

(一)作業系統只為乙個應用程式設計:如微波爐一旦啟動,所有程序都已存在。

(二)對於通用程式,需要有系統允許過程中建立或撤銷程序的能力:

1.系統初始化

2.執行乙個程序的過程中開啟乙個子程序(subprocess模組)。(併發)

3.使用者互動請求,建立新程序

4.批處理作業的初始化

新程序的建立都是由乙個已經存在的程序執行了乙個用於建立程序的系統呼叫而建立的:

1.在unix中該系統呼叫是:fork  程序由作業系統管理。

2.在windows中該系統呼叫是:createprocess

1.相同的是:程序建立後,父程序和子程序有各自不同的位址空間(多道技術要求物理層面實現程序之間記憶體的隔離),任何乙個程序的在其位址空間中的修改都不會影響到另外乙個程序。

1、正常退出(自願,如使用者點選互動式頁面的叉號,或程式執行完畢呼叫發起系統呼叫正常退出,在linux中用exit,在windows中用exitprocess)

2、出錯退出(自願,python a.py中a.py不存在)

3、嚴重錯誤(非自願,執行非法指令,如引用不存在的記憶體,1/0等,可以捕捉異常,try...except...)

4、被其他程序殺死(非自願,如kill -9)

相同點:無論unix還是windows,程序只有乙個父程序。

不同點:1、unix中所有的程序,都是以init程序為根,組成樹形結構。父子程序共同組成乙個程序組,當鍵盤發出乙個訊號時,該訊號被送給當前與鍵盤相關的程序組中的所有成員。

2、windows中沒有程序層次概念,程序地位相同。建立程序時,父程序得到控制代碼,可以控制子程序,控制代碼可以傳給其他子程序,因此沒有層次。

tail -f access.log |grep '404'

執行程式tail,開啟乙個子程序,執行程式grep,開啟另外乙個子程序,兩個程序之間基於管道'|'通訊,將tail的結果作為grep的輸入。

程序grep在等待輸入(即i/o)時的狀態稱為阻塞,此時grep命令都無法執行

其實在兩種情況下會導致乙個程序在邏輯上不能執行,

程序掛起是自身原因,遇到i/o阻塞,便要讓出cpu讓其他程序去執行,這樣保證cpu一直在工作

與程序無關,是作業系統層面,可能會因為乙個程序占用時間過多,或者優先順序等原因,而呼叫其他的程序去使用cpu。

因而乙個程序由三種狀態

硬體中斷乙個正在執行的程序,把此時程序執行的所有狀態儲存下來,為此,作業系統維護一張**,即程序表(process table),每個程序占用乙個程序表項(這些表項也稱為程序控制塊)。

表存放了程序狀態的重要資訊:程式計數器、堆疊指標、記憶體分配狀況、所有開啟檔案的狀態、帳號和排程資訊,以及其他在程序由執行態轉為就緒態或阻塞態時,必須儲存的資訊,從而保證該程序在再次啟動時,就像從未被中斷過一樣。

Python併發程式設計之多程序(理論)

程序 正在記憶體中執行的一道程式。程式指的是一堆 而程序指的是程式執行的過程。通乙個程式執行兩次,就是兩道程序。併發 偽並行,看起來是同時執行,其實是cpu不斷切換的結果。用單個cpu加多道技術就能實現。並行 同時執行,cpu的乙個核執行一道程式,多核cpu或多個cpu才能實現。同步 在發出乙個功能...

併發程式設計之多程序

程序理論 一 什麼是程序?程序 正在進行的乙個過程或者說乙個任務。而負責執行任務則是cpu。二 程序與程式的區別 程式僅僅只是一堆 而已,而程序指的是程式的執行過程。同乙個程式執行兩次,那也是兩個程序 三 併發與並行 並行處理 parallel processing 是計算機系統中能同時執行兩個或者...

python併發程式設計之多程序

今天學習了python併發程式設計之多程序 一 multiprocessing模組介紹 python中的多執行緒無法利用多核優勢,如果想要充分地使用多核cpu的資源 os.cpu count 檢視 在python中大部分情況需要使用多程序。python提供了multiprocessing。multi...