不管是企業**還是門戶**，上面都會有些資料是保密而不對外公開的。怎麼樣做到不對外公開呢?唯一的保密的措施就是不讓搜尋引擎來蒐錄這些資訊。這 樣就會不在網路上公司，那麼要實現這個**頁面不收錄，就體了robots.txt的作用啦!robots.txt是乙個簡單的記事本檔案，這是**管理員和蒐錄引擎對話的乙個通道。在這個檔案中**管理者可以宣告該**中不想被robots訪問的部分，或者指定搜尋引擎只收錄指定的內容。
當乙個搜尋機械人(有的叫搜尋蜘蛛)訪問乙個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜尋機械人就會按照該檔案中的內容來確定訪問的範圍;如果該檔案不存在，那麼搜尋機械人就沿著鏈結抓取。
既然我們這裡知道了什麼是robots.txt，我們該如何來應用呢?
1、如果我們**的內容為全部公開，則不需要要設定robots.txt或robots.txt為空就可以啦。
2、robots.txt這個檔名必需要是小寫而且都要放在**的根目錄下一般要通過這種url形式能訪問到，才說明我們放的位置是正確的。
3、robots.txt一般只寫上兩種函式：user-agent和disallow。有幾個禁止，就得有幾個disallow函式，並分行描述。
4、至少要有乙個disallow函式，如果都允許收錄，則寫: disallow:，如果都不允許收錄，則寫:disallow: / (注：只是差乙個斜桿)。
寫法說明
user-agent: *星號說明允許所有搜尋引擎收錄
disallow: /search.html說明這個頁面禁止搜尋引擎抓取。
disallow: /index.php?說明類似這樣的頁面禁止搜尋引擎抓取。
常見的用法例項：
允許所有的robot訪問
user-agent: *
disallow:
或者也可以建乙個空檔案「/robots.txt」 file
禁止所有搜尋引擎訪問**的任何部分
user-agent: *
disallow: /
禁止所有搜尋引擎訪問**的幾個部分(下例中的01、02、03目錄)
user-agent: *
disallow: /01/
disallow: /02/
disallow: /03/
禁止某個搜尋引擎的訪問(下例中的badbot)
user-agent: badbot
disallow: /
只允許某個搜尋引擎的訪問(下例中的crawler)
user-agent: crawler
disallow:
user-agent: *
disallow: /
另外，我覺得有必要進行拓展說明，對robots meta進行一些介紹：
首先開啟題目後發現是乙個空網頁，網頁內沒有任何內容
根據已知的robots.txt協議,於是我們在url末尾加上「 /robots.txt 」
在開啟「 disallow 」後的flag_ls_h3re.php檔案（將flag_ls_h3re.php放到url末尾 ），
如下圖所示便可獲得flag
攻防世界mfw 攻防世界 Web mfw
題目資訊 image.png 工具 githack,dirsearch 知識點 git漏洞 審計 開啟題目場景，檢查 發現這樣乙個頁面 image.png 訪問.git目錄，疑似存在git原始碼洩露 image.png 再用dirsearch掃瞄，發現git原始碼洩露 使用 githack獲取原始碼...
攻防世界Web lottery
開心！雖然第一次遇到git原始碼洩露寫了好久，但是寫出來了就很開心 開啟介面我們知道，要拿到flag，就要贏到足夠的錢，其實一開始我以為可以找到乙個地方直接修改餘額什麼的，把網頁源 中的檔案看了幾個都沒發現突破口 然後又沒思路了 嘗試了一下robots.txt，想看看有沒有什麼檔案，然後發現了 瞬間...
攻防世界 xctf Guess writeup
本題的解析官網上有，這裡是乙個自動化的指令碼，完成的是自動上傳乙個ant.jpg的檔案 ant.jpg是乙個ant.zip壓縮包重新命名的檔案，裡面是乙個ant.php的一句話木馬 執行返回的是在web後台這個檔案重新命名後的檔案的url。可通過zip偽協議訪問這個木馬。指令碼如下 import r...