網域名稱備案 robots協議

目錄2 robots.txt

個人備案

筆者之前在大二的時候在阿里雲購買過乙個網域名稱，備案是乙個週期較長的事情，希望即將準備備案的小夥伴們做好心理準備。相對於公司備案來說，個人備案更久更煩瑣，原因就是網域名稱很容易被不法分子利用，做些不正當的交易用途。

以阿里雲備案為例，大部分都是在網上審批，這個只需要等就行了。唯一複雜需要線下進行操作的是：在幕布下拍照，截張圖

大概是這麼一張紙，上面有阿里雲公司名稱然後就是，網際網路備案資訊china，然後會有乙個示例規範，拍好照再上傳就ok了。幕布寄過來大概得一周，看人家忙不忙了。

然後就是**功能審批的問題了，關於**用作何用途等都要詳細填寫，後期阿里雲客服會過來幫助確認修改。

相對於去相關部分備案，這種方式還是方便了不少，個人開發者可以考慮。

公司備案

公司備案比我預想的要簡單，上傳營業執照然後把相關的法人資訊填寫就好了。（因為公司註冊是非常繁瑣的，而且公司資訊在工商局註冊過，阿里雲應該對接的不錯，把資訊填好了備案就下來了）

備案完成之後

這個玩意主要是為了規範爬蟲，關於爬蟲的新聞相信大家最近一段時間都聽說了很多資訊，公司因為非法爬蟲被抓等等。技術是無罪的，但如何使用技術就取決於每個人的自覺性了。法律是一道紅線，一旦碰了，就會有意想不到的大禮包等著你。

robots.txt 是一種遵照漫遊器排除標準建立的純文字檔案，由一條或多條規則組成。每條規則可禁止（或允許）特定抓取工具抓取相應**中的指定檔案路徑。

簡單點來說，這個檔案告訴我們哪些頁面可以爬，哪些頁面不能爬，只有遵守了這個規範，合理的爬，人家不在乎的（你要是開幾十萬個執行緒把人家伺服器搞崩了也是要負責的）

舉個例子：這種帶有disallow是不允許爬取的

這是乙個度的問題，大家把水端平就好。