天眼資料抓取專案

2021-10-19 10:17:07 字數 3129 閱讀 4792

本專案抓取資料為 公司高管資訊以及公司違規處理歷史記錄

2. 資料庫e-r圖

二、資料抓取

三、相關截圖

四、資料呈現

六、原始碼分享:

專案執行產生的檔案介紹:

company(公司表)

欄位名稱

字段型別

字段屬性

字段註解

company_id

varchar(20)

主鍵公司id

company_name

varchar(50)

公司名稱

mod_time

datetime

預設值 寫入時間

修改時間

company_person(公司人員表)

欄位名稱

字段型別

字段屬性

字段註解

idvarchar(20)

主鍵id

name

varchar(5)

姓名age

int年齡

***varchar(1)

性別eduaction

varchar(5)

學歷resume

text

個人簡介

mod_time

datetime

修改時間

executive_group(高管分組表)

欄位名稱

字段型別

字段屬性

字段註解

group_id

int主鍵

分組id

group_name

varchar(5)

分組名稱-(董事會,監事會,高管)

company_executive(高管表)

欄位名稱

字段型別

字段屬性

字段註解

idint

主鍵,自增

主鍵id

company_id

varchar(20)

外來鍵公司id

group_id

int外來鍵

分組id

person_id

varchar(20)

外來鍵人員id

position

varchar(50)

職稱描述

start_date

date

任職開始日期

end_date

date

任職結束日期

report_date

date

公告日期

mod_time

datetime

預設值-寫入時間

修改時間

salary_table(薪酬表)

欄位名稱

字段型別

字段屬性

字段註解

idint

主鍵,自增

主鍵id

company_id

varchar(20)

外來鍵公司id

person_id

varchar(20)

外來鍵人員id

money

varchar(10)

薪資金額

number_of_shares_with_unit

varchar(10)

mod_time

datetime

預設值-寫入時間

修改時間

company_illegals(公司違規處理表)

欄位名稱

字段型別

字段屬性

字段註解

idint

主鍵,自增

主鍵id

company_id

varchar(20)

外來鍵違規公司id

disposer

varchar(50)

外來鍵處理機構

default_type

varchar(10)

違規型別

illegal_act_withlink

text

違規詳情

punish_type

varchar(10)

處理型別-(懲罰型別)

punish_explain_withlink

text

處理詳情

punish_object

varchar(20)

被處理物件

announcement_date

date

公告日期

currency_unit

varchar(10)

涉及金額

mod_time

datetime

預設值-(寫入時間)

修改時間

由於時間問題,這塊內容未實現,下面只是一些想法

資料展示 : 用現在的資料視覺化技術(python 資料分析)(jsechart.js圖表庫)比如可以做乙個 公司高管薪資水平圖表

資料探勘 :處理分析公司的違規資訊,做簡單的公司風險**(還沒有嘗試過)

本專案僅僅只用與面試(某面試)若用於其他用途,請自行承擔相關責任!!

Jsoup抓取資料

首先我們來看來自 的乙個html片段,了解其結構。class detail style display block class add jrsj plus bookid 609737 em class mark63 href target blank src alt 不死龍帝 style width...

Xmind Java資料抓取

思路 1,登入。2,登入成功後獲得cookie。3,將cookie放到請求頭中,向登入頁傳送請求。1.獲得url物件 url url newurl urlstring 2.開啟連線 3.向request中注入cookie urlconn.setrequestproperty cookie cooki...

Urllib資料抓取

python 3中,urllib是乙個收集幾個模組來使用url的軟體包,具備以下幾個功能 urllib.request.urlopen url,data none,timeout,data 預設值為none,表示請求方式為get,反之為post timeout 超時設定 匯入urllib impor...