從PySpark中的字串獲取列表方法講解

2022-09-21 16:48:07 字數 822 閱讀 9539

在 pyspark 中是否有類似eval的功能。

我正在嘗試將 python **轉換為 pyspark

我正在查詢乙個資料框,並且其中一列具有資料,如下所示,但採用字串格式。

[, , ]

假設「 x」是在資料框中儲存此值的列。

現在,我想傳遞該字串列「 x」並獲取列表,以便可以將其傳遞給 mappartition 函式。

我想避免迭代驅動程式上的每一行,這就是我這樣想的原因。

在 python 中使用 eval()函式(如果已使用):我得到以下輸出:

x = "[, , ]"

list = eval(x)

for i in list: print i

輸出:(這也是我在 pyspark 中想要的)

如何在 pyspark 中做到這一點?

例項擴充套件:

df.schema: structtype(list(structfield(id,stringtype,true),structfield(recs,stringtype,true)))

|id | recs |

|abc|[66, [["ab", 10]]]

|xyz|[66, [["xy", 10], ["yz", 20]]]

|def|[66, [["de", 10], ["ef", 20], ["fg", 30]]]

我正試著把這些單子弄平

|id | like_id

|abc|ab|

|xyz|xy|

|xyz|yz|

|def|de|

|def|ef|

|def|fg|

jQuery從字串中刪除字串

可以這麼說,這就是使用jquery從字串中刪除字串的方法。以下示例有望闡明我的意思。它使用了jquery.grep 這是乙個非常酷的搜尋功能 有點像php子字串 總之。與往常一樣,只需複製,貼上,使用firebug執行即可進行測試和試驗。function join console.log resul...

獲取字串中的子字串

如真彩色的red,green,blue的值組成乙個字串,用逗號分開。但是逗號的位置是非固定的,因為r,g,b的各個值可以是1 3位數。下面是乙個將r,g,b的值組成的字串,通過逗號來將其分割,並分別放到陣列中。並算出其真彩色的值。sub test dim ss as string ss 12,156...

如何從XML字串獲取DataSet

以往可能從xml檔案獲取資料集的比較多一些,但是從xml字串獲取dataset的不是很多,我的想法是 在客戶端,使用者提交後生成xml字串,並將這個字串存到資料庫的某個字段,等到我們使用這些xml資料時,只要提取出來,加以分析,顯示在不同的web控制項上即可。主要是xmltextreader的使用。...