spark drools整合開發

2021-09-24 22:58:09 字數 2001 閱讀 5158

flink 有cep複雜事件處理庫,spark中沒有cep處理庫,如何在spark中實現cep複雜事件處理? 業界普遍使用開源的drools規則引擎整合去處理,cloudera官方部落格就有spark 整合drools實現cep處理能力。

專案結構:

pom 檔案依賴配置:

2.2.0

2.11

2.11.8

6.5.0.final

org.scala-lang

scala-library

2.11.8

provided

org.apache.spark

spark-core_$

$provided

org.apache.spark

spark-streaming_$

$ org.apache.spark

spark-mllib_$

$provided

org.apache.spark

spark-hive_$

$provided

org.apache.spark

spark-graphx_$

$provided

org.apache.spark

spark-streaming-kafka-0-10_$

$ org.apache.spark

spark-sql-kafka-0-10_$

$

org.drools

drools-compiler

$

org.drools

drools-core

$

drools 規則檔案:
package rules

import com.lakala.drools.data.person;

rule "hello world"

when

b:person( age >= 18 );

then

system.out.println("***************drools**********===="+ b.getage() );

end

**:

import com.lakala.drools.data.person

import org.apache.spark.

import org.drools.core.io.impl.classpathresource

import org.kie.internal.utils.kiehelper

/** * created by kevin on 2019/7/2.

*/object ****** )

sc.stop()

}}

public class person implements serializable

public person(string name, int age)

private string name;

private int age;

public string getname()

public void setname(string name)

public int getage()

public void setage(int age)

}

執行測試:

spark drools整合測試6.5版本本地,集群模式都可以正常執行。與drools7.23整合時本地可以執行,提交到集群時出現空指標異常暫時沒有解決。7.x版本提交到集群執行跟flink的異常一致。

整合產品開發IPD

整合產品開發ipd 課程背景 整合產品開發 ipd integrated product development 於pace product and cycle excellence,即產品週期優化法,系全球領先的研發諮詢機構prtm公司提出的研發管理模式 是經過ibm公司五年的實踐,總結出來的一套...

IPD整合產品開發

ipd 一 ipd背景 整合產品開發 integrated product development,簡稱ipd 是一套產品開發的模式 理念與方法。ipd的思想 於美國prtm公司出版的 產品及生命週期優化法 簡稱pace product and cycle time excellence 一書,該書...

ADS整合開發環境

前身 arm sdt 後世 realview mdk rvds等。詳見本人的部落格 安裝rvds到windows7 目前ads的版本為1.2。相對於sdt,ads用code warrior ide整合開發環境代替了sdt的apm,用axd代替了adw。現代整合開發環境的一些基本特性如原始檔編輯器語法...