Поместите весь код в блок try, затем поймайте исключение в блоке catch
try
{
// code
}
catch(ClassNotFoundException e1)
{
e1.getmessage();
}
spark.sql.Column
предоставляет метод like
, но теперь (Spark 1.6.0 / 2.0.0) он работает только со строковыми литералами. Тем не менее вы можете использовать необработанный SQL:
import org.apache.spark.sql.hive.HiveContext
val sqlContext = new HiveContext(sc) // Make sure you use HiveContext
import sqlContext.implicits._ // Optional, just to be able to use toDF
val df = Seq(("foo", "bar"), ("foobar", "foo"), ("foobar", "bar")).toDF("a", "b")
df.registerTempTable("df")
sqlContext.sql("SELECT * FROM df WHERE a LIKE CONCAT('%', b, '%')")
// +------+---+
// | a| b|
// +------+---+
// |foobar|foo|
// |foobar|bar|
// +------+---+
или expr
/ selectExpr
:
df.selectExpr("a like CONCAT('%', b, '%')")
В Spark 1.5 для этого потребуется HiveContext
. Если по какой-либо причине контекст Hive не является вариантом, вы можете использовать пользовательский udf
:
import org.apache.spark.sql.functions.udf
val simple_like = udf((s: String, p: String) => s.contains(p))
df.where(simple_like($"a", $"b"))
val regex_like = udf((s: String, p: String) =>
new scala.util.matching.Regex(p).findFirstIn(s).nonEmpty)
df.where(regex_like($"a", $"b"))