String Permutation Kick udf
Zied Hermi
Ich konvertiere ein Schwein-Skript mit Scala in Spark 1.6, ich habe einen Datenrahmen, der eine Zeichenfolge enthält, und ich möchte Zeichen in einer bestimmten Reihenfolge austauschen.
Beispiel:
+----------------+
| Info|
+----------------+
|8106f510000dc502|
+----------------+
Ich möchte es in dieser Reihenfolge umwandeln [3,1,5,7,6,(8-16),4,2]
+----------------+
| Info|
+----------------+
|08f150000dc50241|
+----------------+
Dies ist mein Schwein-UDF mit Java und es funktioniert:
public class NormalizeLocInfo extends EvalFunc<String>
{
public String exec(Tuple input) throws IOException {
if (input == null || input.size() == 0)
return null;
try{
char [] ca = ((String)input.get(0)).toCharArray();
return (
new StringBuilder().append(ca[3]).append(ca[0]).append(ca[5]).append(ca[7]).append(ca[6]).append(ca[8]).append(ca[9]).append(ca[10])
.append(ca[11]).append(ca[12]).append(ca[13]).append(ca[14]).append(ca[15]).append(ca[16]).append(ca[4]).toString().toUpperCase()
);
}catch(Exception e){throw new IOException("UDF:Caught exception processing input row :"+input.get(0), e);}
}
}
Wie kann ich es mit scala auf Spark UDF ändern? Danke
Hund
So definieren Sie in Spark eine UDF-Funktion für Ihre Funktion
import org.apache.spark.sql.functions._
val exec = udf((input : String) => {
if (input == null || input.trim == "") ""
else {
Try{
val ca = input.toCharArray
List(3,1,5,7,6,9,10,11,12,13,14,15,16,4,2).map(a=>ca(a-1)).mkString
} match{
case Success(data) => data
case Failure(e) =>
println(e.printStackTrace())
""
}
}
})
Sie können die Funktion mit withColumn() als verwenden
val dfNew = df.withColumn("newCol", exec($"oldCol"))
Hoffe das hilft