StringSplit

Dividere gli elementi di "source" in base a "sep" in uno "SparseTensor".

Sia N la dimensione della sorgente (tipicamente N sarà la dimensione del batch). Dividi ogni elemento di "source" in base a "sep" e restituisce uno "SparseTensor" contenente i token divisi. I token vuoti vengono ignorati.

Ad esempio, N = 2, source[0] è 'hello world' e source[1] è 'ab c', quindi l'output sarà

st.indices = [0, 0;
               0, 1;
               1, 0;
               1, 1;
               1, 2]
 st.shape = [2, 3]
 st.values = ['hello', 'world', 'a', 'b', 'c']
 

Se viene fornito `sep`, i delimitatori consecutivi non vengono raggruppati insieme e sono ritenuto delimitare stringhe vuote. Ad esempio, source di `"1<>2<><>3"` e sep di `"<>"` restituiscono `["1", "2", "", "3"]`. Se "sep" è None o una stringa vuota, gli spazi consecutivi vengono considerati come un singolo separatore e il risultato non conterrà stringhe vuote all'inizio o alla fine se la stringa ha spazi iniziali o finali.

Nota che il comportamento sopra menzionato corrisponde a str.split di Python.