Swish

ฟังก์ชั่นการเปิดใช้งาน Swish swish(x) = x * sigmoid(x) .

ฟังก์ชั่นการเปิดใช้งาน Swish ซึ่งส่งกลับ x*sigmoid(x) เป็นฟังก์ชันที่ราบรื่นและไม่ซ้ำซากซึ่งจับคู่หรือมีประสิทธิภาพเหนือกว่า ReLU อย่างสม่ำเสมอบนเครือข่ายระดับลึก โดยจะไม่มีขอบเขตด้านบนและด้านล่าง

ตัวอย่างการใช้งาน:

     Operand<TFloat32> input = tf.constant(new float[]
                                        {-20, -1.0, 0.0, 1.0, 20});
     Swish<TFloat32> swish = new Swish<>(tf);
     Operand<TFloat32> result = swish.call(input);
     // result = [-4.1223075e-08f, -2.6894143e-01f,  0.0000000e+00f,
     //          7.3105860e-01f,  2.0000000e+01f ]