एमएल समुदाय दिवस 9 नवंबर है! TensorFlow, JAX से नई जानकारी के लिए हमसे जुड़ें, और अधिक जानें

मूल प्रतिगमन: ईंधन दक्षता की भविष्यवाणी करें

TensorFlow.org पर देखें Google Colab में चलाएं GitHub पर स्रोत देखें नोटबुक डाउनलोड करें

एक प्रतिगमन समस्या में, उद्देश्य में मूल्य और संभावना की तरह एक सतत मूल्य के उत्पादन में भविष्यवाणी करने के लिए, है। श्रेणीबद्ध समस्यायें, जहां उद्देश्य (उदाहरण के लिए, जहां एक तस्वीर एक सेब या एक नारंगी शामिल पहचानने जो फल चित्र में है) वर्गों की सूची में से एक वर्ग का चयन करने के लिए है के साथ इस कंट्रास्ट।

इस ट्यूटोरियल क्लासिक का उपयोग करता है ऑटो MPG डाटासेट और दर्शाता है कि कैसे देर से 1970 के दशक के की ईंधन दक्षता और 1980 के दशक ऑटोमोबाइल भविष्यवाणी करने के लिए मॉडल बनाने के लिए। ऐसा करने के लिए, आप उस समय अवधि के कई ऑटोमोबाइल के विवरण के साथ मॉडल प्रदान करेंगे। इस विवरण में सिलेंडर, विस्थापन, अश्वशक्ति और वजन जैसी विशेषताएं शामिल हैं।

यह उदाहरण केरस एपीआई का उपयोग करता है। (Keras जाएँ ट्यूटोरियल और गाइड अधिक जानने के लिए।)

# Use seaborn for pairplot.
pip install -q seaborn
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import seaborn as sns

# Make NumPy printouts easier to read.
np.set_printoptions(precision=3, suppress=True)
import tensorflow as tf

from tensorflow import keras
from tensorflow.keras import layers

print(tf.__version__)
2.6.0

ऑटो एमपीजी डेटासेट

डाटासेट से उपलब्ध है यूसीआई मशीन लर्निंग भंडार

डेटा प्राप्त करें

पहले पांडा का उपयोग करके डेटासेट डाउनलोड और आयात करें:

url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/auto-mpg/auto-mpg.data'
column_names = ['MPG', 'Cylinders', 'Displacement', 'Horsepower', 'Weight',
                'Acceleration', 'Model Year', 'Origin']

raw_dataset = pd.read_csv(url, names=column_names,
                          na_values='?', comment='\t',
                          sep=' ', skipinitialspace=True)
dataset = raw_dataset.copy()
dataset.tail()

डेटा साफ़ करें

डेटासेट में कुछ अज्ञात मान हैं:

dataset.isna().sum()
MPG             0
Cylinders       0
Displacement    0
Horsepower      6
Weight          0
Acceleration    0
Model Year      0
Origin          0
dtype: int64

इस प्रारंभिक ट्यूटोरियल को सरल रखने के लिए उन पंक्तियों को छोड़ दें:

dataset = dataset.dropna()

"Origin" स्तंभ, स्पष्ट संख्यात्मक नहीं है। तो अगले कदम के साथ स्तंभ में मानों एक गर्म एनकोड करने के लिए है pd.get_dummies

dataset['Origin'] = dataset['Origin'].map({1: 'USA', 2: 'Europe', 3: 'Japan'})
dataset = pd.get_dummies(dataset, columns=['Origin'], prefix='', prefix_sep='')
dataset.tail()

डेटा को प्रशिक्षण और परीक्षण सेट में विभाजित करें

अब, डेटासेट को एक प्रशिक्षण सेट और एक परीक्षण सेट में विभाजित करें। आप अपने मॉडलों के अंतिम मूल्यांकन में परीक्षण सेट का उपयोग करेंगे।

train_dataset = dataset.sample(frac=0.8, random_state=0)
test_dataset = dataset.drop(train_dataset.index)

डेटा का निरीक्षण करें

प्रशिक्षण सेट से स्तंभों के कुछ जोड़े के संयुक्त वितरण की समीक्षा करें।

शीर्ष पंक्ति से पता चलता है कि ईंधन दक्षता (एमपीजी) अन्य सभी मापदंडों का एक कार्य है। अन्य पंक्तियाँ इंगित करती हैं कि वे एक दूसरे के कार्य हैं।

sns.pairplot(train_dataset[['MPG', 'Cylinders', 'Displacement', 'Weight']], diag_kind='kde')
<seaborn.axisgrid.PairGrid at 0x7fb1a5e66bd0>

पीएनजी

आइए समग्र आँकड़ों की भी जाँच करें। ध्यान दें कि कैसे प्रत्येक सुविधा एक बहुत अलग श्रेणी को कवर करती है:

train_dataset.describe().transpose()

लेबल से सुविधाओं को विभाजित करें

लक्ष्य मान—“लेबल”—को सुविधाओं से अलग करें। यह लेबल वह मान है जिसकी भविष्यवाणी करने के लिए आप मॉडल को प्रशिक्षित करेंगे।

train_features = train_dataset.copy()
test_features = test_dataset.copy()

train_labels = train_features.pop('MPG')
test_labels = test_features.pop('MPG')

मानकीकरण

आंकड़ों की तालिका में यह देखना आसान है कि प्रत्येक विशेषता की श्रेणियां कितनी भिन्न हैं:

train_dataset.describe().transpose()[['mean', 'std']]

विभिन्न पैमानों और श्रेणियों का उपयोग करने वाली सुविधाओं को सामान्य बनाना एक अच्छा अभ्यास है।

एक कारण यह महत्वपूर्ण है क्योंकि सुविधाओं को मॉडल भार से गुणा किया जाता है। तो, आउटपुट के पैमाने और ग्रेडिएंट के पैमाने इनपुट के पैमाने से प्रभावित होते हैं।

हालांकि एक मॉडल सुविधा सामान्य बिना अभिसरण सकता है, सामान्य अधिक स्थिर प्रशिक्षण बनाता है।

सामान्यीकरण परत

tf.keras.layers.Normalization अपने मॉडल में सुविधा सामान्य जोड़ने के लिए एक स्वच्छ और आसान तरीका है।

परत बनाने के लिए पहला कदम है:

normalizer = tf.keras.layers.Normalization(axis=-1)

फिर, फोन करके डेटा को preprocessing परत की स्थिति फिट Normalization.adapt :

normalizer.adapt(np.array(train_features))

माध्य और विचरण की गणना करें, और उन्हें परत में संग्रहीत करें:

print(normalizer.mean.numpy())
[[   5.478  195.318  104.869 2990.252   15.559   75.898    0.178    0.197
     0.624]]

जब परत को बुलाया जाता है, तो यह इनपुट डेटा लौटाता है, प्रत्येक सुविधा स्वतंत्र रूप से सामान्यीकृत होती है:

first = np.array(train_features[:1])

with np.printoptions(precision=2, suppress=True):
  print('First example:', first)
  print()
  print('Normalized:', normalizer(first).numpy())
First example: [[   4.    90.    75.  2125.    14.5   74.     0.     0.     1. ]]

Normalized: [[-0.87 -1.01 -0.79 -1.03 -0.38 -0.52 -0.47 -0.5   0.78]]

रेखीय प्रतिगमन

एक गहरे तंत्रिका नेटवर्क मॉडल के निर्माण से पहले, एक और कई चर का उपयोग करके रैखिक प्रतिगमन से शुरू करें।

एक चर के साथ रैखिक प्रतिगमन

एक एकल चर रेखीय प्रतीपगमन के साथ शुरू की भविष्यवाणी करने के 'MPG' से 'Horsepower'

के साथ एक मॉडल प्रशिक्षण tf.keras आम तौर पर मॉडल वास्तुकला को परिभाषित करने से शुरू होता है। एक का प्रयोग करें tf.keras.Sequential मॉडल है, जो चरणों का क्रम का प्रतिनिधित्व करता है

आपके एकल-चर रैखिक प्रतिगमन मॉडल में दो चरण हैं:

  • सामान्य 'Horsepower' इनपुट का उपयोग की सुविधा है tf.keras.layers.Normalization preprocessing परत।
  • ($ Y = mx + b $) एक रेखीय परिवर्तन लागू करें एक रेखीय परत (का उपयोग करते हुए 1 उत्पादन का उत्पादन करने के लिए tf.keras.layers.Dense )।

आदानों की संख्या या तो द्वारा सेट किया जा सकता input_shape जब मॉडल पहली बार के लिए चलाया जाता है तर्क, या स्वचालित रूप से।

सबसे पहले, एक NumPy सरणी से बना बनाने 'Horsepower' सुविधाओं। फिर, का दृष्टांत tf.keras.layers.Normalization और करने के लिए अपने राज्य फिट horsepower डेटा:

horsepower = np.array(train_features['Horsepower'])

horsepower_normalizer = layers.Normalization(input_shape=[1,], axis=None)
horsepower_normalizer.adapt(horsepower)

केरस अनुक्रमिक मॉडल बनाएँ:

horsepower_model = tf.keras.Sequential([
    horsepower_normalizer,
    layers.Dense(units=1)
])

horsepower_model.summary()
Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
normalization_1 (Normalizati (None, 1)                 3         
_________________________________________________________________
dense (Dense)                (None, 1)                 2         
=================================================================
Total params: 5
Trainable params: 2
Non-trainable params: 3
_________________________________________________________________

यह मॉडल की भविष्यवाणी करेगा 'MPG' से 'Horsepower'

अप्रशिक्षित मॉडल को पहले 10 'अश्वशक्ति' मूल्यों पर चलाएँ। उत्पादन अच्छा नहीं होगा, लेकिन नोटिस उसके अपेक्षित आकार है (10, 1) :

horsepower_model.predict(horsepower[:10])
array([[ 1.208],
       [ 0.682],
       [-2.229],
       [ 1.693],
       [ 1.531],
       [ 0.601],
       [ 1.814],
       [ 1.531],
       [ 0.399],
       [ 0.682]], dtype=float32)

एक बार जब मॉडल बनाया गया है, Keras का उपयोग कर प्रशिक्षण प्रक्रिया कॉन्फ़िगर Model.compile विधि। संकलन के लिए सबसे महत्वपूर्ण तर्क हैं loss और optimizer के बाद से इन परिभाषित क्या अनुकूलित किया जाएगा (, mean_absolute_error ) और कैसे (का उपयोग कर tf.keras.optimizers.Adam )।

horsepower_model.compile(
    optimizer=tf.optimizers.Adam(learning_rate=0.1),
    loss='mean_absolute_error')

प्रशिक्षण के लिए कॉन्फ़िगर कॉन्फ़िगर किया गया है, Keras का उपयोग Model.fit 100 अवधियों के लिए प्रशिक्षण पर अमल करने:

%%time
history = horsepower_model.fit(
    train_features['Horsepower'],
    train_labels,
    epochs=100,
    # Suppress logging.
    verbose=0,
    # Calculate validation results on 20% of the training data.
    validation_split = 0.2)
CPU times: user 3.97 s, sys: 765 ms, total: 4.74 s
Wall time: 3.02 s

में संग्रहित आंकड़ों का उपयोग करके मॉडल के प्रशिक्षण प्रगति कल्पना history वस्तु:

hist = pd.DataFrame(history.history)
hist['epoch'] = history.epoch
hist.tail()
def plot_loss(history):
  plt.plot(history.history['loss'], label='loss')
  plt.plot(history.history['val_loss'], label='val_loss')
  plt.ylim([0, 10])
  plt.xlabel('Epoch')
  plt.ylabel('Error [MPG]')
  plt.legend()
  plt.grid(True)
plot_loss(history)

पीएनजी

बाद के लिए परीक्षण सेट पर परिणाम एकत्र करें:

test_results = {}

test_results['horsepower_model'] = horsepower_model.evaluate(
    test_features['Horsepower'],
    test_labels, verbose=0)

चूंकि यह एक एकल चर प्रतिगमन है, इसलिए मॉडल की भविष्यवाणियों को इनपुट के एक फ़ंक्शन के रूप में देखना आसान है:

x = tf.linspace(0.0, 250, 251)
y = horsepower_model.predict(x)
def plot_horsepower(x, y):
  plt.scatter(train_features['Horsepower'], train_labels, label='Data')
  plt.plot(x, y, color='k', label='Predictions')
  plt.xlabel('Horsepower')
  plt.ylabel('MPG')
  plt.legend()
plot_horsepower(x,y)

पीएनजी

एकाधिक इनपुट के साथ रैखिक प्रतिगमन

आप एकाधिक इनपुट के आधार पर पूर्वानुमान लगाने के लिए लगभग समान सेटअप का उपयोग कर सकते हैं। यह मॉडल अभी भी वही करता है $y = mx+b$ सिवाय इसके कि $m$ एक मैट्रिक्स है और $b$ एक वेक्टर है।

पहली परत होने के साथ फिर से एक दो कदम Keras अनुक्रमिक मॉडल बनाएं normalizer ( tf.keras.layers.Normalization(axis=-1) ) आप पहले परिभाषित और पूरे डाटासेट के लिए अनुकूलित:

linear_model = tf.keras.Sequential([
    normalizer,
    layers.Dense(units=1)
])

जब आप फोन Model.predict आदानों के बैच पर, यह पैदा करता है units=1 प्रत्येक उदाहरण के लिए आउटपुट:

linear_model.predict(train_features[:10])
array([[-0.026],
       [ 1.078],
       [-0.645],
       [ 0.771],
       [ 1.044],
       [ 1.031],
       [ 1.247],
       [ 1.5  ],
       [ 0.614],
       [ 0.496]], dtype=float32)

जब आप मॉडल फोन, इसका वजन मैट्रिक्स निर्मित की जांच की जाएगी कि kernel वजन ($ y में $ एम $ = mx + $ ख) के आकार (9, 1) :

linear_model.layers[1].kernel
<tf.Variable 'dense_1/kernel:0' shape=(9, 1) dtype=float32, numpy=
array([[ 0.426],
       [-0.703],
       [-0.434],
       [ 0.546],
       [ 0.643],
       [ 0.328],
       [-0.515],
       [-0.215],
       [-0.101]], dtype=float32)>

Keras साथ मॉडल कॉन्फ़िगर Model.compile और साथ ट्रेन Model.fit 100 अवधियों के लिए:

linear_model.compile(
    optimizer=tf.optimizers.Adam(learning_rate=0.1),
    loss='mean_absolute_error')
%%time
history = linear_model.fit(
    train_features,
    train_labels,
    epochs=100,
    # Suppress logging.
    verbose=0,
    # Calculate validation results on 20% of the training data.
    validation_split = 0.2)
CPU times: user 3.97 s, sys: 641 ms, total: 4.61 s
Wall time: 2.92 s

इस प्रतिगमन मॉडल में सभी आदानों का उपयोग करते हुए एक बहुत कम प्रशिक्षण और से सत्यापन त्रुटि को प्राप्त होता है horsepower_model है, जो एक अपना सहयोग दे:

plot_loss(history)

पीएनजी

बाद के लिए परीक्षण सेट पर परिणाम एकत्र करें:

test_results['linear_model'] = linear_model.evaluate(
    test_features, test_labels, verbose=0)

एक गहरे तंत्रिका नेटवर्क (DNN) के साथ प्रतिगमन

पिछले भाग में, आपने सिंगल और मल्टीपल इनपुट के लिए दो लीनियर मॉडल लागू किए थे।

यहां, आप सिंगल-इनपुट और मल्टीपल-इनपुट डीएनएन मॉडल लागू करेंगे।

कोड मूल रूप से वही है सिवाय मॉडल को कुछ "छिपी हुई" गैर-रैखिक परतों को शामिल करने के लिए विस्तारित किया गया है। यहां "हिडन" नाम का मतलब सिर्फ इनपुट या आउटपुट से सीधे जुड़ा नहीं है।

इन मॉडलों में रैखिक मॉडल की तुलना में कुछ और परतें होंगी:

  • सामान्य परत, पहले की तरह (के साथ horsepower_normalizer एक एकल इनपुट मॉडल और के लिए normalizer एक बहु-इनपुट मॉडल के लिए)।
  • दो छिपा, गैर रेखीय, Dense Relu (साथ परतों relu ) सक्रियण समारोह nonlinearity।
  • एक रेखीय Dense एकल उत्पादन परत।

इसलिए दोनों मॉडल एक ही प्रशिक्षण प्रक्रिया का उपयोग करेगा compile विधि में शामिल है build_and_compile_model नीचे कार्य करते हैं।

def build_and_compile_model(norm):
  model = keras.Sequential([
      norm,
      layers.Dense(64, activation='relu'),
      layers.Dense(64, activation='relu'),
      layers.Dense(1)
  ])

  model.compile(loss='mean_absolute_error',
                optimizer=tf.keras.optimizers.Adam(0.001))
  return model

एक डीएनएन और एक इनपुट का उपयोग कर रिग्रेशन

केवल के साथ एक DNN मॉडल बनाएं 'Horsepower' इनपुट और के रूप में horsepower_normalizer सामान्य परत के रूप में (पहले परिभाषित):

dnn_horsepower_model = build_and_compile_model(horsepower_normalizer)

इस मॉडल में रैखिक मॉडल की तुलना में काफी अधिक प्रशिक्षित पैरामीटर हैं:

dnn_horsepower_model.summary()
Model: "sequential_2"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
normalization_1 (Normalizati (None, 1)                 3         
_________________________________________________________________
dense_2 (Dense)              (None, 64)                128       
_________________________________________________________________
dense_3 (Dense)              (None, 64)                4160      
_________________________________________________________________
dense_4 (Dense)              (None, 1)                 65        
=================================================================
Total params: 4,356
Trainable params: 4,353
Non-trainable params: 3
_________________________________________________________________

Keras साथ मॉडल ट्रेन Model.fit :

%%time
history = dnn_horsepower_model.fit(
    train_features['Horsepower'],
    train_labels,
    validation_split=0.2,
    verbose=0, epochs=100)
CPU times: user 4.38 s, sys: 734 ms, total: 5.12 s
Wall time: 3.37 s

यह मॉडल रैखिक एकल इनपुट की तुलना में थोड़ा बेहतर है horsepower_model :

plot_loss(history)

पीएनजी

आप में से एक समारोह के रूप में भविष्यवाणी साजिश तो 'Horsepower' , तुम नोटिस चाहिए कि कैसे इस मॉडल छिपा परतों द्वारा प्रदान की nonlinearity का लाभ लेता है:

x = tf.linspace(0.0, 250, 251)
y = dnn_horsepower_model.predict(x)
plot_horsepower(x, y)

पीएनजी

बाद के लिए परीक्षण सेट पर परिणाम एकत्र करें:

test_results['dnn_horsepower_model'] = dnn_horsepower_model.evaluate(
    test_features['Horsepower'], test_labels,
    verbose=0)

एक डीएनएन और एकाधिक इनपुट का उपयोग कर रिग्रेशन

सभी इनपुट का उपयोग करके पिछली प्रक्रिया को दोहराएं। सत्यापन डेटासेट पर मॉडल के प्रदर्शन में थोड़ा सुधार होता है।

dnn_model = build_and_compile_model(normalizer)
dnn_model.summary()
Model: "sequential_3"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
normalization (Normalization (None, 9)                 19        
_________________________________________________________________
dense_5 (Dense)              (None, 64)                640       
_________________________________________________________________
dense_6 (Dense)              (None, 64)                4160      
_________________________________________________________________
dense_7 (Dense)              (None, 1)                 65        
=================================================================
Total params: 4,884
Trainable params: 4,865
Non-trainable params: 19
_________________________________________________________________
%%time
history = dnn_model.fit(
    train_features,
    train_labels,
    validation_split=0.2,
    verbose=0, epochs=100)
CPU times: user 4.15 s, sys: 711 ms, total: 4.86 s
Wall time: 3.16 s
plot_loss(history)

पीएनजी

परीक्षण सेट पर परिणाम एकत्र करें:

test_results['dnn_model'] = dnn_model.evaluate(test_features, test_labels, verbose=0)

प्रदर्शन

चूंकि सभी मॉडलों को प्रशिक्षित किया गया है, आप उनके परीक्षण सेट के प्रदर्शन की समीक्षा कर सकते हैं:

pd.DataFrame(test_results, index=['Mean absolute error [MPG]']).T

ये परिणाम प्रशिक्षण के दौरान देखी गई सत्यापन त्रुटि से मेल खाते हैं।

अंदाजा लगाओ

अब आप के साथ भविष्यवाणी करने के कर सकते हैं dnn_model Keras का उपयोग कर परीक्षण सेट पर Model.predict और हानि की समीक्षा करें:

test_predictions = dnn_model.predict(test_features).flatten()

a = plt.axes(aspect='equal')
plt.scatter(test_labels, test_predictions)
plt.xlabel('True Values [MPG]')
plt.ylabel('Predictions [MPG]')
lims = [0, 50]
plt.xlim(lims)
plt.ylim(lims)
_ = plt.plot(lims, lims)

पीएनजी

ऐसा प्रतीत होता है कि मॉडल यथोचित भविष्यवाणी करता है।

अब, त्रुटि वितरण की जाँच करें:

error = test_predictions - test_labels
plt.hist(error, bins=25)
plt.xlabel('Prediction Error [MPG]')
_ = plt.ylabel('Count')

पीएनजी

आप मॉडल के साथ बाद में उपयोग के लिए सहेज, के साथ खुश हैं Model.save :

dnn_model.save('dnn_model')
2021-10-13 01:25:59.246092: W tensorflow/python/util/util.cc:348] Sets are not currently considered sequences, but this may change in the future, so consider avoiding using them.
INFO:tensorflow:Assets written to: dnn_model/assets

यदि आप मॉडल को पुनः लोड करते हैं, तो यह समान आउटपुट देता है:

reloaded = tf.keras.models.load_model('dnn_model')

test_results['reloaded'] = reloaded.evaluate(
    test_features, test_labels, verbose=0)
pd.DataFrame(test_results, index=['Mean absolute error [MPG]']).T

निष्कर्ष

इस नोटबुक ने प्रतिगमन समस्या से निपटने के लिए कुछ तकनीकों का परिचय दिया। यहां कुछ और युक्तियां दी गई हैं जो मदद कर सकती हैं:

  • मीन वर्ग त्रुटि (एमएसई) ( tf.losses.MeanMeanSquaredError ) और मतलब निरपेक्ष त्रुटि (MAE) ( tf.losses.MeanAbsoluteError ) प्रतिगमन समस्याओं के लिए इस्तेमाल आम नुकसान कार्य हैं। एमएई आउटलेर्स के प्रति कम संवेदनशील है। वर्गीकरण समस्याओं के लिए विभिन्न हानि कार्यों का उपयोग किया जाता है।
  • इसी तरह, प्रतिगमन के लिए उपयोग किए जाने वाले मूल्यांकन मेट्रिक्स वर्गीकरण से भिन्न होते हैं।
  • जब संख्यात्मक इनपुट डेटा सुविधाओं में अलग-अलग श्रेणियों के मान होते हैं, तो प्रत्येक सुविधा को एक ही श्रेणी में स्वतंत्र रूप से स्केल किया जाना चाहिए।
  • DNN मॉडल के लिए ओवरफिटिंग एक आम समस्या है, हालांकि यह इस ट्यूटोरियल के लिए कोई समस्या नहीं थी। यात्रा Overfit और underfit इस संबंध में अधिक सहायता के लिए ट्यूटोरियल।
# MIT License
#
# Copyright (c) 2017 François Chollet
#
# Permission is hereby granted, free of charge, to any person obtaining a
# copy of this software and associated documentation files (the "Software"),
# to deal in the Software without restriction, including without limitation
# the rights to use, copy, modify, merge, publish, distribute, sublicense,
# and/or sell copies of the Software, and to permit persons to whom the
# Software is furnished to do so, subject to the following conditions:
#
# The above copyright notice and this permission notice shall be included in
# all copies or substantial portions of the Software.
#
# THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
# IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
# FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
# THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
# LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
# FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
# DEALINGS IN THE SOFTWARE.