TensorFlow के साथ Azure ब्लॉब संग्रहण

TensorFlow.org पर देखें Google Colab में चलाएं GitHub पर स्रोत देखें नोटबुक डाउनलोड करें

अवलोकन

इस ट्यूटोरियल दिखाता है कि कैसे पर पढ़ सकते हैं और लिखने फ़ाइलों का उपयोग करने के लिए Azure ब्लॉब संग्रहण TensorFlow साथ, TensorFlow आईओ के Azure फाइल सिस्टम एकीकरण के माध्यम से।

Azure ब्लॉब संग्रहण पर फ़ाइलों को पढ़ने और लिखने के लिए एक Azure संग्रहण खाते की आवश्यकता होती है। Azure संग्रहण कुंजी पर्यावरण चर के माध्यम से प्रदान की जानी चाहिए:

os.environ['TF_AZURE_STORAGE_KEY'] = '<key>'

भंडारण खाते का नाम और कंटेनर का नाम फ़ाइल नाम uri का हिस्सा हैं:

azfs://<storage-account-name>/<container-name>/<path>

इस ट्यूटोरियल में, डेमो उद्देश्यों के लिए आप कर सकते हैं वैकल्पिक रूप से सेटअप Azurite जो एक Azure संग्रहण एमुलेटर है। Azurite एमुलेटर के साथ TensorFlow के साथ Azure ब्लॉब स्टोरेज इंटरफ़ेस के माध्यम से फ़ाइलों को पढ़ना और लिखना संभव है।

सेटअप और उपयोग

आवश्यक पैकेज स्थापित करें, और रनटाइम को पुनरारंभ करें

try:
  %tensorflow_version 2.x 
except Exception:
  pass

!pip install tensorflow-io

अज़ूराइट स्थापित और सेटअप करें (वैकल्पिक)

यदि कोई Azure संग्रहण खाता उपलब्ध नहीं है, तो Azure संग्रहण इंटरफ़ेस का अनुकरण करने वाले Azure को स्थापित और सेटअप करने के लिए निम्नलिखित की आवश्यकता होती है:

npm install azurite@2.7.0

[K[?25hnpm WARN deprecated request@2.87.0: request has been deprecated, see https://github.com/request/request/issues/3142
[K[?25hnpm WARN saveError ENOENT: no such file or directory, open '/content/package.json'
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN enoent ENOENT: no such file or directory, open '/content/package.json'
npm WARN content No description
npm WARN content No repository field.
npm WARN content No README data
npm WARN content No license field.

+ azurite@2.7.0
added 116 packages from 141 contributors in 6.591s

# The path for npm might not be exposed in PATH env,
# you can find it out through 'npm bin' command
npm_bin_path = get_ipython().getoutput('npm bin')[0]
print('npm bin path: ', npm_bin_path)

# Run `azurite-blob -s` as a background process. 
# IPython doesn't recognize `&` in inline bash cells.
get_ipython().system_raw(npm_bin_path + '/' + 'azurite-blob -s &')

npm bin path:  /content/node_modules/.bin

TensorFlow के साथ Azure संग्रहण में फ़ाइलें पढ़ें और लिखें

TensorFlow's API के साथ Azure संग्रहण में फ़ाइलों को पढ़ने और लिखने का एक उदाहरण निम्नलिखित है।

यह TensorFlow में अन्य फ़ाइल सिस्टम (जैसे, POSIX या GCS) एक बार के रूप में एक ही तरह से व्यवहार करती है tensorflow-io पैकेज आयात किया जाता है, के रूप में tensorflow-io स्वचालित रूप से दर्ज किए जाएंगे azfs उपयोग के लिए योजना।

Azure संग्रहण कुंजी के माध्यम से प्रदान की जानी चाहिए TF_AZURE_STORAGE_KEY पर्यावरण चर। अन्यथा TF_AZURE_USE_DEV_STORAGE करने के लिए सेट किया जा सकता है True बजाय Azurite एमुलेटर उपयोग करने के लिए:

import os
import tensorflow as tf
import tensorflow_io as tfio

# Switch to False to use Azure Storage instead:
use_emulator = True

if use_emulator:
  os.environ['TF_AZURE_USE_DEV_STORAGE'] = '1'
  account_name = 'devstoreaccount1'
else:
  # Replace <key> with Azure Storage Key, and <account> with Azure Storage Account
  os.environ['TF_AZURE_STORAGE_KEY'] = '<key>'
  account_name = '<account>'

  # Alternatively, you can use a shared access signature (SAS) to authenticate with the Azure Storage Account
  os.environ['TF_AZURE_STORAGE_SAS'] = '<your sas>'
  account_name = '<account>'

pathname = 'az://{}/aztest'.format(account_name)
tf.io.gfile.mkdir(pathname)

filename = pathname + '/hello.txt'
with tf.io.gfile.GFile(filename, mode='w') as w:
  w.write("Hello, world!")

with tf.io.gfile.GFile(filename, mode='r') as r:
  print(r.read())

Hello, world!

विन्यास

TensorFlow में Azure ब्लॉब संग्रहण का कॉन्फ़िगरेशन हमेशा पर्यावरण चर के माध्यम से किया जाता है। नीचे उपलब्ध कॉन्फ़िगरेशन की पूरी सूची है:

  • TF_AZURE_USE_DEV_STORAGE : ': //devstoreaccount1/container/file.txt az' 1 करने के लिए सेट की तरह कनेक्शन के लिए स्थानीय विकास भंडारण एमुलेटर उपयोग करने के लिए। यह अन्य सभी सेटिंग्स पर precendence ले जाएगा तो unset किसी अन्य कनेक्शन का उपयोग करने
  • TF_AZURE_STORAGE_KEY : उपयोग में भंडारण खाते का खाता कुंजी
  • TF_AZURE_STORAGE_USE_HTTP : किसी भी मूल्य पर सेट करें अगर आप https हस्तांतरण का उपयोग नहीं करना चाहते हैं। unset https का डिफ़ॉल्ट उपयोग करने के लिए
  • TF_AZURE_STORAGE_BLOB_ENDPOINT : ब्लॉब भंडारण के अंतिम बिंदु पर सेट करें - डिफ़ॉल्ट है .core.windows.net ।