Эта страница переведена с помощью Cloud Translation API.
Switch to English

Загрузить метрики с сервера Prometheus

Посмотреть на TensorFlow.org Запускаем в Google Colab Посмотреть исходный код на GitHub Скачать блокнот

Обзор

Это руководство загружает метрики CoreDNS с сервера Prometheus вtf.data.Dataset , а затем использует tf.keras для обучения и вывода.

CoreDNS - это DNS-сервер, ориентированный на обнаружение сервисов, который широко используется как часть кластера Kubernetes . По этой причине сотрудники DevOps часто внимательно следят за ним.

Это руководство является примером, который может быть использован DevOps, стремящимся к автоматизации своих операций с помощью машинного обучения.

Настройка и использование

Установите необходимый пакет tensorflow-io и перезапустите среду выполнения.

import os
try:
  %tensorflow_version 2.x
except Exception:
  pass
TensorFlow 2.x selected.

pip install tensorflow-io
from datetime import datetime

import tensorflow as tf
import tensorflow_io as tfio

Установите и настройте CoreDNS и Prometheus

В демонстрационных целях: локальный сервер CoreDNS с открытым портом 9053 для приема DNS-запросов и 9153 портом 9153 (по умолчанию) для предоставления метрик для очистки. Следующая базовая конфигурация Corefile для CoreDNS доступна для загрузки :

.:9053 {
  prometheus
  whoami
}

Более подробную информацию об установке можно найти в документации CoreDNS.

curl -s -OL https://github.com/coredns/coredns/releases/download/v1.6.7/coredns_1.6.7_linux_amd64.tgz
tar -xzf coredns_1.6.7_linux_amd64.tgz

curl -s -OL https://raw.githubusercontent.com/tensorflow/io/master/docs/tutorials/prometheus/Corefile

cat Corefile
.:9053 {
  prometheus
  whoami
}

# Run `./coredns` as a background process.
# IPython doesn't recognize `&` in inline bash cells.
get_ipython().system_raw('./coredns &')

Следующим шагом является настройка сервера Prometheus и использование Prometheus для очистки метрик CoreDNS, которые отображаются на порту 9153 сверху. Также для загрузки доступен файл prometheus.yml для настройки:

curl -s -OL https://github.com/prometheus/prometheus/releases/download/v2.15.2/prometheus-2.15.2.linux-amd64.tar.gz
tar -xzf prometheus-2.15.2.linux-amd64.tar.gz --strip-components=1

curl -s -OL https://raw.githubusercontent.com/tensorflow/io/master/docs/tutorials/prometheus/prometheus.yml

cat prometheus.yml
global:
  scrape_interval:     1s
  evaluation_interval: 1s
alerting:
  alertmanagers:

  - static_configs:
    - targets:
rule_files:
scrape_configs:
- job_name: 'prometheus'
  static_configs:
  - targets: ['localhost:9090']
- job_name: "coredns"
  static_configs:
  - targets: ['localhost:9153']

# Run `./prometheus` as a background process.
# IPython doesn't recognize `&` in inline bash cells.
get_ipython().system_raw('./prometheus &')

Чтобы продемонстрировать некоторую активность, команду dig можно использовать для генерации нескольких DNS-запросов к настроенному серверу CoreDNS:

sudo apt-get install -y -qq dnsutils
dig @127.0.0.1 -p 9053 demo1.example.org

; <<>> DiG 9.11.3-1ubuntu1.11-Ubuntu <<>> @127.0.0.1 -p 9053 demo1.example.org
; (1 server found)
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 53868
;; flags: qr aa rd; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 3
;; WARNING: recursion requested but not available

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
; COOKIE: 855234f1adcb7a28 (echoed)
;; QUESTION SECTION:
;demo1.example.org.     IN  A

;; ADDITIONAL SECTION:
demo1.example.org.  0   IN  A   127.0.0.1
_udp.demo1.example.org. 0   IN  SRV 0 0 45361 .

;; Query time: 0 msec
;; SERVER: 127.0.0.1#9053(127.0.0.1)
;; WHEN: Tue Mar 03 22:35:20 UTC 2020
;; MSG SIZE  rcvd: 132


dig @127.0.0.1 -p 9053 demo2.example.org

; <<>> DiG 9.11.3-1ubuntu1.11-Ubuntu <<>> @127.0.0.1 -p 9053 demo2.example.org
; (1 server found)
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 53163
;; flags: qr aa rd; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 3
;; WARNING: recursion requested but not available

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
; COOKIE: f18b2ba23e13446d (echoed)
;; QUESTION SECTION:
;demo2.example.org.     IN  A

;; ADDITIONAL SECTION:
demo2.example.org.  0   IN  A   127.0.0.1
_udp.demo2.example.org. 0   IN  SRV 0 0 42194 .

;; Query time: 0 msec
;; SERVER: 127.0.0.1#9053(127.0.0.1)
;; WHEN: Tue Mar 03 22:35:21 UTC 2020
;; MSG SIZE  rcvd: 132


Теперь сервер CoreDNS, метрики которого обрабатываются сервером Prometheus и готовы к использованию TensorFlow.

Создайте набор данных для метрик CoreDNS и используйте его в TensorFlow

Создать набор данных для метрик CoreDNS, доступных с сервера PostgreSQL, можно с помощьюtfio.experimental.IODataset.from_prometheus . Как минимум необходимы два аргумента. query передается на сервер Prometheus для выбора показателей, а length - это период, который вы хотите загрузить в набор данных.

Вы можете начать с "coredns_dns_request_count_total" и "5" (секунд), чтобы создать набор данных ниже. Поскольку ранее в этом руководстве было отправлено два DNS-запроса, ожидается, что метрика для "coredns_dns_request_count_total" будет "2.0" в конце временного ряда:

dataset = tfio.experimental.IODataset.from_prometheus(
      "coredns_dns_request_count_total", 5, endpoint="http://localhost:9090")


print("Dataset Spec:\n{}\n".format(dataset.element_spec))

print("CoreDNS Time Series:")
for (time, value) in dataset:
  # time is milli second, convert to data time:
  time = datetime.fromtimestamp(time // 1000)
  print("{}: {}".format(time, value['coredns']['localhost:9153']['coredns_dns_request_count_total']))
Dataset Spec:
(TensorSpec(shape=(), dtype=tf.int64, name=None), {'coredns': {'localhost:9153': {'coredns_dns_request_count_total': TensorSpec(shape=(), dtype=tf.float64, name=None)} } })

CoreDNS Time Series:
2020-03-03 22:35:17: 2.0
2020-03-03 22:35:18: 2.0
2020-03-03 22:35:19: 2.0
2020-03-03 22:35:20: 2.0
2020-03-03 22:35:21: 2.0

Дальнейшее изучение спецификации набора данных:

(
  TensorSpec(shape=(), dtype=tf.int64, name=None),
  {
    'coredns': {
      'localhost:9153': {
        'coredns_dns_request_count_total': TensorSpec(shape=(), dtype=tf.float64, name=None)
      }
    }
  }
)

Очевидно, что набор данных состоит из кортежа (time, values) где поле values представляет собой Python dict, расширенный до:

"job_name": {
  "instance_name": {
    "metric_name": value,
  },
}

В приведенном выше примере 'coredns' - это имя задания, 'localhost:9153' - имя экземпляра, а 'coredns_dns_request_count_total' - имя метрики. Обратите внимание, что в зависимости от используемого запроса Prometheus может быть возвращено несколько заданий / экземпляров / показателей. Это также причина, по которой python dict был использован в структуре набора данных.

В качестве примера возьмем другой запрос "go_memstats_gc_sys_bytes" . Так как CoreDNS и Прометей написаны в Golang, "go_memstats_gc_sys_bytes" Метрика доступна как для "coredns" работы и "prometheus" работы:

dataset = tfio.experimental.IODataset.from_prometheus(
    "go_memstats_gc_sys_bytes", 5, endpoint="http://localhost:9090")

print("Time Series CoreDNS/Prometheus Comparision:")
for (time, value) in dataset:
  # time is milli second, convert to data time:
  time = datetime.fromtimestamp(time // 1000)
  print("{}: {}/{}".format(
      time,
      value['coredns']['localhost:9153']['go_memstats_gc_sys_bytes'],
      value['prometheus']['localhost:9090']['go_memstats_gc_sys_bytes']))
Time Series CoreDNS/Prometheus Comparision:
2020-03-03 22:35:17: 2385920.0/2775040.0
2020-03-03 22:35:18: 2385920.0/2775040.0
2020-03-03 22:35:19: 2385920.0/2775040.0
2020-03-03 22:35:20: 2385920.0/2775040.0
2020-03-03 22:35:21: 2385920.0/2775040.0

Созданный Dataset готов для tf.keras непосредственно в tf.keras для целей обучения или вывода.

Используйте набор данных для обучения модели

Создав набор данных метрик, можно напрямую передать набор данных в tf.keras для обучения модели или вывода.

В демонстрационных целях в этом руководстве в качестве входных данных будет использоваться очень простая модель LSTM с 1 функцией и 2 шагами:

n_steps, n_features = 2, 1
simple_lstm_model = tf.keras.models.Sequential([
    tf.keras.layers.LSTM(8, input_shape=(n_steps, n_features)),
    tf.keras.layers.Dense(1)
])

simple_lstm_model.compile(optimizer='adam', loss='mae')

Используемый набор данных - это значение go_memstats_sys_bytes для CoreDNS с 10 выборками. Однако, поскольку формируется скользящее окно window=n_steps и shift=1 , необходимы дополнительные выборки (для любых двух последовательных элементов первый принимается как x а второй - как y для обучения). Итого 10 + n_steps - 1 + 1 = 12 секунд.

Значение данных также масштабируется до [0, 1] .

n_samples = 10

dataset = tfio.experimental.IODataset.from_prometheus(
    "go_memstats_sys_bytes", n_samples + n_steps - 1 + 1, endpoint="http://localhost:9090")

# take go_memstats_gc_sys_bytes from coredns job 
dataset = dataset.map(lambda _, v: v['coredns']['localhost:9153']['go_memstats_sys_bytes'])

# find the max value and scale the value to [0, 1]
v_max = dataset.reduce(tf.constant(0.0, tf.float64), tf.math.maximum)
dataset = dataset.map(lambda v: (v / v_max))

# expand the dimension by 1 to fit n_features=1
dataset = dataset.map(lambda v: tf.expand_dims(v, -1))

# take a sliding window
dataset = dataset.window(n_steps, shift=1, drop_remainder=True)
dataset = dataset.flat_map(lambda d: d.batch(n_steps))


# the first value is x and the next value is y, only take 10 samples
x = dataset.take(n_samples)
y = dataset.skip(1).take(n_samples)

dataset = tf.data.Dataset.zip((x, y))

# pass the final dataset to model.fit for training
simple_lstm_model.fit(dataset.batch(1).repeat(10),  epochs=5, steps_per_epoch=10)
Train for 10 steps
Epoch 1/5
10/10 [==============================] - 2s 150ms/step - loss: 0.8484
Epoch 2/5
10/10 [==============================] - 0s 10ms/step - loss: 0.7808
Epoch 3/5
10/10 [==============================] - 0s 10ms/step - loss: 0.7102
Epoch 4/5
10/10 [==============================] - 0s 11ms/step - loss: 0.6359
Epoch 5/5
10/10 [==============================] - 0s 11ms/step - loss: 0.5572

<tensorflow.python.keras.callbacks.History at 0x7f1758f3da90>

Обученная модель, приведенная выше, в действительности не очень полезна, поскольку сервер CoreDNS, который был настроен в этом руководстве, не имеет никакой рабочей нагрузки. Однако это рабочий конвейер, который можно использовать для загрузки метрик с настоящих производственных серверов. Затем модель может быть улучшена для решения реальной проблемы автоматизации DevOps.