VictoriaMetrics vmagent的一些介绍

2022-03-24 15:08:38

以前有简单说明过vmagent，实际上vmagent可以替代我们做好多事情.以下是一个说明

vmagent的作用

主要目的是实现metrics 的收集然后存储到VictoriaMetrics以及prometheus兼容的存储系统（主要支持remote_write 协议即可，有好多实现）
同时一个好处是实现了metrics 的push，而不是prometheus 的pull（比如无法pull 的场景）

替换prometheus 的scraping target（比如node export）
基于prometheus relabeling 的模式添加，移除，修改labels ，可以方便在数据发送到远端存储之前进行数据的过滤
支持多种数据协议，influx line 协议，grapgite 文本协议，opentsdb 协议，prometheus remote write 协议，json lines协议，csv 数据
支持收集数据的同时，并复制到多种远端存储系统
支持不可靠远端存储（通过本地存储 -remoteWrite.tmpDataPath ),同时支持大磁盘占用
相比prometheus使用较少的内存，cpu,磁盘io，以及网络带宽

/path/to/vmagent -promscrape.config=/path/to/prometheus.yml -remoteWrite.url=https://victoria-metrics-host:8428/api/v1/write

配置说明
类似prometheus，主要使用了global以及scrape_configs，注意remote_write 会被忽略，应该使用-remoteWrite.* 替换
scrape_config 支持的配置

- static_configs -  静态配置

- file_sd_configs - 基于文件的服务发现

- kubernetes_sd_configs -  k8s 服务发现

- ec2_sd_configs -  ec2 服务发现

- gce_sd_configs - gce_sd 服务发现

- dns_sd_configs - consul 服务发现

支持的模式为

replace_all：替换的所有OCCURENCES regex中的值source_labels与replacement和结果存储在target_label。

labelmap_all：将所有regex标签名称中所有出现的内容替换

在文件promscrape.config scrape_config -> relabel_configs部分。此重新标记将应用于目标标签。

在文件promscrape.config scrape_config -> metric_relabel_configs部分。此重新标记将应用于给定中的所有已抓取指标scrape_config。

在-remoteWrite.relabelConfig文件。在将所有收集到的度量标准发送到远程存储之前，会将其重新贴标签。

在-remoteWrite.urlRelabelConfig文件。将此重新标记应用于发送到相应的-remoteWrite.url

vmagent 暴露了一些metrics 以及 http://vmagent-host:8429/targets 方便查看target

推荐增加ulimit 限制
当住区大量不可达target的时候会有错误提示，可以通过-promscrape.suppressScrapeErrors 命令行参数禁止
推荐增加-remoteWrite.queues 对于如果有超过10万的采样，我们可以通过暴露的vmagent_remotewrite_pending_data_bytes metrics查看
vmagent 支持数据的本地cache，好多时候对于大量数据可能会有磁盘空间的问题，我们可以通过-remoteWrite.maxDiskUsagePerURL 参数调整