自定义的云中监控预警体系初探

AWS Config(二)---EC2 本文任务: 创建一个config,选择其中一个EC2的AMI做为标杆,其他EC2若是不符合这个标杆的配置,那么会显示为noncompliance。如果经过你的更改,符合了,你可以在config页面选择 re-evaluate 1. AWS Config页面新建一个config 2. AWS EC2 (1)AWS EC2页面对现有的instance创建image (2)然后选择左侧导航栏的... 阅读详情

1.概述

  有人说,云计算拼的就是运维能力。随着云平台规模的不断扩大,运维的难度也呈直线上升,云平台的监控预警系统变得越来越重要。

  提到监控预警系统,很多人的第一反应就是:可通过各种图表查看各个监控项的状态;可对监控项设置警报,达到一定阀值时告警,能通过邮件、短信等方式通知到管理员,等等。

  这些确实是大多数监控系统的基本功能,但对于传统的监控系统,更倾向于发现问题,通知管理员处理。在云计算的时代,监控能否做得更多呢?下面我将为大家介绍一下品高云的监控系统。

  品高云作为一个自主研发的,遵循亚马逊接口标准的云平台,其监控系统也不例外。品高云的监控系统,即云监控服务,在兼容亚马逊CloudWatch接口的基础上,作了大量的优化与扩展,方便管理员和用户的使用。

2.自定义的云监控系统

  作为监控系统,首先要确定监控的内容,即监控指标。每一种云资源都会有内置的一些监控指标,如实例的CPU使用率、网络I/O;存储卷的磁盘I/O,读写操作数,等等。管理员可查看、管理云平台的各项监控指标。
  
图1
(图: 监控设置)

  如果云平台内置监控指标不能满足需求,怎么办呢?没关系,我们支持自定义监控指标。只需要按要求撰写好数据采集脚本、新建监控指标即可。

  下面以监控MySQL连接数为例,展示如何在品高云监控服务自定义指标:

1.撰写数据采集脚本,并由管理员上传到云平台指定目录:
图2
(图: 脚本)

2.新建监控指标,填写相关参数:
图3
(图: 新建指标)

  数据采集脚本是在哪里运行的呢?这与监控指标的设置有关。监控指标的收集方式包括ec2config和controller。

ec2config是内置在云平台镜像里面的一个程序,可与云平台交互,实现更多的功能。收集方式选择ec2config,即是由该程序在实例内部运行采集脚本,并通过特定的URL汇报到云平台。

controller,即由云平台物理机运行采集脚本。

  自定义监控指标默认都通过ec2config采集数据。

  定义好监控指标,云平台便会根据设定定时去收集、汇总数据。我们可以到各个资源的详情页面,查看该资源相关指标的监控数据。

图4
(图: 监控图表)

  有监控数据只是第一步,我们要如何利用这些数据去完成更多的操作呢?答案就是:监控警报。

  对于亚马逊CloudWatch,一个监控警报只对应一个云资源的一个监控指标;如果想监控100个实例的CPU使用率,必须重复建100遍。

  品高云对此作出改进,将监控警报拆分为警报定义跟监控项。警报定义包括警报类型、触发条件、触发操作等通用定义,与具体云资源无关。

图5
(图:新建警报)

  如果警报类型选择的是任意实例、任意主机,则无需其他操作,警报自动对所有实例、主机(包括后续新建的)生效。

  如果不是针对任意资源的警报,则还需要创建监控项,选择具体需要监控的资源,绑定到相关的警报。

图6
(图: 新建监控项)

  新建监控项时,还可以定义触发操作。要注意的是:定义在监控警报的操作是通用的触发操作,所有绑定到该警报的资源都会触发;定义在监控项的操作则只对该监控项对应的资源生效。

  监控警报能触发的操作,目前主要包括三种:

  1.平台消息: 警报触发后,往云平台发送消息,用户登录时可以看到。
图7
(图:平台消息)

  2.发送SNS主题: SNS即云平台的另一个服务:简单通知服务。用法是:根据需要创建一个SNS消息主题,当监控警报触发时,将向该主题发布消息。

  一个SNS消息主题可以添加多个消息订阅。订阅方式可以是Email、Email-JSON或HTTP。当有人向消息主题发布消息时,所有已确认的订阅者都能收到消息。

  如果是Email、Email-JSON的订阅者,将收到邮件通知;如果是HTTP订阅者,将收到POST请求(消息内容为JSON格式),用户可根据需要作进一步的处理。
图8
(图:SNS订阅)

  3.触发弹性策略: 弹性策略与云平台另一个服务:弹性伸缩服务有关。

  弹性伸缩服务可以让用户创建弹性组,通过指定启动配置(包括使用的镜像,网络,是否使用负载均衡),最小、最大及当前需要的实例个数等来创建一组云资源。

  服务本身会对实例进行健康检查,确保健康的实例数量达到设置的需要值; 通过定义弹性策略加、减实例,再与云监控服务结合,达到通过监控数据的变化动态改为需要实例个数的目的。
图9
(图:弹性策略)

  一个较为经典的应用场景是: 以弹性组的方式部署一批WEB服务器,通过负载均衡对外提供服务。

  对弹性组实例的平均网络连接数建立两个警报:

  当并发连接数达到一个较高值时,触发添加实例的弹性策略增强处理能力;当并发连接数下降到一个较低值时,触发减少实例的弹性策略以节约资源,从而实现自动根据负载情况自动伸缩资源。

  上述功能所有云平台用户都能使用。除此之外,品高云还有大量方便云平台管理员运维使用的功能:

  监控TOP:可以根据不同的监控指标,查看最近一段时间哪些资源该项指标最高,从而协助快速定位、排查问题;
图10
(图:监控top)

  云平台监控:针对云平台各项资源使用率的监控,可根据使用率及其历史数据的走势,评估云平台是否需要扩容,要扩多大;
图11
(图:云平台监控)

  服务状态监控:针对云平台各项服务的健康状态的监控,可结合监控警报,在服务出现异常时第一时间通知管理员;
图12
(图:服务状态监控)

  资源监控:从计算、存储、网络三个层面监控资源使用情况。

图13
(图: 资源监控)

  平台综合评分: 从健康、风险、效率三个维度对云平台资源使用情况进行评分,并可查看各物理主机的资源使用率、资源富裕、不足的物理主机。
图14
(图:平台综合评分)

图15
(图:主机资源使用率)

  报表模块: 通过用户、服务、服务组、标签、软件使用情况等维度,了解云平台资源的使用情况,并可导出报表,方便运维人员的工作汇报。
图16
(图:用户报表)

3.下一步的优化改进计划

  品高云监控服务现有的功能就介绍到这里。后续还会不断地优化改进监控服务,计划中的功能包括:

  • 通过同一个入口快速查看不同资源的不同的监控指标的监控图表,可以在同一张图表横向对比多个指标的;

  • 提供更多的监控维度,如云平台事件,资源状态变化,等等;

  • 提供更多的触发操作,如存储卷扩容、更改网络带宽、迁移实例等等,让云平台更加自动、智能,减少运维压力。

华为OD机考双机位C卷 - 打印机队列 (Java & Python& JS & C/C++ & GO ) 华为OD机考双机位C卷 - 打印机队列 阅读详情

相关推荐

双有源桥(DAB)进阶:EPS调制策略与Matlab/Simulink仿真实践

本文深入探讨了双有源桥(DAB)的扩展移相(EPS)调制策略及其在Matlab/Simulink中的仿真实践。通过分析EPS的两种黄金调制策略——回流功率消除和电流应力优化,结合实际工程案例,展示了如何提升DAB系统的效率和性能。文章还详细介绍了Simulink模型搭建要点和关键仿真结果,为工程师提供了实用的技术参考。

weixin_33734785的博客 485

Cloudinit如何判断虚拟机为初始化状态

Cloudinit简介 cloudinit是专为云环境中虚拟机的初始化而开发的工具,它从各种数据源读取相关数据并据此对虚拟机进行配置。常见的数据源包括:云平台的metadata服务、ConfigDrive等,常见的配置包括:设定虚拟机的hostname、hosts文件、设定用户名密码、更新apt-get的本地缓存、调整文件系统的大小等。 Cloudinit数据源 Cloud-init g

longgeQ1993的专栏 4077

HomeAssistant+HACS实战:5分钟搞定米家设备接入(附HomeKit配置技巧)

本文详细介绍了如何通过HomeAssistant和HACS插件商店快速接入米家设备,并分享HomeKit配置技巧。从HACS安装到米家设备接入,再到HomeKit设备集成,提供一站式智能家居解决方案,帮助用户实现设备统一管理和自动化场景设置。

weixin_29192141的博客 1054

Cloudinit简介

Cloudinit如何判断虚拟机为初始化状态 Cloudinit简介 cloudinit是专为云环境中虚拟机的初始化而开发的工具,它从各种数据源读取相关数据并据此对虚拟机进行配置。常见的数据源包括:云平台的metadata服务、ConfigDrive等,常见的配置包括:设定虚拟机的hostname、hosts文件、设定用户名密码、更新apt-get的本地缓存、调整文件系统的大小等。 Cloudinit数据源 Cloud-init github仓库地址:https://github.com/cloud-ini

Nicholas的专栏 8406

从隐式求解器到显式求解器:COMSOL接触仿真中的求解策略对比与选择

本文深度解析了COMSOL中隐式与显式求解器在接触仿真中的应用与选择策略。针对非线性接触问题的核心挑战,详细对比了两种求解器的数学框架、优化技术及适用场景,并提供了参数调优和调试技巧,帮助工程师高效解决接触仿真中的收敛问题。

weixin_28347369的博客 682

ANSYS Help USER300

USER 300概述单元描述输入数据假设与限制条件 概述 单元描述 Mechanical APDL提供了一种方便的方法来创建自定义的单元,命名为USER300,可以创建几乎任何单元类型。 UserElem子程序为Mechanical APDL在单元类型创建上提供了一个接口,可传递用户自定义单元创建时所需的所有数据,然后从自定义单元返回所有数据和结果,以更新数据库和文件。因为通过接口可以访问数据库和文件信息,所以很少需要了解Mechanical APDL数据库程序和文件结构。该接口还提供了获取Mechanic

weixin_47019765的博客 2236

自定义钉钉机器人实现预警推送

注:本文代码适用于Java环境。可直接使用。 背景 在实际的开发过程当中,有时候在一些特殊的地方,比如请求第三方接口,连接第三方中间件等过程中,总是会碰到一些莫名其妙的报错问题,要想让程序报错时及时通知到开发人员,最简单的实现方式之一,则可采用阿里的钉钉群进行自定义机器人进行通知。 成果展示 可以通过钉钉群自定义的群机器人,艾特相关的技术人员关注某些特定的业务执行过程或者及时处理某些异常报错接口。...

宋发元 1万+

uniapp(微信小程序) - 实现uniapp小程序电子签名板,横屏手写姓名签名专用写字画板,客户专用签字板,手写签名签字画板组件,手写签名,(详细运行示例,一键复制开箱即用)

uniapp实现微信小程序的电子签名效果,uniapp微信小程序 电子签名 写字板,用uniapp实现微信小程序的电子签名,uniapp微信小程序canvans实现手写签名,记录一个uniapp写的小程序的手写板,横屏,用于签名,unniapp实现电子签名,uniapp怎么做横屏的手写签名,uniapp如何实现签字板,uniapp小程序平台下怎么做电子签名板组件,uniapp电子签名插件,uniapp最好用的电子写字板插件组件源码,实现uniapp 手写签名功能,手写板、签字板,uni-app插件市场最好的

✅ 精选推荐文章 1万+

[AHK]一键运行/关闭脚本的循环

;Toggle: Press once to activate, press again to turn it off #maxThreadsPerHotkey, 2 setKeyDelay, 50, 50 setMouseDelay, 50 banana:=0 $f1:: ; banana:=!banana .... This assigns banana to the value o

liuyukuan的专栏 1万+

LeRobot 入门教程(一)软件环境、部署流程及摄像头配置

🤖 LeRobot:开源机器人学习平台 摘要:LeRobot是一个基于PyTorch的开源机器人学习平台,提供模型、数据集和工具,旨在降低机器人技术门槛。平台包含经过验证的模仿学习和强化学习方法,并提供预训练模型、人类演示数据集及模拟环境。安装需从源码获取,支持Python 3.10环境,可选扩展包括仿真环境(如gym-aloha)、电机控制(Dynamixel/Feetech SDK)和实验跟踪(Weights & Biases)。该平台托管在HuggingFace,并设有社区Discord频道

2506_90492529的博客 3421

全覆盖路径规划开源项目Clean-robot-turtlebot3关键函数解析(上)

本系列文章主要介绍全覆盖路径规划开源项目Clean-robot-turtlebot3的相关内容,包含如下四篇文章,分别介绍了开源项目Clean-robot-turtlebot3流程的概括总结、ROS坐标系常用坐标及其变换、Clean-robot-turtlebot3关键函数解析等内容。

慕羽★的博客 2779

电商高并发系统架构优化:云中间件实战解析

消息队列和分布式数据库是现代高并发系统的核心技术组件。消息队列通过解耦服务间的同步调用,实现异步事件驱动架构,显著提升系统吞吐量;分布式数据库则通过分库分表策略解决单机性能瓶颈。在电商促销等高并发场景下,合理选用云中间件如阿里云Kafka和RDS,不仅能获得弹性扩容、自动运维等托管优势,还能实现60%以上的延迟降低。本文以日均500万请求的电商系统改造为例,详细解析如何通过消息链路异步化、热点数据缓存、熔断降级等工程实践,将系统失败率从38%降至0.2%,同时资源消耗降低50%。

weixin_30430169的博客 381

Qt代码-无人机地面站系统

无人机地面站系统是无人机与操作员交互的核心枢纽,需实现**无人机状态监控**(位置、姿态、电池等)、**实时通信**(基于MAVLink协议)、**任务规划**(航点编辑、航线生成)、**地图显示**(无人机位置与航迹)、**参数配置**(传感器校准、飞行模式设置)等核心功能。地面站作为`MAV_COMP_ID_GCS`(地面控制站组件ID=255),无人机通常为`MAV_COMP_ID_AUTOPILOT1`(组件ID=1)。// 航点/盘旋指令。// 北京坐标(示例)

寒寒豆豆软件公司的博客 327

文件云中的安全传输:数据保护的新策略

同时,加密技术还能对数据的完整性进行验证,通过数字签名等手段,接收方可以确认数据在传输过程中未被篡改,有效防止了数据被恶意修改的风险,为数据在文件云中的安全传输提供了坚实可靠的护盾。通过加密技术、安全通道建设、严格的身份验证、精准的访问控制以及实时监控与预警等多种手段的协同作用,我们能够构建起一个坚实可靠的数据传输安全体系,确保文件云中的数据在传输过程中得到充分的保护,为企业和个人的数字化生活提供安心、稳定、安全的环境,让文件云服务在数据安全的保障下更好地服务于社会的发展和进步。

weixin_53838091的博客 455

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

让云中安全成为企业创新助推器 构建“洋葱”式多层防护

在相关的安全服务方面,AmazonIdentityandAccessManagement(AmazonIAM)是身份认证与访问控制的核心服务,以细颗粒度的身份认证与访问控制机制,结合对安全事件的持续监控和精准的安全权限设置,保障正确资源被相应正确人员访问。为避免用户在合规审计与评估中消耗过多成本,亚马逊云科技提供AmazonAuditManager,可自动扫描、搜集证据,还提供了各种合规认证的模板,简化合规审计的证据收集工作,实现高效的自动化合规审计与评估。...

科技峰行者的博客 533

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

雷电预警系统全解析,三类技术助你精准防范

此外,规范强调,雷电预警系统不能替代雷电保护装置,它由雷电探测模块、数据处理模块和应用终端等组成,需具备实时监测地面雷电特征参数、提供雷电临近预警(涵盖预警级别、时间、区域及解除信息)以及统计查询雷电历史数据等功能。基于闪电定位的预警系统:首雷无法预警,探测率和准确率低,理论定位精度1公里内,实际误差常超3公里,警报持续时间较长,影响企业效率,价格较高,适合数十千米范围的城市预警。场磨式雷电预警系统:能探测雷电全生命周期(初始、成长、成熟、消散),测量精度高、不漏报,预警时效达30分钟,适用于小范围预警。

EYZAO的博客 812

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

供应商风险预警不再是“事后诸葛亮“:“龙虾”+鲸采云实战拆解

当开源AI智能体OpenClaw(业内昵称“小龙虾”)的遇上鲸采云SRM数字化采购管理系统的,企业供应商风险防控实现了从“事后补救”到“事前预判、事中监控、智能处置”的颠覆性升级。OpenClaw作为可深度对接系统、自主执行任务的AI数字员工,破解了传统采购风险预警中“数据割裂、响应滞后、人工低效”的痛点,与鲸采云的采购全链路数字化体系深度融合,构建起一套数据驱动、智能联动、闭环管控的供应商风险预警体系,让风险防控真正走在问题发生之前。

Srm_2025的博客 544

DevOps在云中的K0s

我们在生产环境配置时,通过k0s config create生成定制化配置,把serviceAccount的token请求改成projected类型,完美避过了以前经常遇到的凭证泄露问题。更省心的是它内置的Calico网络插件,直接通过IPIP模式打通了不同云厂商的VPC网络,省去了买专线网关的费用。最近我们甚至用它来管理边缘计算节点,在树莓派上跑K0s worker节点,通过云上的控制平面统一管理,这种架构在物联网项目中特别受欢迎。这些经验让我意识到,再好的工具也要结合云平台特性来调整配置。

2509_93945680的博客 307

如何在云中监控跨应用和服务的网络流量?

**Cloud Security Posture Management (CSPM):** 通过在云端设置安全基线并与 CMDB 相结合的方式自动发现和应对安全问题。* **F5 Big-IP:** F5 提供了一个名为 Big-IP 的应用程序交付控制器(ADC),可以检测和防止网络流量中的恶意活动和入侵尝试。* **Wireshark:** Wireshark 是一个广泛使用的免费开源网络抓包与分析软件,适用于 Windows、Mac 和 Linux 等平台上的网络故障排除和安全审计等多种场景。

图幻未来的博客 461

不仅仅是监控:当政务云学会“主动思考”,运维人力成本能降低多少?

根据中国信通院发布的数字政府建设报告,高质量的数字政府建设在推进过程中需要加强集约化建设,并提出数字政府建设需要“分层分类推进、完善标准体系、长效运维机制”等建议,这表明运维能力已成为政务云体系的重要组成部分。用户规模的快速增长,到“集约化、高效化、智能化”的数字政府建设要求,政务云不仅体现在资源整合与服务支撑,更成为政府业务连续性、服务体验提升以及AI驱动智能治理的核心支撑平台。,尤其对于跨系统、跨部门、跨业务链的政务服务平台来说,如何实现稳定、高效、智能的运维,是决定云平台运行质量的核心因素。

xinyuan82的博客 251

AI 时代政务云安全治理:构建可信可控的治理体系

AI时代政务云安全治理新挑战与应对策略 随着AI智能体在政务云中的广泛应用,传统安全治理模式面临严峻挑战。本文指出AI智能体带来的核心风险包括行为不透明、权限管理缺失和风险扩散等问题,而传统基于边界防护和静态访问控制的安全策略已难以有效应对。为此,文章提出可信AI安全治理框架,包含四大核心能力:身份与权限治理、全链路行为可视化、风险预测与态势感知、策略自动化执行闭环。通过某省级政务云实践案例,验证了该框架在降低安全事件率、提升审计效率方面的显著成效。研究为政务云在AI时代构建可信可控的治理体系提供了重要参考

2601_94992642的博客 134

数据安全 大数据时代,如何有效预防数据泄露?_具备数据防泄监测预警措施

在这些关键环节中的安全威胁类型包括:不恰当的访问控制、分布式拒绝服务 (DDoS) 攻击、生成虚假或恶意数据的端点,或在大数据工作负载期间使用的库、框架和应用程序中的漏洞。这个过程需要经验丰富的网络安全分析师,利用来自现实世界的攻击、威胁活动的情报或来自不同安全工具的相关发现,制定关于潜在威胁的假设。在复杂的大数据生态系统中,加密的安全性需要一种集中的密钥管理方法,以确保对加密密钥进行有效的策略驱动处理。在大数据管道中,数据接收来源很多,且有恒定流量,其中包括来自社交媒体平台的数据和来自用户端点的数据。

2401_84181975的博客 484

云关系型数据库(Relational Database Service,RDS)

云关系型数据库(Relational Database Service,RDS) https://support.huaweicloud.com/rds/inde...

小麦苗DBA宝典 2999

tableau指标预警_如何使用Tableau分析敏捷,开发和网站指标

tableau指标预警 开发人员在设计,开发,测试,部署和管理应用程序时使用了许多生产力,编码,测试和云管理工具。 尽管大多数工具都提供报告和分析功能,但技术团队可能有充分的理由开发自己的报告功能,以更好地分析,预测和管理其工作的各个方面。 Tableau是满足这些报告需求的流行且有用的工具。 [评论: Tableau将自助式BI提升到新的高度 。 •InfoWorld的自助式BI综述:...

科技博客的分析“工具人” 845

构建网络安全知识体系:从核心概念到八大领域,一篇文章带你建立全局认知

网络安全是指保护网络系统、硬件、软件以及其中的数据免受未经授权的访问、使用、披露、修改、破坏或干扰的措施和实践。保护机密性:确保只有授权的人员能够访问敏感信息,防止数据泄露。维护完整性:保证数据在存储、传输和处理过程中不被非法修改或篡改。比如金融交易数据、医疗记录等必须保持完整准确。保障可用性:确保网络系统和服务能够持续正常运行,可供合法用户随时使用。像电商网站在购物高峰期间不能出现无法访问的情况。防范网络攻击。

xx16755498979的博客 914

**政务云FinOps:全链路智能运维的关键价值解析**

本文阐述了全链路智能运维在政务云中的关键作用,包括实时监控、故障预测、快速修复等技术能力,以及其在提高服务效率、保障数据安全、推动可持续发展等方面的价值。随着政务云产业蓬勃发展,全链路智能运维的重要意义日益凸显,它为政务云的稳定运行和高效服务提供了强劲动力,具有不可忽视的重要价值。它既是保障政务云系统稳定运行的关键,也是提升政府治理能力和服务水平的重要手段。A:全链路智能运维是指覆盖从基础设施到应用服务所有层面的运维体系,结合人工智能、大数据分析等技术,实现实时监控、故障预测和自动修复,保障系统稳定运行。

2601_94992642的博客 322
上一篇: 如何在云中实现高性能负载均衡
下一篇: 国产CPU飞腾上跑云平台
牛知道
博客等级 码龄24年 120粉丝 77原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值