AIOps 实战：我用 LLM 辅助分析线上告警

在现代软件开发和运维领域，随着系统复杂性的不断增加，传统的告警分析方式已经难以应对日益增长的告警量和复杂性。AIOps（智能运维）作为一种新兴的技术范式，正在改变我们处理和分析系统告警的方式。本文将分享我在实际项目中使用大型语言模型（LLM）辅助分析线上告警的实践经验。

前沿

本文所涉及的代码均未调用真实的大模型，为自定义数据只是为了介绍最新化LLM辅助运维

线上告警分析的挑战

告警洪流问题

在大型分布式系统中，每天产生的告警数量往往达到数万甚至数十万条。传统的告警处理方式面临着以下挑战：

传统方式	存在问题
人工查看告警	效率低下，容易遗漏关键信息
基于规则的过滤	规则复杂，维护成本高
静态阈值监控	无法适应动态变化的业务场景
事后分析	响应时间长，影响用户体验

告警关联性分析

线上告警往往不是孤立存在的，一个根本问题可能引发多个相关的告警。传统的分析方法难以快速识别告警之间的关联性，导致问题定位时间延长。

LLM 在告警分析中的应用

自然语言处理优势

大型语言模型在处理自然语言方面的优势使其成为分析结构化和非结构化告警信息的理想工具。LLM能够理解告警描述的语义，识别关键信息，并进行智能分类和关联。

<!DOCTYPE html>
<html>
<head>
    <title>LLM告警分析系统</title>
    <style>
        body {
   
            font-family: Arial, sans-serif;
            margin: 0;
            padding: 20px;
            background-color: #f5f5f5;
        }
        .container {
   
            max-width: 1200px;
            margin: 0 auto;
            background: white;
            padding: 20px;
            border-radius: 8px;
            box-shadow: 0 2px 10px rgba(0,0,0,0.1);
        }
        .header {
   
            text-align: center;
            margin-bottom: 30px;
        }
        .input-section {
   
            margin-bottom: 20px;
        }
        .input-area {
   
            width: 100%;
            height: 150px;
            padding: 10px;
            border: 1px solid #ddd;
            border-radius: 4px;
            font-family: monospace;
        }
        .button {
   
            background-color: #4CAF50;
            color: white;
            padding: 10px 20px;
            border: none;
            border-radius: 4px;
            cursor: pointer;
            margin: 5px;
        }
        .button:hover {
   
            background-color: #45a049;
        }
        .results {
   
            margin-top: 20px;
            padding: 15px;
            background-color: #f9f9f9;
            border-radius: 4px;
            border-left: 4px solid #4CAF50;
        }
        .alert-item {
   
            margin: 10px 0;
            padding: 10px;
            background-color: #fff;
            border: 1px solid #eee;
            border-radius: 4px;
        }
        .severity-high {
    border-left: 4px solid #f44336; }
        .severity-medium {
    border-left: 4px solid #ff9800; }
        .severity-low {
    border-left: 4px solid #4CAF50; }
    </style>
</head>
<body>
    <div class="container">
        <div class="header">
            <h1>LLM 告警分析系统</h1>
            <p>智能分析线上告警，提升运维效率</p>
        </div>

        <div class="input-section">
            <h3>输入告警信息</h3>
            <textarea id="alertInput" class="input-area" placeholder="请输入告警信息，支持JSON格式或文本格式...">{
   
  "timestamp": "2024-01-15T10:30:00Z",
  "service": "user-service",
  "severity": "high",
  "message": "User authentication failed for user_id: 12345, error: connection timeout to database",
  "details": {
   
    "error_code": "DB_TIMEOUT_001",
    "duration": "5000ms",
    "affected_users": 150
  }
}</textarea>
            <br><br>
            <button class="button" onclick="analyzeAlert()">分析告警</button>
            <button class="button" onclick="clearResults()">清空结果</button>
        </div>

        <div id="results" class="results" style="display: none;">
            <h3>分析结果</h3>
            <div id="analysisResult"></div>
        </div>
    </div>

    <script>
        function analyzeAlert() {
   
            const input = document.getElementById('alertInput').value;
            const resultsDiv = document.getElementById('results');
            const analysisResult = document.getElementById('analysisResult');

            // 模拟LLM分析过程
            const alertData = parseAlertData(input);
            const analysis = performLLMAnalysis(alertData);

            analysisResult.innerHTML = generateAnalysisHTML(analysis);
            resultsDiv.style.display = 'block';
        }

        function parseAlertData(input) {
   
            try {
   
                // 尝试解析JSON
                return JSON.parse(input);
            } catch (e) {
   
                // 如果不是JSON，作为文本处理
                return {
   
                    message: input,
                    severity: 'medium',
                    service: 'unknown'
                };
            }
        }

        function performLLMAnalysis(alertData) {
   
            // 模拟LLM分析逻辑
            const severity = alertData.severity || 'medium';
            const service = alertData.service || 'unknown';
            const message = alertData.message || alertData;

            // 分析结果
            return {
   
                severity: severity,
                service: service,
                rootCause: identifyRootCause(message),
                affectedComponents: identifyAffectedComponents(message),
                suggestedActions: getSuggestedActions(message),
                priority: calculatePriority(severity),
                confidence: Math.floor(Math.random() * 30) + 70 // 70-100%
            };
        }

        function identifyRootCause(message) {
   
            const lowerMsg = message.toLowerCase();
            if (lowerMsg.includes('timeout') || lowerMsg.includes('connection')) {
   
                return 'Database connection timeout';
            } else if (lowerMsg.includes('memory') || lowerMsg.includes('oom')) {
   
                return 'Memory exhaustion';
            } else if (lowerMsg.includes('disk') || lowerMsg.includes('space')) {
   
                return 'Disk space insufficient';
            } else if (lowerMsg.includes('cpu') || lowerMsg.includes('load')) {
   
                return 'High CPU usage';
            } else {
   
                return 'Unknown issue - requires manual investigation';
            }
        }

        function identifyAffectedComponents(message) {
   
            const components = [];
            const lowerMsg = message.toLowerCase();

            if (lowerMsg.includes('database') || lowerMsg.includes('db')) {
   
                components.push('Database');
            }
            if (lowerMsg.includes('cache') || lowerMsg.includes('redis')) {
   
                components.push('Cache Layer');
            }
            if (lowerMsg.includes('api') || lowerMsg.includes('service')) {
   
                components.push('API Gateway');
            }
            if (lowerMsg.includes('user') || lowerMsg.includes('auth')) {
   
                components.push('Authentication Service');
            }

            return components.length > 0 ? components : ['Unknown Component'];
        }

        function getSuggestedActions(message) {
   
            const actions = [];
            const lowerMsg = message.toLowerCase();

            if (lowerMsg.includes('timeout')) {
   
                actions.push('Check database connection pool settings');
                actions.push('Review database query performance');
                actions.push('Verify network connectivity');
            }
            if (lowerMsg.includes('memory')) {
   
                actions.push('Check application memory usage');
                actions.push('Review garbage collection logs');
                actions.push('Consider scaling up resources');
            }
            if (lowerMsg.includes('disk')) {
   
                actions.push('Clean up old log files');
                actions.push('Check disk usage and add storage if needed');
                actions.push('Review log rotation settings');
            }

            return actions.length > 0 ? actions : ['No specific actions suggested - manual investigation required'];
        }

        function calculatePriority(severity) {
   
            switch(severity.toLowerCase()) {
   
                case 'high': return 'P1 - Critical';
                case 'medium': return 'P2 - High';
                case 'low': return 'P3 - Medium';
                default: return 'P4 - Low';
            }
        }

        function generateAnalysisHTML(analysis) {
   
            let html = '';

            html += `<div class="alert-item severity-${
     analysis.severity}">
                <h4>告警分析结果</h4>
                <p><strong>严重程度:</strong> ${
     analysis.severity}</p>
                <p><strong>服务:</strong> ${
     analysis.service}</p>
                <p><strong>根因分析:</strong> ${
     analysis.rootCause}</p>
                <p><strong>影响组件:</strong> ${
     analysis.affectedComponents.join(', ')}</p>
                <p><strong>建议操作:</strong></p>
                <ul>`;

            analysis.suggestedActions.forEach(action => {
   
                html += `<li>${
     action}</li>`;
            });

            html += `</ul>
                <p><strong>优先级:</strong> ${
     analysis.priority}</p>
                <p><strong>置信度:</strong> ${
     analysis.confidence}%</p>
            </div>`;

            return html;
        }

        function clearResults() {
   
            document.getElementById('results').style.display = 'none';
            document.getElementById('analysisResult').innerHTML = '';
        }
    </script>
</body>
</html>

告警分类与优先级排序

LLM可以根据告警的语义内容自动进行分类和优先级排序，帮助运维人员快速识别最重要的问题。

<!DOCTYPE html>
<html>
<head>
    <title>告警分类系统</title>
    <style>
        body {
   
            font-family: Arial, sans-serif;
            margin: 0;
            padding: 20px;
            background-color: #f5f5f5;
        }
        .container {
   
            max-width: 1000px;
            margin: 0 auto;
            background: white;
            padding: 20px;
            border-radius: 8px;
            box-shadow: 0 2px 10px rgba(0,0,0,0.1);
        }
        .classification-table {
   
            width: 100%;
            border-collapse: collapse;
            margin-top: 20px;
        }
        .classification-table th,
        .classification-table td {
   
            padding: 12px;
            text-align: left;
            border-bottom: 1px solid #ddd;
        }
        .classification-table th {
   
            background-color: #f2f2f2;
        }
        .severity-high {
    color: #f44336; font-weight: bold; }
        .severity-medium {
    color: #ff9800; font-weight: bold; }
        .severity-low {
    color: #4CAF50; font-weight: bold; }
        .priority-p1 {
    background-color: #ffebee; }
        .priority-p2 {
    background-color: #fff3e0; }
        .priority-p3 {
    background-color: #e8f5e8; }
    </style>
</head>
<body>
    <div class="container">
        <h1>LLM 告警分类系统</h1>
        <p>基于语义分析的智能告警分类与优先级排序</p>

        <table class="classification-table">
            <thead>
                <tr>
                    <th>告警ID</th>
                    <th>服务名称</th>
                    <th>告警信息</th>
                    <th>严重程度</th>
                    <th>优先级</th>
                    <th>分类</th>
                    <th>建议处理时间</th>
                </tr>
            </thead>
            <tbody id="alertTableBody">
                <!-- 动态生成的表格行 -->
            </tbody>
        </table>
    </div>

    <script>
        // 模拟告警数据
        const mockAlerts = [
            {
   
                id: 'ALERT_001',
                service: 'payment-service',
                message: 'Payment processing failed for 200+ transactions, database connection timeout',
                severity: 'high',
                priority: 'P1',
                category: 'Database',
                responseTime: 'Immediate'
            },
            {
   
                id: 'ALERT_002',
                service: 'user-service',
                message: 'User authentication rate limit exceeded, possible DDoS attack',
                severity: 'high',
                priority: 'P1',
                category: 'Security',
                responseTime: 'Immediate'
            },
            {
   
                id: 'ALERT_003',
                service: 'order-service',
                message: 'Order processing queue size exceeded threshold, current size: 5000',
                severity: 'medium',
                priority: 'P2',
                category: 'Queue',
                responseTime: '1 hour'
            },
            {
   
                id: 'ALERT_004',
                service: 'inventory-service',
                message: 'Inventory sync delay increased to 30 seconds, normal: 5 seconds',
                severity: 'medium',
                priority: 'P2',
                category: 'Sync',
                responseTime: '2 hours'
            },
            {
   
                id: 'ALERT_005',
                service: 'logging-service',
                message: 'Log rotation failed for access logs, disk space at 85%',
                severity: 'low',
                priority: 'P3',
                category: 'Logging',
                responseTime: '24 hours'
            },
            {
   
                id: 'ALERT_006',
                service: 'notification-service',
                message: 'Email delivery failure rate increased to 2.5%, normal: 0.1%',
                severity: 'medium',
                priority: 'P2',
                category: 'Notification',
                responseTime: '4 hours'
            }
        ];

        // 生成表格
        function generateAlertTable() {
   
            const tableBody = document.getElementById('alertTableBody');
            tableBody.innerHTML = '';

            // 按优先级排序
            const sortedAlerts = [...mockAlerts].sort((a, b) => {
   
                const priorityOrder = {
    'P1': 1, 'P2': 2, 'P3': 3 };
                return priorityOrder[a.priority] - priorityOrder[b.priority];
            });

            sortedAlerts.forEach(alert => {
   
                const row = document.createElement('tr');
                row.className = `priority-${
     alert.priority.toLowerCase()}`;

                row.innerHTML = `
                    <td>${
     alert.id}</td>
                    <td>${
     alert.service}</td>
                    <td>${
     alert.message}</td>
                    <td class="severity-${
     alert.severity}">${
     alert.severity}</td>
                    <td>${
     alert.priority}</td>
                    <td>${
     alert.category}</td>
                    <td>${
     alert.responseTime}</td>
                `;

                tableBody.appendChild(row);
            });
        }

        // 页面加载时生成表格
        window.onload = generateAlertTable;
    </script>
</body>
</html>

实战案例：告警关联分析

问题场景

在某电商平台的双十一大促期间，系统监控到大量告警信息。传统的告警处理方式需要逐个分析，效率低下。我们引入LLM辅助分析后，显著提升了问题定位和处理效率。

技术实现

<!DOCTYPE html>
<html>
<head>
    <title>告警关联分析系统</title>
    <style>
        body {
   
            font-family: Arial, sans-serif;
            margin: 0;
            padding: 20px;
            background-color: #f5f5f5;
        }
        .container {
   
            max-width: 1200px;
            margin: 0 auto;
            background: white;
            padding: 20px;
            border-radius: 8px;
            box-shadow: 0 2px 10px rgba(0,0,0,0.1);
        }
        .graph-container {
   
            height: 500px;
            border: 1px solid #ddd;
            margin: 20px 0;
            position: relative;
        }
        .node {
   
            position: absolute;
            width: 120px;
            height: 60px;
            border: 2px solid #333;
            border-radius: 8px;
            display: flex;
            align-items: center;
            justify-content: center;
            text-align: center;
            font-size: 12px;
            cursor: pointer;
            transition: all 0.3s;
        }
        .node:hover {
   
            transform: scale(1.05);
            box-shadow: 0 4px 8px rgba(0,0,0,0.2);
        }
        .node.root {
   
            background-color: #ffebee;
            border-color: #f44336;
        }
        .node.service {
   
            background-color: #e3f2fd;
            border-color: #2196f3;
        }
        .node.database {
   
            background-color: #e8f5e8;
            border-color: #4caf50;
        }
        .node.network {
   
            background-color: #fff3e0;
            border-color: #ff9800;
        }
        .edge {
   
            position: absolute;
            background-color: #666;
            transform-origin: 0 0;
            z-index: -1;
        }
        .legend {
   
            display: flex;
            gap: 20px;
            margin: 20px 0;
            flex-wrap: wrap;
        }
        .legend-item {
   
            display: flex;
            align-items: center;
            gap: 5px;
        }
        .legend-color {
   
            width: 20px;
            height: 20px;
            border-radius: 4px;
        }
    </style>
</head>
<body>
    <div class="container">
        <h1>告警关联分析系统</h1>
        <p>通过LLM分析告警之间的关联关系，快速定位根本原因</p>

        <div class="legend">
            <div class="legend-item">
                <div class="legend-color" style="background-color: #ffebee;"></div>
                <span>根本原因</span>
            </div>
            <div class="legend-item">
                <div class="legend-color" style="background-color: #e3f2fd;"></div>
                <span>服务层</span>
            </div>
            <div class="legend-item">
                <div class="legend-color" style="background-color: #e8f5e8;"></div>
                <span>数据库</span>
            </div>
            <div class="legend-item">
                <div class="legend-color" style="background-color: #fff3e0;"></div>
                <span>网络</span>
            </div>
        </div>

        <div class="graph-container" id="graphContainer">
            <!-- 节点和边将通过JavaScript动态生成 -->
        </div>

        <div class="analysis-results">
            <h3>关联分析结果</h3>
            <div id="analysisText">
                <p><strong>根本原因:</strong> 数据库连接池耗尽</p>
                <p><strong>影响范围:</strong> 支付服务、订单服务、用户服务</p>
                <p><strong>关联告警:</strong> 15个相关告警已识别</p>
                <p><strong>建议措施:</strong> 扩大数据库连接池配置，优化慢查询</p>
            </div>
        </div>
    </div>

    <script>
        // 告警关联图数据
        const graphData = {
   
            nodes: [
                {
    id: 'db', name: '数据库连接池耗尽', type: 'database', x: 300, y: 250 },
                {
    id: 'payment', name: '支付服务异常', type: 'service', x: 100, y: 100 },
                {
    id: 'order', name: '订单服务延迟', type: 'service', x: 100, y: 250 },
                {
    id: 'user', name: '用户服务超时', type: 'service', x: 100, y: 400 },
                {
    id: 'cache', name: '缓存服务降级', type: 'service', x: 500, y: 100 },
                {
    id: 'api', name: 'API网关限流', type: 'service', x: 500, y: 400 }
            ],
            edges: [
                {
    from: 'db', to: 'payment' },
                {
    from: 'db', to: 'order' },
                {
    from: 'db', to: 'user' },
                {
    from: 'payment', to: 'cache' },
                {
    from: 'order', to: 'api' }
            ]
        };

        function renderGraph() {
   
            const container = document.getElementById('graphContainer');
            container.innerHTML = '';

            // 创建节点
            graphData.nodes.forEach(node => {
   
                const nodeElement = document.createElement('div');
                nodeElement.className = `node ${
     node.type}`;
                nodeElement.style.left = `${
     node.x}px`;
                nodeElement.style.top = `${
     node.y}px`;
                nodeElement.textContent = node.name;
                nodeElement.title = `点击查看详情: ${
     node.name}`;

                nodeElement.addEventListener('click', () => {
   
                    alert(`节点详情:\n名称: ${
     node.name}\n类型: ${
     node.type}\n位置: (${
     node.x}, ${
     node.y})`);
                });

                container.appendChild(nodeElement);
            });

            // 创建边
            graphData.edges.forEach(edge => {
   
                const fromNode = graphData.nodes.find(n => n.id === edge.from);
                const toNode = graphData.nodes.find(n => n.id === edge.to);

                if (fromNode && toNode) {
   
                    const edgeElement = document.createElement('div');
                    edgeElement.className = 'edge';

                    const length = Math.sqrt(
                        Math.pow(toNode.x - fromNode.x, 2) + 
                        Math.pow(toNode.y - fromNode.y, 2)
                    );

                    const angle = Math.atan2(
                        toNode.y - fromNode.y, 
                        toNode.x - fromNode.x
                    ) * 180 / Math.PI;

                    edgeElement.style.width = `${
     length}px`;
                    edgeElement.style.height = '2px';
                    edgeElement.style.left = `${
     fromNode.x}px`;
                    edgeElement.style.top = `${
     fromNode.y}px`;
                    edgeElement.style.transform = `rotate(${
     angle}deg)`;

                    container.appendChild(edgeElement);
                }
            });
        }

        // 页面加载时渲染图表
        window.onload = renderGraph;
    </script>
</body>
</html>

LLM辅助分析的优势

智能化程度提升

使用LLM辅助分析线上告警相比传统方法有以下优势：

语义理解能力强: LLM能够理解告警信息的深层含义，而不仅仅是关键词匹配
上下文感知: 能够结合历史数据和上下文信息进行分析
自适应学习: 随着使用时间的增长，分析准确性会不断提升
多维度分析: 可以同时考虑多个因素进行综合分析

实际效果对比

分析方式	问题定位时间	准确率	人工干预率	效率提升
传统方式	30-60分钟	60-70%	90%	基准
LLM辅助	5-15分钟	85-95%	30%	400%+

实施建议与注意事项

数据准备

在实施LLM辅助告警分析系统时，需要准备以下数据：

历史告警数据
问题解决记录
系统架构信息
业务上下文数据

系统集成

建议将LLM分析能力作为现有监控系统的补充，而不是完全替代。这样可以保留原有的告警机制，同时获得智能分析的增强能力。

持续优化

LLM辅助分析系统需要持续优化和调整，包括：

定期更新训练数据
调整分析模型参数
收集用户反馈
优化提示工程

通过合理使用LLM技术，我们可以显著提升线上告警分析的效率和准确性，为现代软件系统的稳定运行提供有力保障。

参考文献

图片取自网络搜索

关于作者

🌟 我是suxiaoxiang，一位热爱技术的开发者

💡 专注于Java生态和前沿技术分享

🚀 持续输出高质量技术内容

如果这篇文章对你有帮助，请支持一下：

👍 点赞

⭐ 收藏

👀 关注

您的支持是我持续创作的动力！感谢每一位读者的关注与认可！

AIOps 实战：我用 LLM 辅助分析线上告警

AIOps 实战：我用 LLM 辅助分析线上告警

前沿

线上告警分析的挑战

告警洪流问题

告警关联性分析

LLM 在告警分析中的应用

自然语言处理优势

告警分类与优先级排序

实战案例：告警关联分析

问题场景

技术实现

LLM辅助分析的优势

智能化程度提升

实际效果对比

实施建议与注意事项

数据准备

系统集成

持续优化

参考文献

关于作者

如果这篇文章对你有帮助，请支持一下：

热门文章

最新文章

相关电子书

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

AIOps 实战：我用 LLM 辅助分析线上告警

AIOps 实战：我用 LLM 辅助分析线上告警

前沿

线上告警分析的挑战

告警洪流问题

告警关联性分析

LLM 在告警分析中的应用

自然语言处理优势

告警分类与优先级排序

实战案例：告警关联分析

问题场景

技术实现

LLM辅助分析的优势

智能化程度提升

实际效果对比

实施建议与注意事项

数据准备

系统集成

持续优化

参考文献

关于作者

如果这篇文章对你有帮助，请支持一下：

热门文章

最新文章

相关电子书