大模型的指令微调:指令微调数据、训练算法与流程

指令微调(Instruction Fine-Tuning / SFT)是将预训练大模型对齐到人类意图的关键环节。通过精心构建的指令数据集,模型得以从"下一词预测"的通用能力转化为"遵循指令、完成任务"的实用能力。本文系统梳理了指令微调的核心方法论,涵盖指令数据的构建策略与质量评估、主流训练算法(全参数微调、LoRA、QLoRA 等),以及从数据准备到模型评估的完整实施流程。

阅读全文

[随笔] 当眼见不一定为实:大模型时代的信任与技术伦理思考

(一)一天,从提出需求到代码上线 我们课题组的报销流程一直很繁琐,至少我在处理了几次报销流程后是这么认为的。每次出差或采购后,导师总会选一位同学,他会在微信中戳每一位需要报销的同学,把发票、支付记录、行程单、审批表等等一大堆材料手动整理、归档。这种方式效率很低,经常出错,而且往往在提交之后被打回。 终于,从北京出差回来的那天下午,我突发奇想,正好我也在用Cursor(一种基于AI的智能代码编辑器...
阅读全文

[文献调研] 多 Agent 系统的智能体协作策略与训练

多智能体系统(Multi-Agent System)中的协作策略与训练方法是当前 AI Agent 研究的热点方向。如何让多个智能体在共享环境中高效分工、协同决策并持续学习,是构建可靠运维 Agent 系统的核心难题。本文调研了多 Agent 协作的主流范式,包括基于角色分配的任务分解、基于通信协议的信息交互、以及基于强化学习与自博弈的协作策略训练方法。

阅读全文

[文献调研] 微服务容量与性能 - 学术界调研

微服务架构的广泛采用带来了弹性与敏捷性的提升,但也引入了性能评估与容量规划方面的新挑战。服务间复杂的调用链路、动态扩缩容策略以及资源竞争效应,使得传统的性能建模方法难以直接适用。本文从学术界视角调研了微服务容量评估与性能优化的最新研究成果,涵盖了负载建模、瓶颈检测、资源分配优化等核心问题及其解决方案。

阅读全文

[文献阅读] Log20: Fully Automated Optimal Placement of Log Printing Statements under Specified Overhead Threshold

原文 Log20基本思路:可以通过静态分析确定基本块,给定输出日志序列的规模限制(可根据需求调整),目标是最小化日志语句放置的熵,通过动态规划求解这个最优化问题 确定程序的基本块组成,以及这些基本块的所有可能的执行路径 规定每个基本块能且只能放置一条LPS 基于执行路径以及被观测到的出现概率计算所有基本块的被执行期望,作为基本块的权重 在给定基本块的权重之和限制下...
阅读全文

[文献调研] 基于多智能体的问题根因定位方法研讨

根因分析(Root Cause Analysis, RCA)是智能运维中最具挑战性的任务之一。面对大规模微服务架构下的级联故障,单一模型往往难以覆盖从告警关联、拓扑分析到根因推理的全链路。本文调研了基于多智能体(Multi-Agent)协作的根因定位方法,探讨了多 Agent 间的任务分解、信息共享与协同推理机制,以及在实际运维故障场景中的应用效果。

阅读全文

[文献调研] 大语言模型智能体:工具增强以应对智能运维任务

工具增强(Tool-Augmented)是提升 LLM Agent 实际运维能力的关键技术路径。通过赋予智能体调用 API、执行脚本、查询知识库等能力,Agent 得以突破纯文本推理的局限,直接介入真实运维环境。本文聚焦于工具增强型 LLM Agent 在智能运维任务中的应用,调研了工具发现与选择策略、多工具编排机制以及在日志分析、指标诊断等场景下的效果评估。

阅读全文

[文献调研] Agent for AIOps

智能体(Agent)技术正在重塑智能运维的实践范式。不同于传统的被动式告警响应,基于 LLM 的 Agent 能够主动感知环境、自主推理决策并调用工具执行运维操作。本文调研了 Agent 在 AIOps 场景中的应用研究,分析了当前主流的 Agent 架构设计、工具调用机制以及在故障诊断、容量规划等任务中的实践案例。

阅读全文

[文献调研] 时序数据与时空大模型

时序数据广泛存在于运维监控、金融分析、气象预测等场景中,其建模一直是机器学习领域的重要课题。近年来,大语言模型在时序预测与时空分析方面展现出令人瞩目的潜力。本文调研了时序数据处理与时空大模型的最新研究进展,涵盖了基于 Transformer 架构的时序预测方法、时空数据的多模态融合策略,以及预训练大模型在时序任务中的迁移能力。

阅读全文

[文献调研] 大模型时代的AIOps

随着大语言模型(LLM)的快速发展,智能运维(AIOps)领域迎来了新的变革契机。传统的 AIOps 方法依赖于规则引擎和统计模型,在面对复杂多变的运维场景时往往力不从心。本文调研了大模型在 AIOps 中的应用现状与前沿进展,探讨了 LLM 如何赋能日志分析、告警聚合、根因定位等核心运维任务,并对未来研究方向进行了展望。

阅读全文