2908 字
15 min
从零理解 UniXcoder:从 C 代码编码到第一次神经网络训练
2026-10-11

从零理解 UniXcoder:从 C 代码编码到第一次神经网络训练#

1. 前言:为什么要做这个实验?#

最近开始尝试一个 AI × 信息安全方向的项目,希望利用代码预训练模型实现 C/C++ 源代码漏洞检测,并逐步将其发展为信息安全作品赛项目。

由于此前没有系统学习过机器学习、PyTorch 和 Transformer,因此选择从较小的实验开始,而不是直接运行完整的漏洞检测训练框架。

第一阶段使用的是微软开源的代码预训练模型 microsoft/unixcoder-base,目标是弄清楚:

一段 C 函数是如何变成模型输入、经过神经网络、输出分类结果,并通过训练调整参数的?

本阶段尚未使用正式漏洞数据集,也没有完成漏洞检测模型的正式评估。

2. 实验环境#

项目配置
操作系统WSL Ubuntu
Python3.12.3
PyTorch2.10.0+cu128
CUDA Build12.8
GPURTX 5060 Laptop GPU
预训练模型microsoft/unixcoder-base
模型加载工具Hugging Face Transformers

实验过程中还遇到了 CUDA 与驱动版本不兼容、WSL 网络无法访问 Hugging Face 等问题。最终通过匹配 CUDA 构建版本以及修复 WSL 网络代理解决。

3. 第一步:让模型读取 C 代码#

使用下面的代码作为输入样本:

void f(char *input)
{
char buf[8];
strcpy(buf, input);
}

这段函数中的 buf 只有 8 字节,但 strcpy 不会自动检查目标缓冲区大小。如果源字符串过长,可能造成缓冲区溢出。

这里首先需要区分两个不同概念:

C 函数中的 input 是一个字符指针参数;而漏洞检测模型的输入是整个函数的源代码文本。

3.1 Tokenizer:把代码转换成数字#

模型不能直接对源代码字符串进行数值计算,因此需要 Tokenizer(分词器)进行编码。

大致过程为:

源代码 → Token → Token ID

实验发现,原始函数被拆分为 28 个 Token,其中 Ġ 通常对应空格,Ċ 对应换行。

随后调用 Tokenizer 生成 input_ids 和 attention_mask,并设置 max_length=512。

输出结果为:

TensorShape
input_ids[1,512]
attention_mask[1,512]

这里:

  • 1 表示 Batch Size(批大小),即本次只有一个函数。
  • 512 表示 Sequence Length(序列长度)。
  • input_ids 存储 Token 在词表中的编号。
  • attention_mask 使用 1 标记有效 Token,0 标记 Padding(填充)位置。

当前样本有 28 个源码 Token,加上起始与结束特殊 Token,共 30 个有效位置,其余位置用 Padding 补齐。

4. 第二步:UniXcoder 如何表示代码?#

把编码结果送入 UniXcoder:

outputs = model(input_ids=..., attention_mask=...)

得到:

last_hidden_state.shape = [1,512,768]

Last Hidden State(最后一层隐藏状态)可以理解为 Transformer 最后一层输出的 Token 上下文表示。

原来的 Token ID 只是一个整数编号;经过模型后,每个 Token 都被表示为一个 768 维向量。

三个维度分别表示:

维度含义
1一个函数样本
512512 个 Token 位置
768每个 Token 的特征向量长度

这里有个重要认识:即使两段代码里某个 Token 的 ID 相同,它经过 Transformer 后的隐藏状态也可能不同,因为模型会结合上下文计算表示。

但是目前得到的是每个 Token 的向量,而不是整个函数的单个向量。

5. 第三步:Pooling,如何得到整个函数的向量?#

Pooling(池化)是将一组特征向量汇总成一个向量的方法。

实验中了解了两种方案:

方案 A:首 Token 池化

直接取第一个特殊 Token <s> 的最后一层隐藏状态作为函数表示。

由于这个 Token 可以通过 Self-Attention(自注意力)接收其他 Token 的上下文信息,因此它的隐藏表示可以被用于函数级任务。

但是,这不意味着它天然就是最佳的函数表示。

方案 B:Masked Mean Pooling(带掩码的平均池化)

对所有有效 Token 的隐藏向量逐维求平均,避免 Padding 参与最终的平均计算。

核心代码:

mask = attention_mask.unsqueeze(-1)
masked_hidden = outputs.last_hidden_state * mask
sum_hidden = masked_hidden.sum(dim=1)
token_count = mask.sum(dim=1)
function_embedding = sum_hidden / token_count

Shape 的变化为:

[1,512,768] → [1,768]

其中 unsqueeze(-1) 增加一个长度为 1 的维度,使 Mask 能够通过 Broadcasting(广播机制)作用到每个 Token 的 768 维表示上。

sum(dim=1) 则沿 Token 维度求和。

Mean Pooling 的缺点是可能稀释少数关键 Token 的信号,也不能保证不同函数获得完全不同的向量。因此,后续可以比较不同池化方案对漏洞分类的影响。

6. 第四步:通过 Linear 实现漏洞二分类#

得到整个函数的 768 维向量后,使用:

classifier = torch.nn.Linear(768, 2)

输出两个 Logits(原始分类分数),分别对应:

  • 类别 0:Safe
  • 类别 1:Vulnerable

分类器的权重矩阵 Shape 为 [2,768],偏置为 [2],一共具有 1538 个可训练参数。

通过 Softmax 可以将 Logits 转换为两个类别的概率。

但由于分类头此时尚未训练,因此输出的概率不能代表可靠的漏洞判断。

7. 第五步:第一次训练分类器#

本次实验采用一条带有缓冲区溢出风险的代码样本,令其标签为 1。

使用 CrossEntropyLoss(交叉熵损失)衡量模型预测与真实标签之间的差异,并使用 AdamW 优化器更新参数。

关键训练循环为:

optimizer.zero_grad()
logits = classifier(function_embedding)
loss = criterion(logits, label)
loss.backward()
optimizer.step()

通过这个实验理解了五个基本过程:

操作作用
zero_grad清除上一轮累积的梯度
forward根据当前参数计算预测
loss比较预测与真实标签
backward通过反向传播计算梯度
optimizer.step使用梯度更新参数

其中 Gradient(梯度)描述损失随参数变化的情况。基础梯度下降通常沿负梯度方向调整参数,以尝试降低损失。

7.1 实际训练结果#

训练 10 个 Step 后:

StepLoss
10.4981
20.1385
30.0406
40.0141
50.0057
60.0026
70.0013
80.0007
90.0004
100.0003

训练后的预测概率:

Safe ≈ 0.00018
Vulnerable ≈ 0.99982

预测类别为 1。

这说明分类器能够通过梯度更新,在当前样本上不断降低训练损失。

7.2 错误标签实验#

为了进一步理解模型训练,我把完全相同的漏洞样本标签从 1 改成 0,其他训练代码不变。

最终分类器也将它预测成了 0。

这个现象让我意识到:

模型并不会因为代码在客观上存在漏洞,就自动拒绝错误标签。它是在根据提供的训练目标调整参数。

因此,Loss 下降不代表模型一定学到了正确规律。

数据集标签质量、样本多样性以及对未见数据的测试,都非常重要。

8. 本次实验究竟训练了什么?#

这是整个实验中最容易被误解的地方。

目前模型结构为:

UniXcoder → Mean Pooling → Linear 分类器

但本次训练仅更新了 Linear 分类头的参数。

UniXcoder 使用预训练权重产生函数向量,其前向传播放在 torch.no_grad() 内,因此没有参与反向传播;优化器接收的也只有分类器参数。

也就是说,本次实现的是:

固定预训练特征 + 单样本分类头训练。

而不是 UniXcoder 的完整 Fine-tuning(微调)。

未来进行联合微调时,需要让损失的梯度通过分类头、Pooling 传回 UniXcoder,并让优化器更新相应参数。

9.学习过程中我真正困惑的几个问题#

1. 为什么模型的输入是整个 C 函数,而不是函数参数 input?#

答: 因为我们的任务是判断一个函数是否可能存在漏洞,模型需要分析函数中的具体操作、变量关系、控制逻辑等上下文信息,而不是单纯分析某个函数参数。

C 函数中的 input 只是被分析程序的一个参数,而机器学习模型的输入是我们提供给它的整段源码。两者并不是一个概念。

当然,当前的函数级检测主要依据函数本身可见的信息,未必包含完整项目中的调用关系和其他外部上下文。

2. Mean Pooling 不会让两个不同函数的平均向量碰巧相同吗?#

答: 理论上完全可能,因为 Mean Pooling 本身并不保证不同输入得到不同输出。

虽然实际模型中,不同函数产生完全相同的 768 维向量通常不是主要问题,但不能仅凭维度数量就保证碰撞概率极低。

真正更值得担心的是信息损失:平均池化可能削弱某些关键 Token 的特征,使原本安全性不同的函数得到过于相近的表示。

因此,后续可以通过实验比较 Mean Pooling 和首 Token Pooling,观察哪一种更有利于漏洞检测。

3. 为什么只训练分类器可能不够?UniXcoder 和分类器是否需要共同调整参数?#

答: UniXcoder 虽然已经经过代码预训练,具有一定的代码特征表示能力,但并不是专门为了漏洞检测任务训练的。

分类器接收到的是 UniXcoder 提供的函数特征向量。如果这些向量没有充分保留与漏洞相关的信息,即使分类器经过训练,也可能难以准确判断。

联合微调可以让 UniXcoder 调整特征表示,同时让分类器学习如何利用这些特征,使两部分参数共同适应漏洞检测任务。

不过,联合微调并不一定始终优于冻结编码器。最终需要结合数据规模、过拟合情况和实际评估指标来判断哪种方法更合适。

10. 阶段总结与下一步计划#

这一阶段最大的收获,并不是得到了接近 100% 的单样本预测概率,而是第一次理解了完整的数据流与基本训练过程:

源码 → Token ID → Transformer → Hidden State → Pooling → Classifier → Loss → Backward → 参数更新

目前还不能声称模型具备可靠的漏洞检测能力,因为实验只使用了一条样本,没有独立测试集,也没有评估泛化能力。

下一阶段计划使用 Devign 等公开数据集,学习 Dataset、DataLoader、多样本训练、训练集与验证集划分,以及 Precision、Recall、F1 等指标。

最终目标是形成一个实验结果真实、可复现、能够逐步改进的 C/C++ 漏洞检测 baseline。

个人反思

这次学习改变了我对“训练 AI 模型”的初步认识。

最初觉得训练模型就是把数据输入进去,让模型自动学习。而实际接触后才发现,输入如何编码、向量如何汇总、哪些参数参与训练、标签是否可靠、损失如何计算,都直接影响训练结果。

目前我只是初步理解了这些机制,很多对知识及概念的理解更偏直觉,距离真正掌握模型训练与漏洞检测还有很长的路,但至少已经能解释自己运行的核心代码在做什么。

另:本文基于个人实际实验与学习过程整理,使用 AI 辅助进行知识讲解、结构梳理和文字润色。实验代码已亲自运行,相关结论结合实际输出进行记录

从零理解 UniXcoder:从 C 代码编码到第一次神经网络训练
https://blog.leeshang.top/posts/vuln-ai/模型训练/
作者
leeshang
发布于
2026-10-11
License
CC BY-NC-SA 4.0