从零理解 UniXcoder:从 C 代码编码到第一次神经网络训练
1. 前言:为什么要做这个实验?
最近开始尝试一个 AI × 信息安全方向的项目,希望利用代码预训练模型实现 C/C++ 源代码漏洞检测,并逐步将其发展为信息安全作品赛项目。
由于此前没有系统学习过机器学习、PyTorch 和 Transformer,因此选择从较小的实验开始,而不是直接运行完整的漏洞检测训练框架。
第一阶段使用的是微软开源的代码预训练模型 microsoft/unixcoder-base,目标是弄清楚:
一段 C 函数是如何变成模型输入、经过神经网络、输出分类结果,并通过训练调整参数的?
本阶段尚未使用正式漏洞数据集,也没有完成漏洞检测模型的正式评估。
2. 实验环境
| 项目 | 配置 |
|---|---|
| 操作系统 | WSL Ubuntu |
| Python | 3.12.3 |
| PyTorch | 2.10.0+cu128 |
| CUDA Build | 12.8 |
| GPU | RTX 5060 Laptop GPU |
| 预训练模型 | microsoft/unixcoder-base |
| 模型加载工具 | Hugging Face Transformers |
实验过程中还遇到了 CUDA 与驱动版本不兼容、WSL 网络无法访问 Hugging Face 等问题。最终通过匹配 CUDA 构建版本以及修复 WSL 网络代理解决。
3. 第一步:让模型读取 C 代码
使用下面的代码作为输入样本:
void f(char *input){ char buf[8]; strcpy(buf, input);}这段函数中的 buf 只有 8 字节,但 strcpy 不会自动检查目标缓冲区大小。如果源字符串过长,可能造成缓冲区溢出。
这里首先需要区分两个不同概念:
C 函数中的 input 是一个字符指针参数;而漏洞检测模型的输入是整个函数的源代码文本。
3.1 Tokenizer:把代码转换成数字
模型不能直接对源代码字符串进行数值计算,因此需要 Tokenizer(分词器)进行编码。
大致过程为:
源代码 → Token → Token ID
实验发现,原始函数被拆分为 28 个 Token,其中 Ġ 通常对应空格,Ċ 对应换行。
随后调用 Tokenizer 生成 input_ids 和 attention_mask,并设置 max_length=512。
输出结果为:
| Tensor | Shape |
|---|---|
| input_ids | [1,512] |
| attention_mask | [1,512] |
这里:
1表示 Batch Size(批大小),即本次只有一个函数。512表示 Sequence Length(序列长度)。input_ids存储 Token 在词表中的编号。attention_mask使用 1 标记有效 Token,0 标记 Padding(填充)位置。
当前样本有 28 个源码 Token,加上起始与结束特殊 Token,共 30 个有效位置,其余位置用 Padding 补齐。
4. 第二步:UniXcoder 如何表示代码?
把编码结果送入 UniXcoder:
outputs = model(input_ids=..., attention_mask=...)得到:
last_hidden_state.shape = [1,512,768]Last Hidden State(最后一层隐藏状态)可以理解为 Transformer 最后一层输出的 Token 上下文表示。
原来的 Token ID 只是一个整数编号;经过模型后,每个 Token 都被表示为一个 768 维向量。
三个维度分别表示:
| 维度 | 含义 |
|---|---|
| 1 | 一个函数样本 |
| 512 | 512 个 Token 位置 |
| 768 | 每个 Token 的特征向量长度 |
这里有个重要认识:即使两段代码里某个 Token 的 ID 相同,它经过 Transformer 后的隐藏状态也可能不同,因为模型会结合上下文计算表示。
但是目前得到的是每个 Token 的向量,而不是整个函数的单个向量。
5. 第三步:Pooling,如何得到整个函数的向量?
Pooling(池化)是将一组特征向量汇总成一个向量的方法。
实验中了解了两种方案:
方案 A:首 Token 池化
直接取第一个特殊 Token <s> 的最后一层隐藏状态作为函数表示。
由于这个 Token 可以通过 Self-Attention(自注意力)接收其他 Token 的上下文信息,因此它的隐藏表示可以被用于函数级任务。
但是,这不意味着它天然就是最佳的函数表示。
方案 B:Masked Mean Pooling(带掩码的平均池化)
对所有有效 Token 的隐藏向量逐维求平均,避免 Padding 参与最终的平均计算。
核心代码:
mask = attention_mask.unsqueeze(-1)masked_hidden = outputs.last_hidden_state * masksum_hidden = masked_hidden.sum(dim=1)token_count = mask.sum(dim=1)function_embedding = sum_hidden / token_countShape 的变化为:
[1,512,768] → [1,768]其中 unsqueeze(-1) 增加一个长度为 1 的维度,使 Mask 能够通过 Broadcasting(广播机制)作用到每个 Token 的 768 维表示上。
sum(dim=1) 则沿 Token 维度求和。
Mean Pooling 的缺点是可能稀释少数关键 Token 的信号,也不能保证不同函数获得完全不同的向量。因此,后续可以比较不同池化方案对漏洞分类的影响。
6. 第四步:通过 Linear 实现漏洞二分类
得到整个函数的 768 维向量后,使用:
classifier = torch.nn.Linear(768, 2)输出两个 Logits(原始分类分数),分别对应:
- 类别 0:Safe
- 类别 1:Vulnerable
分类器的权重矩阵 Shape 为 [2,768],偏置为 [2],一共具有 1538 个可训练参数。
通过 Softmax 可以将 Logits 转换为两个类别的概率。
但由于分类头此时尚未训练,因此输出的概率不能代表可靠的漏洞判断。
7. 第五步:第一次训练分类器
本次实验采用一条带有缓冲区溢出风险的代码样本,令其标签为 1。
使用 CrossEntropyLoss(交叉熵损失)衡量模型预测与真实标签之间的差异,并使用 AdamW 优化器更新参数。
关键训练循环为:
optimizer.zero_grad()logits = classifier(function_embedding)loss = criterion(logits, label)loss.backward()optimizer.step()通过这个实验理解了五个基本过程:
| 操作 | 作用 |
|---|---|
| zero_grad | 清除上一轮累积的梯度 |
| forward | 根据当前参数计算预测 |
| loss | 比较预测与真实标签 |
| backward | 通过反向传播计算梯度 |
| optimizer.step | 使用梯度更新参数 |
其中 Gradient(梯度)描述损失随参数变化的情况。基础梯度下降通常沿负梯度方向调整参数,以尝试降低损失。
7.1 实际训练结果
训练 10 个 Step 后:
| Step | Loss |
|---|---|
| 1 | 0.4981 |
| 2 | 0.1385 |
| 3 | 0.0406 |
| 4 | 0.0141 |
| 5 | 0.0057 |
| 6 | 0.0026 |
| 7 | 0.0013 |
| 8 | 0.0007 |
| 9 | 0.0004 |
| 10 | 0.0003 |
训练后的预测概率:
Safe ≈ 0.00018Vulnerable ≈ 0.99982预测类别为 1。
这说明分类器能够通过梯度更新,在当前样本上不断降低训练损失。
7.2 错误标签实验
为了进一步理解模型训练,我把完全相同的漏洞样本标签从 1 改成 0,其他训练代码不变。
最终分类器也将它预测成了 0。
这个现象让我意识到:
模型并不会因为代码在客观上存在漏洞,就自动拒绝错误标签。它是在根据提供的训练目标调整参数。
因此,Loss 下降不代表模型一定学到了正确规律。
数据集标签质量、样本多样性以及对未见数据的测试,都非常重要。
8. 本次实验究竟训练了什么?
这是整个实验中最容易被误解的地方。
目前模型结构为:
UniXcoder → Mean Pooling → Linear 分类器
但本次训练仅更新了 Linear 分类头的参数。
UniXcoder 使用预训练权重产生函数向量,其前向传播放在 torch.no_grad() 内,因此没有参与反向传播;优化器接收的也只有分类器参数。
也就是说,本次实现的是:
固定预训练特征 + 单样本分类头训练。
而不是 UniXcoder 的完整 Fine-tuning(微调)。
未来进行联合微调时,需要让损失的梯度通过分类头、Pooling 传回 UniXcoder,并让优化器更新相应参数。
9.学习过程中我真正困惑的几个问题
1. 为什么模型的输入是整个 C 函数,而不是函数参数 input?
答: 因为我们的任务是判断一个函数是否可能存在漏洞,模型需要分析函数中的具体操作、变量关系、控制逻辑等上下文信息,而不是单纯分析某个函数参数。
C 函数中的 input 只是被分析程序的一个参数,而机器学习模型的输入是我们提供给它的整段源码。两者并不是一个概念。
当然,当前的函数级检测主要依据函数本身可见的信息,未必包含完整项目中的调用关系和其他外部上下文。
2. Mean Pooling 不会让两个不同函数的平均向量碰巧相同吗?
答: 理论上完全可能,因为 Mean Pooling 本身并不保证不同输入得到不同输出。
虽然实际模型中,不同函数产生完全相同的 768 维向量通常不是主要问题,但不能仅凭维度数量就保证碰撞概率极低。
真正更值得担心的是信息损失:平均池化可能削弱某些关键 Token 的特征,使原本安全性不同的函数得到过于相近的表示。
因此,后续可以通过实验比较 Mean Pooling 和首 Token Pooling,观察哪一种更有利于漏洞检测。
3. 为什么只训练分类器可能不够?UniXcoder 和分类器是否需要共同调整参数?
答: UniXcoder 虽然已经经过代码预训练,具有一定的代码特征表示能力,但并不是专门为了漏洞检测任务训练的。
分类器接收到的是 UniXcoder 提供的函数特征向量。如果这些向量没有充分保留与漏洞相关的信息,即使分类器经过训练,也可能难以准确判断。
联合微调可以让 UniXcoder 调整特征表示,同时让分类器学习如何利用这些特征,使两部分参数共同适应漏洞检测任务。
不过,联合微调并不一定始终优于冻结编码器。最终需要结合数据规模、过拟合情况和实际评估指标来判断哪种方法更合适。
10. 阶段总结与下一步计划
这一阶段最大的收获,并不是得到了接近 100% 的单样本预测概率,而是第一次理解了完整的数据流与基本训练过程:
源码 → Token ID → Transformer → Hidden State → Pooling → Classifier → Loss → Backward → 参数更新
目前还不能声称模型具备可靠的漏洞检测能力,因为实验只使用了一条样本,没有独立测试集,也没有评估泛化能力。
下一阶段计划使用 Devign 等公开数据集,学习 Dataset、DataLoader、多样本训练、训练集与验证集划分,以及 Precision、Recall、F1 等指标。
最终目标是形成一个实验结果真实、可复现、能够逐步改进的 C/C++ 漏洞检测 baseline。
个人反思
这次学习改变了我对“训练 AI 模型”的初步认识。
最初觉得训练模型就是把数据输入进去,让模型自动学习。而实际接触后才发现,输入如何编码、向量如何汇总、哪些参数参与训练、标签是否可靠、损失如何计算,都直接影响训练结果。
目前我只是初步理解了这些机制,很多对知识及概念的理解更偏直觉,距离真正掌握模型训练与漏洞检测还有很长的路,但至少已经能解释自己运行的核心代码在做什么。
另:本文基于个人实际实验与学习过程整理,使用 AI 辅助进行知识讲解、结构梳理和文字润色。实验代码已亲自运行,相关结论结合实际输出进行记录