CTF逆向实战：RC4、TEA与Base64加密算法的特征识别与魔改分析
1. 引言：CTF逆向中的加密算法识别，从“看脸”到“看骨”
大家好，我是老K，一个在CTF逆向和AI安全领域摸爬滚打了十来年的老兵。今天想和大家聊聊CTF逆向比赛中一个既基础又核心的技能——加密算法的特征识别与魔改分析。
很多刚入门逆向的朋友，面对一堆反汇编代码，常常感觉像在看天书。特别是当程序里用上了加密算法，如果认不出来，解题思路直接就卡死了。我刚开始打比赛那会儿也这样，看到一个循环里一堆异或和移位，头都大了，根本分不清这是RC4、TEA还是出题人自己瞎写的玩意儿。
后来踩的坑多了，我才慢慢总结出规律：大多数经典加密算法，就像人一样，有自己独特的“骨骼特征”和“行为习惯”。比如RC4，你总能看到它那个256字节的S盒在晃悠；TEA呢，则离不开那个神秘的魔法数字 0x9e3779b9；Base64就更直白了，直接把编码表拍在你脸上。
但CTF比赛最“坑”的地方就在于，出题人很少会直接用标准算法。他们总喜欢搞点“魔改”——改个常量、换个S盒、加层可逆变换，让你以为遇到了新算法，其实内核还是老熟人。这就好比一个老朋友换了身衣服、戴了个面具，你得透过现象看本质，认出他骨头架子没变。
所以，这篇文章我就结合自己这些年的实战经验，带大家深入剖析RC4、TEA和Base64这三种在CTF逆向中最常出现的加密算法。我们不只讲标准特征，更重点聊聊它们常见的“魔改”套路，以及如何像侦探一样，从一堆混乱的指令中快速定位并还原出原始算法。我会用大量真实的代码片段和逆向案例，手把手教你如何识别、如何分析、如何写出解密脚本。目标很简单：让你下次在IDA里看到它们时，能会心一笑，说一句：“哦，是你啊。”
2. RC4算法：流加密中的“变色龙”，特征与魔改全解析
RC4是我个人非常喜欢的一种算法，结构简洁，但用在CTF里花样可以非常多。它属于流加密，也就是一个字节一个字节地处理，加解密用同一个密钥，本质上就是通过密钥生成一个伪随机的密钥流，然后和明文做异或。
2.1 标准RC4的“骨骼特征”：抓住那256次循环
我们先来看看标准RC4长什么样。它主要分两大步：初始化算法（KSA） 和 伪随机生成算法（PRGA）。
初始化算法的C代码核心是这样的：
void rc4_init(unsigned char *s, unsigned char *key, unsigned long key_len) { int i = 0, j = 0; unsigned char k[256] = {0}; unsigned char tmp = 0; // 特征1：S盒线性初始化 for (i = 0; i < 256; i++) { s[i] = i; // 这就是S盒，按顺序填满0-255 k[i] = key[i % key_len]; // 用密钥循环填充临时数组K } // 特征2：基于密钥的S盒乱序操作 for (i = 0; i < 256; i++) { j = (j + s[i] + k[i]) % 256; // 计算交换位置 tmp = s[i]; s[i] = s[j]; // 交换s[i]和s[j] s[j] = tmp; } } 加密（或解密）过程是这样的：
void rc4_crypt(unsigned char *s, unsigned char *data, unsigned long data_len) { int i = 0, j = 0, t = 0; unsigned long k = 0; unsigned char tmp; for (k = 0; k < data_len; k++) { i = (i + 1) % 256; j = (j + s[i]) % 256; tmp = s[i]; s[i] = s[j]; s[j] = tmp; t = (s[i] + s[j]) % 256; data[k] ^= s[t]; // 核心：异或操作 } } 那么，在逆向中怎么一眼认出它呢？我给大家总结几个“指纹”：
- 数字256无处不在：你会看到大量的
% 256操作，这是RC4最显眼的招牌。因为它的S盒长度就是256。 - 两个经典的256次循环：第一个循环把0到255按顺序填入数组；第二个循环进行一系列交换。在反汇编代码里，你会看到循环计数器跟0xFF（即256）比较。
- S盒的初始化：通常会在栈或全局变量区分配一个256字节的数组，然后用一个循环初始化为递增序列。在内存中观察，你会看到一片从00到FF的连续数据。
- 最后的异或：加密的核心是
data[k] ^= s[t]，所以你会找到对数据逐字节进行异或操作的指令。
我印象很深的一次比赛，题目把RC4的初始化过程藏得很深，但我在动态调试时，发现内存中突然出现了一个0到255排列整齐的数组，然后被快速打乱。就凭这个“S盒诞生”的过程，我立刻锁定了RC4。
2.2 常见魔改套路：出题人都在哪里“动手脚”？
出题人知道大家认识标准RC4，所以一定会改。但他们的修改通常不会破坏算法的可逆性（不然没法解密了），而是在几个关键点上做文章：
套路一：魔改S盒的初始值 这是最常见的。标准RC4把S盒初始化为0,1,2,...,255。出题人可能把它改成其他序列，比如倒序（255,254,...,0），或者用一个固定的、非线性的数组来初始化。识别方法是：找初始化S盒的循环，看赋给s[i]的值是不是i。如果不是，那就是被魔改了。
套路二：在初始化置换过程中添加操作 在第二个for循环里，标准算法是 j = (j + s[i] + k[i]) % 256。出题人可能会在这里加料，比如变成 j = (j + s[i] * 2 + k[i]) % 256，或者引入额外的变量进行运算。你需要仔细跟踪j的计算过程，看有没有多出什么算术或逻辑运算。<
