哈希算法霸权：从碰撞抗性到雪崩效应的算法统治

免责声明：用户因使用公众号内容而产生的任何行为和后果，由用户自行承担责任。本公众号不承担因用户误解、不当使用等导致的法律责任

目录

一：哈希算法介绍

1.哈希算法定义

2.哈希算法特性

3.哈希算法分类

二：哈希算法原理（MD5）

1.设置初始值

2.填充

3.分组

4.循环处理

5.累加

6.拼接

三：python实现哈希算法

1.文件哈希值

2.字符哈希值

3.sha1_crypto.py

4.sha1_hashlib.py

四：哈希算法应用场景

1. 数字签名

2. 文件防篡改

3. 重复文件检测

4. URL缩短与反爬虫

5. 数据库密码存储

五：哈希算法攻击方式及其安全性

1.MD5破解之法

2.其他破解方式

3.彩虹表

六：总结

一：哈希算法介绍

1.哈希算法定义

哈希算法是一种单向函数，能将任意长度的输入数据（如文本、文件、二进制流）转换为固定长度的唯一字符串（称为哈希值、散列值或摘要）。例如：

• 128bit 哈希值：以十六进制表示时，每个字符占4位，共32位（如 e4d909c290d0fb1ca068ffaddf22cbd0）。

核心特性

1. 无需密钥
   哈希计算不依赖密钥，仅基于输入数据本身生成结果（区别于需要密钥的加密算法或MAC）。
2. 单向性（不可逆）
   无法通过哈希值逆向推导出原始输入数据（即使已知算法）。
3. 确定性
   相同输入必然生成相同的哈希值。
4. 输出长度固定
   无论输入数据大小，输出长度固定（如MD5为32位，SHA-3可自定义长度）。
5. 抗碰撞性
   极难找到两个不同的输入产生相同的哈希值（强抗碰撞性）。
6. 雪崩效应
   输入数据的微小变化（如1比特）会导致哈希值完全不同。

别名与关联概念

• 散列算法、杂凑算法：中文对“Hash Algorithm”的直译，强调数据被打散混合的特性。
• 摘要算法：强调哈希值是对数据的“摘要”或“指纹”，可唯一标识原始数据。
• 与加密算法的区别：
  • 哈希算法：单向，生成摘要，无密钥，用于验证完整性。
  • 加密算法（如AES、RSA）：双向，需密钥，用于保护数据机密性。

2.哈希算法特性

• 输出长度：哈希空间结果数为 2^n（n为位数），如：
  • MD5：n=128 → 结果空间 2^128（约3.4×10^38种可能）
  • SHA-256：n=256 → 结果空间 2^256（约1.1×10^77种可能）
• 碰撞概率：根据生日攻击原理，找到碰撞的预期复杂度约为 √(2^n)。

3.哈希算法分类

1. CRC系列
   • 用途：专为错误检测设计（如文件传输、存储校验），不提供安全性。
   • 示例：CRC-32广泛用于ZIP压缩包、以太网帧校验。
2. MD系列
   • 特点：早期设计的哈希算法，MD5因碰撞漏洞（如“不同文件生成相同哈希值”）已淘汰。
   • 替代方案：使用SHA-2或SHA-3系列。
3. SHA系列
   • SHA-1：2005年被证实存在碰撞攻击，不再安全。
   • SHA-2（包括SHA-256、SHA-512）：当前主流标准，抗碰撞性强，适用于高安全场景。
   • SHA-3：新一代算法（Keccak），设计更灵活，抗量子计算攻击。

二：哈希算法原理（MD5）

1.设置初始值

每32位一组共四组128位(A,B,C,D。四个寄存器

A = 0x67452301  
B = 0xEFCDAB89  
C = 0x98BADCFE  
D = 0x10325476

2.填充

N（长度）≡448(mod512) 如果不满足进行填充。前448位：放原始数据+填充的1（标记填充开始位置）和0，后64位：记录原始数据长度

总长度 = 原始长度 + 填充的1和0 + 64位长度记录

举个栗子

假设原始数据是 1000字节（8000位），填充步骤如下：

步骤1：填充1个1和若干个0

1. 先加1个1：变成8001位。
   （添加标志位）
2. 补0直到长度 ≡ 448 mod 512：
   • 计算 8001 ÷ 512 = 15 余 321 → 余数321 < 448，需要补到448。
   • 需要补的0的位数 = 448 - 321 -1 = 126位（因为已经加了1位1）。
   • 填充后总长度 = 8001 + 126 = 8127位（此时 8127 ≡ 448 mod 512）。

步骤2：附加64位的原始长度

• 将这64位附加到填充后的数据末尾，总长度变为：8127 + 64 = 8192位 = 512 × 16（刚好是512的整数倍）。
• N=16  也就是16个块

3.分组

(1) 填充后的数据总长度

• 填充后的数据满足：总长度 = 512 × N（N为整数）。
  例如：填充后数据为8192位 → 8192 ÷ 512 = 16块。

(2) 切割成512位块

• 将数据按顺序切割为连续的512位块。
  例如：8192位 → 块1（0-511位）、块2（512-1023位）… 块16（7680-8191位）。

(3) 每个块细分为16个32位子块

• 子块划分：每个512位块被均分为16个32位（4字节）的子块，记为 M0,M1,…,M15
  例如：块1的512位 → 子块0（0-31位）、子块1（32-63位）… 子块15（480-511位）。

4.循环处理

四轮循环（每轮使用不同的非线性函数和位移数）

每轮需要16次操作四轮共需要64次操作

与（AND）：用符号“∧”表示，表示同时满足两个命题的关系。

或（OR）：用符号“∨”表示，表示两个命题中至少一个为真的关系。

非（NOT）：用符号“¬”表示，表示否定或取反的关系。

异或（⊕）：同为 0，异为 1

每当一个块完成四轮循环后得到的A,B,C,D 和初始值A，B，C，D进行如下操作

5.累加

Ainitial​,Binitial​,Cinitial​,Dinitial​：处理当前块前的寄存器初始值



Acurrent​,Bcurrent​,Ccurrent​,Dcurrent​：四轮循环后的寄存器当前值。



Mod^26=当两个32位无符号整数相加的结果超过32位（即 ≥232≥232）时，超出部分的高位被丢弃，仅保留低32位。也叫溢出自动取模

然后将更新后的寄存器值 Anew,Bnew,Cnew,Dnew 作为下一个512位块的初始值，重复四轮循环操作

6.拼接

当所有512位块处理完毕后（也就是处理N次），最终的哈希值由最后一次更新的寄存器按小端字节序输出128位哈希值值拼接而成：

A = 0x5D41402A → 2A 40 41 5D  

B = 0xBC4B2A76 → 76 2A 4B BC  

C = 0xB9719D91 → 91 9D 71 B9  

D = 0x1017C592 → 92 C5 17 10  

拼接结果：5d41402abc4b2a76b9719d911017c592。

三：python实现哈希算法

1.文件哈希值

利用python直接将文件读取为哈希值

当前代码路径下放置文本文件进行读取

也可以利用如下工具

代码如下

from hashlib import md5 from hashlib import sha1 from hashlib import sha256 from hashlib import sha512 class StreamHash(): """哈希摘要生成器""" def __init__(self, algorithm='md5', size=1024): self.size = size alg = algorithm.lower() if alg == 'md5': self.hash = md5() elif alg == 'sha1': self.hash = sha1() elif alg == 'sha256': self.hash = sha256() elif alg == 'sha512': self.hash = sha512() else: raise ValueError('不支持指定的摘要算法') # 魔法方法: 让对象可以像函数一样被调用 def __call__(self, stream): return self.to_digest(stream) def to_digest(self, stream): """生成十六进制形式的哈希摘要字符串""" for data in iter(lambda: stream.read(self.size), b''): self.hash.update(data) return self.hash.hexdigest() def main(): # hash = md5() sh = StreamHash() with open('1.txt', 'rb') as stream: # for buf in iter(lambda: stream.read(4096), b''): # hash.update(buf) # print(hash.hexdigest()) #print(sh(stream)) print(sh.to_digest(stream)) if __name__ == '__main__': main() ///file_hash.py

2.字符哈希值

crypto库实现哈希值

python生成的哈希值和网站md5值相同

# python 版本 3.x # windows安装依赖：pip install pycryptodome # Linux安装依赖： pip install pycrypto from Crypto.Hash import MD5 obj1 = MD5.new() obj1.update(b"123456") print(obj1.hexdigest()) obj2 = MD5.new() obj2.update("安全瞭望Sec".encode('utf-8')) print(obj2.hexdigest()) ///md5_crypto.py

hashlib库实现哈希值

import hashlib # 英文计算哈希值 m = hashlib.md5() m.update(b'123456') # 返回16进制字符串 print(m.hexdigest()) # 中文计算哈希值 data = '安全瞭望Sec' enc = data.encode(encoding='utf-8') value = hashlib.md5(enc).hexdigest() print(value) ///md5_hashlib.py

3.sha1_crypto.py

# python 版本 3.x # windows安装依赖：pip install pycryptodome # Linux安装依赖： pip install pycrypto from Crypto.Hash import SHA1 sha1 = SHA1.new() sha1.update("安全瞭望Sec".encode('utf-8')) # print(sha1.digest()) # 返回字节串 print(sha1.hexdigest()) # 返回16进制字符串

4.sha1_hashlib.py

与sha1_crypto.py代码结果相同

import hashlib string='安全瞭望Sec' sha1 = hashlib.sha1() sha1.update(string.encode('utf-8')) res = sha1.hexdigest() print(res)

四：哈希算法应用场景

1. 数字签名

• 原理：
  发送方用哈希算法（如SHA-256）对服务器公钥生成消息摘要，再用私钥加密摘要形成数字签名。接收方用公钥解密签名获取哈希值，并与重新计算的哈希对比，验证消息完整性和来源真实性。
• 关键点：
  • 必须选择抗碰撞的哈希算法（如SHA-2/3系列）。
  • 结合非对称加密（如RSA、ECC）实现身份认证。
• 注意事项：
  • 避免使用MD5、SHA-1等已被破解的算法。
  • 定期更新密钥对以应对潜在泄露风险。

2. 文件防篡改

• 原理：
  文件发布者计算文件的哈希值（如SHA-256校验和），用户下载后重新计算哈希并与官方值比对。若不一致，则文件可能被篡改。
• 增强安全性：
  • 结合数字签名：哈希值由发布者私钥签名，防止哈希值本身被篡改。
  • 使用HTTPS分发哈希值，避免中间人攻击。
• 典型场景：
  • 软件下载、固件更新、法律文档传输。

3. 重复文件检测

• 原理：
  通过哈希值（如MD5、SHA-1）唯一标识文件内容，相同哈希值的文件视为重复。
• 优化策略：
  • 分块哈希：对大文件分块计算哈希，提升效率（如BitTorrent）。
  • 二次验证：哈希匹配后，逐字节比对防止冲突。
• 注意事项：
  • 避免仅依赖短哈希（如MD5），选择长哈希（如SHA-256）减少碰撞概率。
  • 云存储中常用内容寻址存储（如IPFS），直接以哈希作为文件地址。

4. URL缩短与反爬虫

• 应用场景：
  • 短链生成：将长URL哈希后编码为短字符串（如Base62）。
  • 反爬虫：将自增ID通过哈希混淆，生成无规律字符串（如1→aX3f，2→gT7y），阻止顺序遍历。
• 实现步骤：
  1. 对原始URL计算哈希（如MurmurHash）。
  2. 将哈希值转换为Base62等短字符串。
  3. 处理冲突：若短码已存在，追加随机字符或重试。
• 注意事项：
  • 选择高效哈希算法（如CRC32、MurmurHash）以支持高并发。
  • 结合数据库唯一索引解决冲突。

5. 数据库密码存储

• 问题：
  简单哈希（如MD5）易受彩虹表攻击，且相同密码哈希值相同。
• 正确实践：
  • 加盐（Salt）：为每个密码生成随机盐值，与密码组合后再哈希。
  • 慢哈希函数：使用bcrypt、scrypt或Argon2，增加计算成本，抵御暴力破解。
• 示例流程：
  1. 用户注册时生成随机盐。
  2. 计算hash = bcrypt(password + salt)。
  3. 存储hash和salt到数据库。
• 注意事项：
  • 盐值需足够长（≥16字节）且唯一。
  • 定期升级哈希算法参数（如迭代次数）。

五：哈希算法攻击方式及其安全性

1.MD5破解之法

碰撞攻击

• 原理：
  找到两个不同的输入 M1≠M2，使它们的MD5哈希值相同（即 MD5(M1)=MD5(M2)）。
• 实现方式：
  • 数学构造法：利用MD5算法的结构漏洞（如块处理、填充规则）构造碰撞。
  • 工具辅助：使用开源工具（如 fastcoll、HashClash）自动生成碰撞文件。
• 经典案例：
  • 2004年：王小云团队首次公开MD5碰撞方法，理论复杂度从 264264 降至 240240。
  • 2008年：研究人员生成伪造的SSL证书，与合法证书具有相同的MD5值，导致信任链被破坏。
  • 2012年：生成两个不同内容的PDF文件但MD5相同，可绕过文件校验。

2.其他破解方式

1.攻击类型

2.优缺点

3.总结对比

3.彩虹表

彩虹表的核心概念

• 定义：
  彩虹表是一种预计算的哈希链，用于快速破解未加盐的哈希密码。通过“哈希链”减少存储需求，提升破解效率。
• 核心组件：
  • 哈希函数（H）：如MD5、SHA-1等。
  • 归约函数（R）：将哈希值映射回可能的明文空间（例如：取哈希值前几位转换为字符）

彩虹表攻击图

具体攻击方式原理参考：深入浅出彩虹表原理-腾讯云开发者社区-腾讯云

彩虹表攻击时间

彩虹表的优缺点

彩虹表下载地址：http://project-rainbowcrack.com/table.htm

六：总结

哈希算法通过不可逆计算将任意数据转换为固定长度的唯一摘要值，确保数据完整性、安全验证及身份认证，其安全性依赖抗碰撞能力，需选用如SHA-256等现代算法抵御攻击。

（需要源代码及各类资料联系博主免费领取！！还希望多多关注点赞支持，你的支持就是我的最大动力！！！）