Unix/Linux 环境下统计词频：命令行工具与 Python 脚本方案

二、Python 脚本方案（灵活可控）

适合需要复杂规则（如停用词过滤、词干提取）或集成到更大系统的场景。

1. 基础统计脚本

import sys
from collections import Counter
import string

def count_word_frequency(file_path):
    # 读取文件内容
    with open(file_path, 'r', encoding='utf-8') as f:
        text = f.read()
    
    # 预处理：转小写、移除标点
    text = text.lower()
    translator = str.maketrans('', '', string.punctuation)
    text = text.translate(translator)
    
    # 分割单词并统计
    words = text.split()
    word_counts = Counter(words)
    
    # 按词频降序输出
    for word, count in sorted(word_counts.items(), key=lambda x: x[1], reverse=True):
        print(f"{count:4d} {word}")

if __name__ == "__main__":
    if len(sys.argv) != 2:
        print("用法：python word_count.py <输入文件路径>")
        sys.exit(1)
    count_word_frequency(sys.argv[1])

2. 进阶版（过滤停用词）

# 新增停用词过滤功能（需提前定义停用词列表）
STOP_WORDS = {'the', 'and', 'of', 'a', 'to', 'in', 'is', 'it'}

def count_word_frequency(file_path):
    # ...（省略前面的预处理代码）
    # 过滤停用词
    words = [word for word in text.split() if word not in STOP_WORDS]
    word_counts = Counter(words)
    # ...（省略输出代码）

三、方案对比

安全提示：处理未知来源的文本时，建议先通过 file 命令检查文件类型，避免处理二进制文件导致异常。