深入理解 Linux 系统文件 I/O:从 open 到重定向的底层逻辑》

深入理解 Linux 系统文件 I/O:从 open 到重定向的底层逻辑》

目录

传递标志位

 初识open 

文件操作

写文件操作

读文件操作

open函数返回值

文件描述符

文件描述符的分配规则

重定向

使用 dup2 系统调用

输出重定向

输入重定向

前言

在 Linux 系统中,程序与文件的交互离不开 “系统文件 I/O”—— 这是操作系统为用户层程序提供的一套底层接口,也是理解 “程序如何操作文件” 的核心钥匙。无论是我们日常使用的文本编辑器,还是后台运行的服务程序,其读写文件、处理输入输出的能力,最终都依赖于openwritereaddup2这些系统调用。



但对于很多开发者来说,系统文件 I/O 的知识点常常是零散的:标志位的组合有什么规律?open返回的文件描述符到底是什么?为什么fd=0、1、2总是被默认占用?重定向又是如何通过dup2实现的?这些问题看似独立,实则围绕 “文件描述符” 这一核心概念紧密相连。



本文将以 “文件描述符” 为线索,从 “传递标志位”“初识 open” 入手,逐步拆解写文件、读文件的操作逻辑,再深入讲解文件描述符的分配规则,最终聚焦重定向的实现原理(包括dup2调用与输入输出重定向)。无论你是刚接触 Linux 开发的新手,还是想夯实底层基础的开发者,都能通过本文理清系统文件 I/O 的脉络,理解从接口调用到系统底层的映射关系。

打开文件的方式不仅仅是fopen,ifstream等流式,语言层的方案,其实系统才是打开文件最底层的方案。不过,在学习系统文件IO之前,先要了解下如何给函数传递标志位,该方法在系统文件IO接口中会使用到:

传递标志位

了解下如何给函数传递标志位,该方法在系统文件IO接口中会使用到:

 #include <stdio.h> #define ONE_FLAG (1<<0)//0000 0000 0000...0000 0001 #define TWO_FLAG (1<<1)//0000 0000 0000...0000 0010 #define THREE_FLAG (1<<2) //0000 0000 0000...0000 0100 #define FOUR_FLAG (1<<3)//0000 0000 0000...0000 1000 void print(int flags){ if(flags & ONE_FLAG){ printf("One!\n"); } if(flags & TWO_FLAG){ printf("Two!\n"); } if(flags & THREE_FLAG){ printf("Three!\n"); } if(flags & FOUR_FLAG){ printf("Four!\n"); } printf("\n"); } int main() { print(ONE_FLAG); print(ONE_FLAG | TWO_FLAG); print(ONE_FLAG | TWO_FLAG | THREE_FLAG); print(ONE_FLAG | TWO_FLAG | THREE_FLAG | FOUR_FLAG); print(TWO_FLAG | FOUR_FLAG); return 0; } 

print函数通过&运算判断该参数中哪些标志位被设置,从而触发对应的if分支。这种通过位运算组合标志的方式,能高效地用一个整数表示多种状态,广泛用于选项控制、权限管理等场景。

 初识open 

pathname: 要打开或创建的目标文件flags: 打开文件时,可以传入多个参数选项,用下面的一个或者多个常量进行“或”运算,构成flags。参数:O_RDONLY: 只读打开O_WRONLY: 只写打开O_RDWR : 读,写打开这三个常量,必须指定一个且只能指定一个O_CREAT : 若文件不存在,则创建它。需要使用mode选项,来指明新文件的访问权限O_APPEND: 追加写返回值:成功:新打开的文件描述符失败:-1

flag,标记位   ;flags的选项

mode 权限位

open返回值

open 函数具体使用哪个,和具体应用场景相关,如目标文件不存在,需要open创建,则第三个参数表示创建文件的默认权限,否则,使用两个参数的open。

#include <stdio.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> int main() { int fd=open("log.txt",O_CREAT | O_WRONLY); if(fd<0){ perror("open"); return 1; } return 0; } 

我们发现创建的文件的权限有问题,是乱的,创建文件需要把权限带上。

修改代码如下

int fd=open("log.txt",O_CREAT | O_WRONLY,0666);

因为umask权限掩码的影响所以权限有点出入,受了系统的影响。可添加umask(0);

所以open提供第三个参数是让我们新建文件时指定权限。

可以采用系统接口来进行文件访问, 来直接以系统代码的形式。

文件操作

写文件操作

#include <stdio.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <unistd.h> #include <string.h> int main() { umask(0); int fd=open("log.txt",O_CREAT | O_WRONLY,0666); if(fd<0){ perror("open"); return 1; } printf("fd=%d\n",fd); int count = 5; const char *msg = "hello world!\n"; int len = strlen(msg); while(count--){ write(fd, msg, len);//fd: 后?讲, msg:缓冲区?地址, len: 本次读取,期望写?多少个字节的数据。 返回值:实际写了多少字节数据 } close(fd); return 0; } 

如果我们再次把msg内容改下,再次写入的时候,会发现是覆盖式写入,不是C语言的清空,因为我们还要传递一个清空的标志位即可,这是系统调用,所以是有区别的。

msg="aaaa\n"后

清空写入

所以加一个清空的标志位

// 增加 O_TRUNC 标志,打开时自动清空文件 int fd = open("log.txt", O_CREAT | O_WRONLY | O_TRUNC, 0666);

追加写入

int fd=open("log.txt",O_CREAT | O_WRONLY | O_APPEND); 

清空和追加写入就想到了C语言的fopen的w和a模式,语言层fopen封装了底层的open。

补充

write在写的时候,是void* ,说明即可字符串写入也可二进制写入等。

文本写入 VS 二进制写入---语言层提供的概念

在系统层面,系统关心写入方式吗?系统不关心!!!---随便写。

二进制写入

int a=123456; while(cnt--){ wtrite(fd,&a,sizeof(a)); } 

发现是乱码,实际上写的是整型变量a

字符串格式化写入

char buf[16]; snprintf(buf,sizeof(buf),"%d",a); write(fd,buf,sizeof(buf));

读文件操作

int main(){ umask(0); int fd=open("log.txt",O_RDONLY); if(fd<0){ perror("open"); return 1; } printf("fd=%d\n",fd); while(1){ char buffer[64]; int n=read(fd,buffer,sizeof(buffer)-1); if(n>0){ buffer[n]=0; printf("%s",buffer); } else if(n==0){ break; } } 

open函数返回值

在认识返回值之前,先来认识⼀下两个概念: 系统调用 和 库函数  上面的 fopen fclose fread fwrite 都是C标准库当中的函数,我们称之为库函数(libc)。而 open close read write lseek 都属于系统提供的接口,称之为系统调用接口回忆一下我们讲操作系统概念时,画的一张图

系统调用接口和库函数的关系,一目了然。所以,可以认为, f# 系列的函数,都是对系统调用的封装,方便二次开发。

文件描述符

 #include <stdio.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <unistd.h> #include <string.h> #include <stdlib.h> int main(){ umask(0); int fd1=open("log1.txt",O_CREAT | O_WRONLY | O_TRUNC,0666); int fd2=open("log2.txt",O_CREAT | O_WRONLY | O_TRUNC,0666); int fd3=open("log3.txt",O_CREAT | O_WRONLY | O_TRUNC,0666); int fd4=open("log4.txt",O_CREAT | O_WRONLY | O_TRUNC,0666); if(fd1<0) exit(1); if(fd2<0) exit(1); if(fd3<0) exit(1); if(fd4<0) exit(1); printf("fd1:%d\n",fd1); printf("fd2:%d\n",fd2); printf("fd3:%d\n",fd3); printf("fd4:%d\n",fd4); close(fd1); close(fd2); close(fd3); close(fd4); return 0; } 

0,1,2去哪里了??? 0,1,2叫做标准输入,标准输入标准错误!!!

在OS接口层面,只认fd,即文件操作符!!!

以前C语言中FILE*fopen,FILE是C语言提供的一个结构体,一定封装了文件操作符。

默认打开的stdin,stdout,stderr封装了0,1,2.

语言的封装增加了平台的可移植性。

printf("stdin->%d\n",stdin->_fileno); printf("stdout->%d\n",stdout->_fileno); printf("stderr->%d\n",stderr->_fileno);

Linux进程默认情况下会有3个缺省打开的文件描述符,分别是标准输入0, 标准输出1, 标准错误2.0,1,2对应的物理设备一般是:键盘,显示器,显示器

而现在知道,文件描述符就是从0开始的小整数。当我们打开文件时,操作系统在内存中要创建相应的数据结构来描述目标文件。于是就有了file结构体。表示一个已经打开的文件对象。而进程执行open系统调用,所以必须让进程和文件关联起来。每个进程都有一个指针*files, 指向一张表files_struct,该表最重要的部分就是包含一个指针数组,每个元素都是一个指向打开文件的指针!

所以,本质上,文件描述符就是该数组的下标。所以,只要拿着文件描述符,就可以找到对应的文件。

对文件内容做任何操作,就必须先把文件加载到内核对应的文件缓冲区内!!!加载的本质,就是磁盘到内存的拷贝。

文件描述符的分配规则

// close(0); // close(1); close(2); int fd1=open("log1.txt",O_CREAT | O_WRONLY | O_TRUNC,0666); if(fd1<0) exit(1); printf("fd1:%d\n",fd1); //close(fd1); 

这里我们把关闭文件先注释掉,不注释效果一样输出一样。注释掉是后面单独测fd=1。

在没有关闭的情况下,fd1为3,关闭0,为1,关闭1没有输出,关闭2,为2.

文件描述符的分配原则:在files_struct数组中,找到当前没有被使用的最小的一个下标,作为新的文件描述符。

重定向

 close(1); int fd1=open("log1.txt",O_CREAT | O_WRONLY | O_TRUNC,0666); if(fd1<0) exit(1); printf("fd1:%d\n",fd1);

观察下面的结果

当我们关闭1时,虽然./myfile没有输出,但是1写进了log1.txt中。

这 种现象叫做输出重定向。

重定向是修改文件描述符的指针指向,数组下标是不变的。

常见的重定向有: > , >> , <

如果我们在文件打开后加上close(1)或者close(fd)后,cat log1.txt文件将不会输出1.(这个现象在后面的缓冲区后面讲解)。

后面这种写法可以输出

int main() { close(1); int fd = open("myfile", O_WRONLY|O_CREAT, 00644); if(fd < 0){ perror("open"); return 1; } printf("fd: %d\n", fd); fflush(stdout); close(fd); return 0; }

使用 dup2 系统调用

#include <unistd.h> int dup2(int oldfd, int newfd);

输出重定向

int fd1=open("log1.txt",O_CREAT | O_WRONLY | O_TRUNC,0666); if(fd1<0) exit(1); dup2(fd1,1); // close(fd1); //默认向显示器输出 printf("fd1:%d\n",fd1); printf("hello C!\n"); printf("hello C!\n"); fprintf(stdout,"hello stdout!\n"); fprintf(stdout,"hello stdout!\n"); 

这种写法是清空时的输出。

追加 :int fd1=open("log1.txt",O_CREAT | O_WRONLY | O_APPEND,0666);

输入重定向

int fd1=open("log1.txt",O_RDONLY); if(fd1<0) exit(1); dup2(fd1,0); close (fd1); while(1){ char buffer[64]; if(!fgets(buffer,sizeof(buffer),stdin)) break; printf("%s",buffer); } 
int main(int argc,char *argv[]){ if(argc!=2) exit(1); int fd1=open(argv[1],O_RDONLY); if(fd1<0) exit(1); dup2(fd1,0); close (fd1); while(1){ char buffer[64]; if(!fgets(buffer,sizeof(buffer),stdin)) break; printf("%s",buffer); } return 0; } 

重定向:打开文件的方式+dup2

结束语

系统文件 I/O 是 Linux 开发的 “基本功”,也是连接用户层程序与内核文件系统的桥梁。从open函数的标志位组合,到文件描述符的 “最小未使用” 分配规则,再到dup2实现重定向的巧妙逻辑,每一个知识点背后,都藏着操作系统 “高效管理资源” 的设计思想 —— 比如用文件描述符简化对文件的引用,用标志位灵活控制文件打开方式,用重定向实现输入输出的灵活切换。

掌握这些内容,不仅能让你在编写文件操作代码时更从容(比如避免因标志位错误导致的文件覆盖,或因文件描述符泄漏引发的资源问题),更能帮你理解上层应用的底层逻辑:比如 Shell 的重定向命令>、<如何实现,日志输出为何能从控制台转向文件。

当然,系统文件 I/O 的学习不止于此 —— 后续还可以深入探究 “文件描述符表与 inode 的关联”“缓冲区与同步机制” 等进阶话题。但只要夯实了本文的基础,再面对更复杂的文件系统问题时,你就能快速抓住核心。希望本文能成为你理解 Linux 系统文件 I/O 的起点,让你在底层开发的道路上走得更稳、更远。

Read more

Whisper 音频转录

你好呀!今天我们来聊聊如何用 OpenAI 的 Whisper 工具把音频文件变成文字。这东西可厉害了,不管是 podcast、讲座还是自己录的语音,都能轻松转成文本,超方便的! 准备工作 📋 在开始之前,你需要准备好: * Python 3.7 或更高版本(现在大部分电脑都有了) * 一点磁盘空间(模型大小从几十MB到几GB不等,看你选哪个) * 对啦,还要有网络,因为第一次用需要下载模型 安装 Whisper 🚀 安装超级简单,打开命令行,输入这行代码就搞定: pip install openai-whisper 等着它自己安装完就好啦,是不是很easy? 使用我们的转录脚本 📝 已经为你准备了一个超级好用的脚本transcribe_audio.py,它可以批量处理音频文件,超省时间! 脚本有啥功能? * 支持各种音频格式:mp3、wav、m4a、flac 都没问题 * 自动创建

By Ne0inhk

GitHub Copilot学生认证完全指南:小白也能轻松上手

快速体验 1. 打开 InsCode(快马)平台 https://www.inscode.net 2. 输入框内输入如下内容: 创建一个交互式教程网站,引导编程新手完成:1) GitHub学生认证申请;2) Copilot安装配置;3) 基础使用演示。要求包含分步指导、常见问题解答和简单练习任务。使用HTML/CSS/JavaScript实现。 1. 点击'项目生成'按钮,等待项目生成完整后预览效果 作为一名刚接触编程的学生,最近在同学的推荐下尝试了GitHub Copilot这个"编程助手",发现它确实能大幅提升学习效率。不过刚开始申请学生认证时踩了不少坑,于是决定把整个流程整理成教程,顺便用刚学的HTML/CSS/JavaScript做了个交互式指南网站。这里分享下我的实践过程,希望能帮到同样想用Copilot的新手同学们。 1. 项目构思与功能设计 这个教程网站需要解决三个核心需求:清晰的步骤引导、

By Ne0inhk
llama.cpp重大更新:自带Web UI,性能超越Ollama,本地大模型部署新选择!

llama.cpp重大更新:自带Web UI,性能超越Ollama,本地大模型部署新选择!

Ollama 背后执行推理的核心技术其实是由 llama.cpp 承担的,GGUF 模型格式也是由 llama.cpp 的作者所开发。 现在 llama.cpp 迎来重大更新,它也有了自己的 Web UI,我测试了安装部署和自行打包,很多地方确实比 Ollama 还有方便好用。 官方介绍,优势如下: * 完全免费、开源且由社区驱动 * 在所有硬件上表现出色 * 高级上下文和前缀缓存 * 并行和远程用户支持 * 极其轻量级且内存高效 * 充满活力且富有创造力的社区 * 100% 隐私 使用之前需要先安装 llama.cpp server 我还是喜欢命令行直接安装 ## Winget (Windows)winget install llama.cpp## Homebrew (Mac and Linux)brew install llama.

By Ne0inhk

指定路径下载 Whisper 模型:从 base 到 large-v3 的代码实现与链接

Whisper 模型下载指南 Whisper 是 OpenAI 开源的语音识别模型,支持多语言转录。以下是使用 Hugging Face Hub 下载从 base 到 large-v3 所有版本的完整实现方案: 安装依赖 pip install transformers huggingface_hub Python 下载代码 from huggingface_hub import snapshot_download # 模型版本列表 model_versions = [ "openai/whisper-base", "openai/whisper-small", "openai/whisper-medium", "openai/whisper-large", "

By Ne0inhk