基于 HDFS 的 Web 云盘管理系统

基于 HDFS 的 Web 云盘管理系统 | 极客日志

技术/框架	版本	用途
Java	JDK 8+	核心开发语言
Spring	5.0.5.RELEASE	依赖注入和面向切面编程框架
SpringMVC	5.0.5.RELEASE	Web 应用开发框架
MyBatis	3.4.6	ORM 框架，用于数据库操作
MyBatis-Spring	1.3.1	MyBatis 与 Spring 的集成
Hadoop Common	3.3.5	Hadoop 基础库
Hadoop HDFS	3.3.5	HDFS 客户端库
Hadoop Client	3.3.5	Hadoop 客户端工具
Druid	1.1.10	数据库连接池
MySQL Connector	8.0.27	MySQL 数据库驱动
JUnit	4.12	单元测试框架

技术/框架	版本	用途
HTML5	-	页面结构
CSS3	-	页面样式
JavaScript	-	页面交互
JSP	-	Java 服务器页面
JSTL	1.2	JSP 标准标签库
Bootstrap	-	前端 UI 框架
Font Awesome	4.7.0	图标库

工具	用途
IntelliJ IDEA	Java 开发 IDE
Maven	项目构建和依赖管理
Git	版本控制

┌───────────────────────────────────────────────────────────────────────────┐
│ 表现层 (View) │
│ (JSP 页面 + JavaScript) │
└───────────────────────────────────────────────────────────────────────────┘
↑
│ HTTP 请求/响应
↓
┌───────────────────────────────────────────────────────────────────────────┐
│ 控制层 (Controller) │
│ (UserController, FileController) │
└───────────────────────────────────────────────────────────────────────────┘
↑
│ 调用业务方法
↓
┌───────────────────────────────────────────────────────────────────────────┐
│ 业务逻辑层 (Service) │
│ (UserService, HdfsFileService) │
└───────────────────────────────────────────────────────────────────────────┘
↑
│ 调用数据访问方法
↓
┌───────────────────────────────────────────────────────────────────────────┐
│ 数据访问层 (Dao) │
│ (UserMapper, HdfsDao) │
└───────────────────────────────────────────────────────────────────────────┘
↑
│ 数据交互
↓
┌─────────────────────────────────┬─────────────────────────────────────────┐
│ 数据库 (MySQL) │ 文件系统 (HDFS) │
└─────────────────────────────────┴─────────────────────────────────────────┘

// 用户登录
@RequestMapping("/login")
public String login(User user, Model model, HttpSession session) throws IOException {
    List<User> users = userService.selectUserList(user);
    // 如果用户不存在
    if (users.isEmpty()) {
        model.addAttribute("status", "用户名或密码错误！");
        return "index";
    }
    session.setAttribute("LOGIN_STATUS", users.get(0));
    session.setAttribute("path", "/");
    return "redirect:/file/fileList";
}

// 用户注册
@RequestMapping("/register")
public String register(User user, String userpasswd_confirm, Model model) throws IOException {
    // 后端判断输入数据是否合规
    if (user.getUsername() == null || user.getUsername().equals(" ")) {
        model.addAttribute("status", "请输入用户名");
        return "register";
    }
    // ... 其他验证逻辑 ...
    // 数据库插入用户
    userService.insertUser(user);
    // 注册成功，为用户创建自己的目录
    hdfsFileService.mkdir(user.getUsername(), pre);
    model.addAttribute("status", "注册成功，请登录！");
    return "index";
}

// 获取文件列表
@RequestMapping("/fileList")
public String FileList(Model model, HttpSession session) {
    User user = (User) session.getAttribute("LOGIN_STATUS");
    String currentPath = (String) session.getAttribute("path");
    // 获取文件列表
    List<HdfsFile> fileList = null;
    try {
        fileList = hdfsFileService.getFileList(pre + user.getUsername() + currentPath);
    } catch (IOException e) {
        e.printStackTrace();
    }
    model.addAttribute("currentpath", currentPath);
    model.addAttribute("filelist", fileList);
    return "myfiles";
}

// 创建目录
@RequestMapping("/makeDirectory")
public String makeDirectory(String dirname, HttpSession session, Model model) throws IOException {
    User user = (User) session.getAttribute("LOGIN_STATUS");
    String currentPath = (String) session.getAttribute("path");
    String waring = null;
    String path = pre + user.getUsername() + currentPath;
    if (hdfsFileService.fileExist(path + dirname)) {
        waring = "alert(\"该目录已存在，请重新输入目录名！\");";
        session.setAttribute("waring", waring);
        return "redirect:fileList";
    } else {
        hdfsFileService.mkdir(dirname, path);
        waring = "alert(\"创建成功！\");";
        session.setAttribute("waring", waring);
        session.setAttribute("path", currentPath + dirname + "/");
        return "redirect:fileList";
    }
}

// 文件下载和目录导航
@RequestMapping("/fileHandle")
public String fileHandle(HdfsFile hdfsFile, HttpServletResponse response, HttpServletRequest request, HttpSession session) throws Exception {
    User user = (User) session.getAttribute("LOGIN_STATUS");
    String currentPath = (String) session.getAttribute("path");
    // 如果是目录，进入到下一层
    if (!hdfsFile.getFile()) {
        session.setAttribute("path", currentPath + hdfsFile.getFileName() + "/");
        return "redirect:fileList";
    }
    // 如果是文件，下载文件
    // 设置响应头
    String filename = hdfsFile.getFileName();
    ServletContext servletContext = request.getServletContext();
    String mimeType = servletContext.getMimeType(filename);
    response.setHeader("content-type", mimeType);
    // 解决中文文件名问题
    String agent = request.getHeader("user-agent");
    filename = DownloadUtlis.getFileName(agent, filename);
    response.setHeader("content-disposition", "attachment;filename = " + filename);
    BufferedInputStream bufferedInputStream = new BufferedInputStream(hdfsFileService.downloadFile(hdfsFile.getFileName(), pre + user.getUsername() + currentPath));
    BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(response.getOutputStream());
    byte[] buff = new byte[2048];
    int bytesRead;
    while ((bytesRead = bufferedInputStream.read(buff, 0, buff.length)) != -1)
        bufferedOutputStream.write(buff, 0, bytesRead);
    bufferedInputStream.close();
    bufferedOutputStream.close();
    return null;
}

// 获取文件列表
@Override
public List<HdfsFile> getFileList(String path) throws IOException {
    Path root = new Path(path);
    FileSystem fs = hdfsDao.getFileSystem();
    FileStatus[] files = fs.listStatus(root);
    fs.close();
    List<HdfsFile> list = getFiles(files);
    return list;
}

// 创建目录
@Override
public boolean mkdir(String newName, String currentPath) throws IOException {
    Path filePath = new Path(currentPath + newName);
    FileSystem fs = hdfsDao.getFileSystem();
    boolean result = fs.mkdirs(filePath);
    fs.close();
    return result;
}

// 上传文件
@Override
public boolean uploadFile(BufferedInputStream in, String remotePath) throws IOException {
    FileSystem fs = null;
    try {
        fs = hdfsDao.getFileSystem();
    } catch (IOException e) {
        e.printStackTrace();
        return false;
    }
    // 获取输出对象
    FSDataOutputStream out = null;
    try {
        out = fs.create(new Path(remotePath));
    } catch (IOException e) {
        fs.close();
        e.printStackTrace();
        return false;
    }
    // 最后一个参数的意思是使用完之后是否关闭流
    try {
        IOUtils.copyBytes(in, out, 2048, true);
    } catch (IOException e) {
        fs.close();
        e.printStackTrace();
        return false;
    }
    fs.close();
    return true;
}

public class LoginInterceptor implements HandlerInterceptor {
    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        HttpSession session = request.getSession();
        if (session.getAttribute("LOGIN_STATUS") != null) {
            return true;
        }
        response.sendRedirect(request.getContextPath() + "/index.jsp");
        return false;
    }
}

public class MyExceptionResolver implements HandlerExceptionResolver {
    @Override
    public ModelAndView resolveException(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) {
        ModelAndView modelAndView = new ModelAndView();
        modelAndView.addObject("error", ex.getMessage());
        modelAndView.setViewName("error");
        return modelAndView;
    }
}

字段名	数据类型	约束	描述
id	BIGINT	PRIMARY KEY, AUTO_INCREMENT	用户 ID
username	VARCHAR(50)	NOT NULL, UNIQUE	用户名
password	VARCHAR(50)	NOT NULL	密码

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="xyz.kjdtbs.mapper.UserMapper">
    <!-- 查询用户列表 -->
    <select id="selectUserList" parameterType="xyz.kjdtbs.domain.User" resultType="xyz.kjdtbs.domain.User">
        select * from user
        <where>
            <if test="username != null and username != ''">
                and username = #{username}
            </if>
            <if test="password != null and password != ''">
                and password = #{password}
            </if>
        </where>
    </select>
    <!-- 插入用户 -->
    <insert id="insertUser" parameterType="xyz.kjdtbs.domain.User">
        insert into user(username, password) values(#{username}, #{password})
    </insert>
    <!-- 删除用户 -->
    <delete id="deleteUserById" parameterType="long">
        delete from user where id = #{id}
    </delete>
</mapper>

<configuration>
    <!-- 指定 NameNode 的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/data</value>
    </property>
    <!-- 配置 HDFS 网页登录使用的静态用户为 hadoop -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
    </property>
</configuration>

<configuration>
    <!-- NameNode web 端访问地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>localhost:9870</value>
    </property>
</configuration>

@Repository
public class HdfsDaoImpl implements HdfsDao {
    private static Configuration conf;
    static {
        // 指定访问 HDFS 时的用户名
        System.setProperty("HADOOP_USER_NAME", "hadoop");
        // 读取 resources 中的配置文件
        conf = new Configuration();
    }
    public FileSystem getFileSystem() throws IOException {
        return FileSystem.get(conf);
    }
}

jdbc.driverClassName=com.mysql.cj.jdbc.Driver
jdbc.url=jdbc:mysql://localhost:3306/hdfs_pan?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC
jdbc.username=root
jdbc.password=123456

├── src/
│   ├── main/
│   │   ├── java/
│   │   │   └── xyz/
│   │   │       └── kjdtbs/
│   │   │           ├── controller/ # 控制器层
│   │   │           ├── dao/ # 数据访问层
│   │   │           ├── domain/ # 域模型层
│   │   │           ├── interceptor/ # 拦截器
│   │   │           ├── mapper/ # MyBatis 映射接口
│   │   │           ├── resolver/ # 异常解析器
│   │   │           ├── service/ # 业务逻辑层
│   │   │           └── utils/ # 工具类
│   │   ├── resources/ # 配置文件
│   │   │   ├── xyz/kjdtbs/mapper/ # MyBatis 映射文件
│   │   │   ├── applicationContext.xml # Spring 配置文件
│   │   │   ├── core-site.xml # HDFS 核心配置
│   │   │   ├── hdfs-site.xml # HDFS 站点配置
│   │   │   ├── jdbc.properties # 数据库连接配置
│   │   │   └── spring-mvc.xml # SpringMVC 配置文件
│   │   └── webapp/ # Web 资源
│   │       ├── file/ # 文件管理页面
│   │       ├── static/ # 静态资源
│   │       ├── WEB-INF/ # Web 应用配置
│   │       ├── index.jsp # 登录页面
│   │       └── register.jsp # 注册页面
│   └── test/ # 测试代码
├── pom.xml # Maven 配置文件
└── README.md # 项目说明文档

类名	主要功能
UserController	处理用户注册、登录、退出等请求
FileController	处理文件上传、下载、浏览等请求
HdfsFileService	提供文件操作的业务逻辑接口
HdfsFileServiceImpl	实现文件操作的业务逻辑
HdfsDao	提供 HDFS 访问接口
HdfsDaoImpl	实现 HDFS 访问功能
LoginInterceptor	实现登录拦截功能
MyExceptionResolver	实现统一异常处理
User	用户实体类
HdfsFile	文件实体类

基于 HDFS 的 Web 云盘管理系统

HDFS 云盘管理系统项目说明文档

1. 项目概述

1.1 项目背景

1.2 项目目标

2. 技术栈

2.1 后端技术

2.2 前端技术

2.3 开发工具

3. 系统架构

3.1 整体架构

3.2 系统架构图

4. 核心功能模块

4.1 用户管理模块

4.1.1 功能概述

4.1.2 核心功能点

4.1.3 关键代码分析

4.2 文件管理模块

4.2.1 功能概述

4.2.2 核心功能点

4.2.3 关键代码分析

4.3 安全与权限管理模块

4.3.1 功能概述

4.3.2 核心功能点

4.3.3 关键代码分析

5. 数据库设计

5.1 数据库概述

5.2 核心表结构

5.2.1 用户表 (user)

5.3 数据库访问

6. HDFS 配置与集成

6.1 HDFS 配置文件

6.2 HDFS 交互实现

7. 系统配置

7.1 Spring 配置

7.2 Web 配置

7.3 数据库连接配置

8. 部署与运行

8.1 环境要求

8.2 部署步骤

8.3 运行流程

9. 项目总结与展望

9.1 项目总结

9.2 项目亮点

9.3 未来展望

10. 附录

10.1 项目目录结构

10.2 核心 API 列表

10.3 常见问题与解决方案

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具