Fluid 数据编排能力原理解析

apiVersion: data.fluid.io/v1alpha1
kind: JuiceFSRuntime
metadata:
  name: jfsdemo
spec:
  replicas: 1
  tieredstore:
    levels:
      - mediumtype: MEM
        path: /dev/shm
        quota: 40960

参数说明：

• mediumtype：Worker 缓存形式，支持 MEM、SSD、HDD。
• path：Worker 的缓存目录。
• quota：缓存大小，单位为 Mi。

四、Runtime Controller 处理 JuiceFSRuntime

Controller 监听到 JuiceFSRuntime 创建后，开始执行一系列集群创建操作。

1. 关联 Dataset：查找同名且同命名空间的 Dataset，并将其设置为 OwnerReference。

   if !utils.ContainsOwners(objectMeta.GetOwnerReferences(), dataset) {
       return r.AddOwnerAndRequeue(ctx, dataset)
   }
   

2. 创建 Master 负载：根据 Runtime 参数，通过 Helm 安装 Master 组件。

   valuefileName, err := j.generateJuicefsValueFile(runtime)
   found, err := helm.CheckRelease(j.name, j.namespace)
   return helm.InstallRelease(j.name, j.namespace, valuefileName, chartName)
   

3. 更新状态：此时 Runtime 状态更新为 NotReady。

4. 创建 Worker 负载：同样通过 Helm 安装，并设置 Pod 反亲和性，确保 Worker 分散在不同节点。

   desireReplicas := runtime.Replicas()
   if *workers.Spec.Replicas != desireReplicas {
       workerToUpdate, err := e.BuildWorkersAffinity(workers)
       if err != nil {
           return err
       }
       workerToUpdate.Spec.Replicas = &desireReplicas
       err = e.client.Update(context.TODO(), workerToUpdate)
       // ...
   }
   

5. 创建 DaemonSet FUSE 组件：FUSE 组件仅会在带有特定 Label（如 fluid.io/f-default-jfsdemo=true）的节点上运行。初始状态下所有节点均无此 Label，因此 FUSE Pod 数量为 0。后续步骤会补充该 Label。

6. 等待组件就绪：当 Worker 和 Master 的 Pod 全部启动后，Runtime 状态更新为 Ready。

   if workers.Status.ReadyReplicas > 0 {
       if runtime.Replicas() == workers.Status.ReadyReplicas {
           runtimeToUpdate.Status.WorkerPhase = data.RuntimePhaseReady
           workerReady = true
       }
       // ...
   }
   

7. 绑定 Dataset：更新 Dataset 状态，由 Pending 变为 Bound。

   return j.UpdateDatasetStatus(datav1alpha1.BoundDatasetPhase)
   

8. 创建 PV 和 PVC：Controller 随后创建持久卷资源。PV 的关键参数包括：

   • driver：CSI Driver 名称，需与 GetPluginInfoResponse 返回的值一致。Fluid 中使用的是 fuse.csi.fluid.io。
   • volumeHandle：唯一标识卷的字符串，需与 CreateVolumeResponse 中的 volume_id 对应。

   spec:
     csi:
       driver: fuse.csi.fluid.io
       volumeAttributes:
         fluid_path: /runtime-mnt/juicefs/default/jfsdemo/juicefs-fuse
         mount_type: JuiceFS
       volumeHandle: default-jfsdemo
       persistentVolumeReclaimPolicy: Retain
       storageClassName: fluid
       volumeMode: Filesystem
   

9. 周期性同步状态：通过查询 FUSE Pod 和 Worker Pod，持续更新 Runtime 和 Dataset 的状态。包括基于 Metrics 监控信息的缓存进度更新，以及基于 Worker 数量的健康状态检查。

10. 同步 Worker 节点 Label：由于 Worker 具备缓存能力，需要给其所在节点打上 Label，标记该节点具有数据缓存，以便业务 Pod 调度。系统会对比 Worker 所在节点与已打 Label 的节点，动态增删 Label。

五、创建业务 Pod 并使用 PVC

定义业务 Pod，引用之前创建的 PVC。

apiVersion: v1
kind: Pod
metadata:
  name: demo-app
spec:
  containers:
    - name: demo
      image: nginx
      volumeMounts:
        - mountPath: /data
          name: demo
  volumes:
    - name: demo
      persistentVolumeClaim:
        claimName: jfsdemo

Kubernetes 调度器将其调度到某个节点。Kubelet 接手 Pod 后，开始真正的创建流程。

六、Kubelet 向 CSI Driver 请求 NodeStageVolume

Kubelet 发现 Pod 有 PVC 需求，Volumemanager 组件根据 PVC 声明的 CSI Driver 名称（fuse.csi.fluid.io）查询注册信息，并向 CSI Driver 发送 NodeStageVolume 请求。这是 CSI 规范必须实现的方法，用于格式化存储卷（如需）并将其挂载到节点的临时全局目录。 相关代码逻辑位于 k8s.io/kubernetes/pkg/volume/csi/csi_attacher.go。

七、CSI Driver 设置 Node Label

Fluid 的 CSI Driver 接收到 NodeStageVolume 请求后，会给当前节点打上 Label：fluid.io/f-default-jfsdemo=true。

fuseLabelKey := common.LabelAnnotationFusePrefix + namespace + "-" + name
labelsToModify.Add(fuseLabelKey, "true")
// ...
if _, ok := node.Labels[fuseLabelKey]; !ok {
    _, err = utils.ChangeNodeLabelWithPatchMode(ns.client, node, labelsToModify)
    // ...
}

打上 Label 后，之前部署的 FUSE DaemonSet 会检测到符合条件的节点，从而拉起 FUSE Pod。

八、JuiceFS FUSE Pod 进行本地目录挂载

FUSE Pod 启动后，使用 JuiceFS 命令将远端存储挂载到本地临时目录。

/usr/local/bin/juicefs format --storage=mysql --bucket=... ${METAURL} mysql
/bin/mount.juicefs redis://... /runtime-mnt/juicefs/default/jfsdemo/juicefs-fuse

其中 /runtime-mnt/juicefs/default/jfsdemo/juicefs-fuse 即为本节点的临时存储目录。

九、Kubelet 向 CSI Driver 请求 NodePublishVolume

CSI 规范的 NodePublishVolume 方法负责将存储卷从节点临时目录挂载到目标目录（Pod 目录）。 相关代码位于 k8s.io/kubernetes/pkg/volume/csi/csi_mounter.go。

十、CSI Driver 执行 NodePublishVolume 方法

Fluid 的 CSI Driver 接收到请求后，将本节点临时目录 bind mount 到 Pod 目录。 例如 Pod 目录：/var/lib/kubelet/pods/.../volumes/kubernetes.io~csi/default-jfsdemo/mount。 该目录通过 Docker Volume 挂载到 Pod 内部，因此 Pod 内的改动能实时感知。至此，远端存储成功挂载到 Pod 内部。