Windows安装mamba全流程（全网最稳定最成功）
windows系统下安装mamba会遇到各种各样的问题。博主试了好几天，把能踩的坑都踩了，总结出了在windows下安装mamba的一套方法，已经给实验室的windows服务器都装上了。只要跟着我的流程走下来，大概率不会出问题，如果遇到其他问题，可以在评论区讨论，我会的我会回复。
主要的流程步骤是参考这篇文章，并对其中遇到的问题进行改进。
首先创建mamba的环境，然后安装必要的库。请你创建一个新环境，而不是用以前的环境，版本这些就跟着这个里面来。
conda create -n your_env_name python=3.10.13 conda activate your_env_name conda install cudatoolkit==11.8-c nvidia pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1--index-url https://download.pytorch.org/whl/cu118 conda install -c "nvidia/label/cuda-11.8.0" cuda-nvcc conda install packaging 接下来安装 triton包：有大神编译了Windows下二进制文件，在这里下载，下载到本地后，在命令行你的环境下，切换到tritan所在文件夹，输入
pip install triton-2.0.0-cp310-cp310-win_amd64.whl 做完这些之后，现在检查的电脑上的CUDA版本，请看这篇文章，要确定你电脑上的CUDA和你系统环境里面的路径跟他描述的是一致的，并且是11.8，如果不一致，就跟着他的操作流程重新安装CUDA和cudnn。
进行完这一步后，如果你现在直接安装causal-conv1d，大概率会报这个错误：
这里有两个原因，一个是我上面提到的电脑上安装的CUDA的问题，安装的不对，如果这一步是对的，那就是VisualStudio的原因，要不你根本就没装VS，如果装了，仔细看报错的细节，你大概率会找到：
这是因为你安装的VS版本可能太新了，CUDA不支持，现在VS官网上面直接下载的2022版本就是不支持的，建议安装2019版本，整个都是支持的，官网直接上去已经不能下载老版本了，我找到了一个地方，2019版本下载，这里面可以下载2019版本的，没有社区版，不过我们不需要一定是社区版，因为我们不用它，只要安装了那个环境就可以，我下的是专业版，然后按这个教程，他打勾的你打勾，安装完就行了。
现在我们开始安装causal-conv1d，还是在命令行，跟这个代码：
git clone https://github.com/Dao-AILab/causal-conv1d.git cd causal-conv1d git checkout v1.1.1# current latest version tag pip install .安装完causal-conv1d之后，再安装mamba，首先下载mamba并调整版本：
cd.. git clone https://github.com/state-spaces/mamba.git cd mamba git checkout v1.1.1然后修改mamba文件夹里的源码，请在mamba官方代码中setup.py文件修改配置:
FORCE_BUILD = os.getenv("MAMBA_FORCE_BUILD","FALSE")=="FALSE" SKIP_CUDA_BUILD = os.getenv("MAMBA_SKIP_CUDA_BUILD","FALSE")=="FALSE"然后在mamba_ssm/ops/selective_scan_interface.py该文件中注释掉：
import selective_scan_cuda 将
defselective_scan_fn(u, delta, A, B, C, D=None, z=None, delta_bias=None, delta_softplus=False, return_last_state=False):"""if return_last_state is True, returns (out, last_state) last_state has shape (batch, dim, dstate). Note that the gradient of the last state is not considered in the backward pass. """return SelectiveScanFn.apply(u, delta, A, B, C, D, z, delta_bias, delta_softplus, return_last_state)defmamba_inner_fn( xz, conv1d_weight, conv1d_bias, x_proj_weight, delta_proj_weight, out_proj_weight, out_proj_bias, A, B=None, C=None, D=None, delta_bias=None, B_proj_bias=None, C_proj_bias=None, delta_softplus=True):return MambaInnerFn.apply(xz, conv1d_weight, conv1d_bias, x_proj_weight, delta_proj_weight, out_proj_weight, out_proj_bias, A, B, C, D, delta_bias, B_proj_bias, C_proj_bias, delta_softplus)改为
defselective_scan_fn(u, delta, A, B, C, D=None, z=None, delta_bias=None, delta_softplus=False, return_last_state=False):"""if return_last_state is True, returns (out, last_state) last_state has shape (batch, dim, dstate). Note that the gradient of the last state is not considered in the backward pass. """return selective_scan_ref(u, delta, A, B, C, D, z, delta_bias, delta_softplus, return_last_state)defmamba_inner_fn( xz, conv1d_weight, conv1d_bias, x_proj_weight, delta_proj_weight, out_proj_weight, out_proj_bias, A, B=None, C=None, D=None, delta_bias=None, B_proj_bias=None, C_proj_bias=None, delta_softplus=True):return mamba_inner_ref(xz, conv1d_weight, conv1d_bias, x_proj_weight, delta_proj_weight, out_proj_weight, out_proj_bias, A, B, C, D, delta_bias, B_proj_bias, C_proj_bias, delta_softplus)然后再
pip install .如果你是按照我的流程一步一步来的，到这里应该就会成功了：
有两个问题，第一，你不能直接pip install .，必须先调整版本，如果你安装的mamba和causal-conv1d版本是不对应的，运行时会有这个报错：
File "/home/xxx/.conda/envs/mamba/lib/python3.10/site-packages/mamba_ssm/ops/selective_scan_interface.py", line 187,in forward conv1d_out = causal_conv1d_cuda.causal_conv1d_fwd( TypeError: causal_conv1d_fwd(): incompatible function arguments. The following argument types are supported:1.(arg0: torch.Tensor, arg1: torch.Tensor, arg2: Optional[torch.Tensor], arg3: Optional[torch.Tensor], arg4:bool)-> torch.Tensor Invoked with: tensor([-4.9056e-40,-4.9057e-40,-4.9074e-40,-4.9078e-40]], device='cuda:0', requires_grad=True), Parameter containing: tensor([0.0322,-0.1139,0.0770,...,-0.0320,-0.1266,-0.1096], device='cuda:0', requires_grad=True),None,None,None,True第二个问题，成功安装之后，你可能会遇到这个报错：
这似乎是源码本身的逻辑问题，问题的原因是原始代码的函数输入缺少“seq_idx”，这会导致传入激活函数“silu”的名称被视为“seq_idx”，我的解决方法是添加“seq_idx=None“，这样就可以运行了。
之前我有使用自己修改的一个mamba的简单实现版本，用上之后跑的很慢，我才来装mamba，但是装完之后发现这个官方的库在windows上运行一样很慢，还没找到原因，不过好赖是能使了。
给出一套测试代码：
import torch from mamba_ssm import Mamba batch, length, dim =2,64,16 x = torch.randn(batch, length, dim).to("cuda") model = Mamba(# This module uses roughly 3 * expand * d_model^2 parameters d_model=dim,# Model dimension d_model d_state=16,# SSM state expansion factor d_conv=4,# Local convolution width expand=2,# Block expansion factor).to("cuda") y = model(x)assert y.shape == x.shape print('success')安装成功，出去吃顿好的犒劳下自己~
2024.10.31 更新 − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − 2024.10.31\ \ 更新------------------------------- 2024.10.31 更新−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
很多同学在私信我要triton包，我已经转到linux服务器了，没有最新的triton包地址，我把我之前使用的上传到了百度网盘，大家可以在这里下载：链接，提取码：vxm8。
