【菜科解读】

稀疏矩阵通过仅存储非零元素及位置信息显著节省内存：一、SciPy的CSR/CSC格式将存储从O(n²)降至O(nnz)；

二、PyTorch Sparse支持GPU与自动微分；

三、Numerical.js适用于浏览器端；

四、Pandas sparse dtype压缩单列；

五、Rust的nalgebra-sparse提供零成本抽象。

如果您在处理大规模数据时发现内存占用过高，程序频繁崩溃或运行缓慢，则可能是由于大量零元素被冗余存储。

稀疏矩阵通过仅保留非零元素及其位置信息，可显著压缩存储体积。

以下是利用不同库中 sparse 函数实现内存节省的具体方法：

一、使用 SciPy 的 CSR/CSC 格式构建稀疏矩阵

CSR（Compressed Sparse Row）与 CSC（Compressed Sparse Column）是内存效率最高的两种主流格式，适用于大多数线性代数运算，尤其适合固定结构后的高效计算。

它们将原始密集矩阵的存储开销从 O(n²) 降至接近 O(nnz)，其中 nnz 为非零元数量。

1、安装 scipy 库：执行 pip install scipy。

2、导入模块并生成稀疏矩阵：输入 from scipy.sparse import csr_matrix, csc_matrix。

3、构造示例密集数组：定义 dense_arr = np.array([[1, 0, 0], [0, 2, 0], [0, 0, 3]])。

4、转换为 CSR 格式：调用 sparse_csr = csr_matrix(dense_arr)。

5、验证内存差异：使用 dense_arr.nbytes 与 sparse_csr.data.nbytes + sparse_csr.indices.nbytes + sparse_csr.indptr.nbytes 对比。

二、使用 PyTorch Sparse 构建并操作稀疏张量

PyTorch Sparse 支持 GPU 加速与自动微分，特别适用于图神经网络训练场景。

其内部采用 COO 格式初始化后可转为更紧凑的 CSR 表示，兼顾构建灵活性与运行时效率。

1、导入必要模块：执行 import torch; from torch_sparse import coalesce。

2、准备索引与值：设定 index = torch.tensor([[0,1,2], [0,1,2]]) 和 value = torch.tensor([1.0, 2.0, 3.0])。

3、创建初始稀疏张量：调用 sparse_t = torch.sparse.FloatTensor(index, value, torch.Size([3,3]))。

4、执行合并去重（如存在重复索引）：运行 coalesce(index, value, m=3, n=3)。

5、查看内存占用：使用 sparse_t._nnz() 获取非零元数量，并对比等效 dense 张量的 .numel() * dtype.byte_size。

三、使用 Numerical.js 在浏览器端构建稀疏矩阵

Numerical.js 的 sparse 模块专为前端科学计算设计，通过坐标散列方式（scatter）动态构建稀疏结构，避免在 DOM 环境中加载完整二维数组，从而防止 JavaScript 堆内存溢出。

1、引入 numeric.js 库：在 HTML 中添加 。

2、定义坐标与值数组：声明 const i = [0, 1, 2]; const j = [0, 1, 2]; const z = [1, 2, 3];。

3、调用 scatter 方法：执行 const mat = numeric.Sparse.scatter(i, j, z);。

4、检查结构：打印 mat.nnz 验证非零元数量，对比等效 dense 矩阵的 length * length。

5、进行矩阵运算：例如 numeric.Sparse.dot(mat, mat)，确认结果仍保持稀疏性。

四、使用 Pandas 结合 sparse dtype 压缩 Series 与 DataFrame 列

Pandas 自 0.24 版起支持 sparse 数据类型，允许单列以稀疏方式存储，适用于含大量缺失值或零值的结构化表格数据，无需改写整个计算流程即可获得内存收益。

1、读取原始数据：执行 df = pd.read_csv('large_file.csv')。

2、识别高稀疏度列：运行 df['col'].value_counts(dropna=False).get(0, 0) / len(df) 判断零值占比。

3、转换列类型：调用 df['col'] = df['col'].astype(pd.SparseDtype("float64", 0))。

4、验证内存变化：使用 df.memory_usage(deep=True).sum() 对比前后数值。

5、保持兼容性操作：后续仍可使用 df.groupby()、df.fillna() 等常规方法。

五、使用 nalgebra-sparse 在 Rust 生态中构建高性能稀疏矩阵

nalgebra-sparse 是面向数值计算的 Rust 库，提供零成本抽象与编译期优化，其 COO/CSR/CSC 实现避免运行时内存分配抖动，适用于嵌入式仿真或高频工程求解器。

1、在 Cargo.toml 中添加依赖：写入 nalgebra-sparse = "0.9"。

2、导入模块：在源文件顶部加入 use nalgebra_sparse::coo::CooMatrix;。

3、构建坐标列表：定义 let rows = vec![0, 1, 2]; let cols = vec![0, 1, 2]; let data = vec![1.0, 2.0, 3.0];。

4、实例化 COO 矩阵：调用 let coo = CooMatrix::new((3, 3), rows, cols, data);。

5、转换为 CSR 并测量内存：使用 let csr = coo.to_csr(); println!("Bytes: {}", std::mem::size_of_val(&*csr));。