Basic Linear Algebra Subprograms

Level 1

このレベルには、以下のような形式のベクトル演算が含まれる。

他にもドット積やノルムなどが含まれる。

Level 2

Level 2 BLAS は ${\displaystyle m\times n}$ の行列を含み ${\displaystyle O(mn)}$ のオーダーを持つ演算のセットである。元々の BLAS（Level 1 BLAS）を拡張し1段階抽象度の高い演算セットとして提案された。

行列の種類を示す記号には GE (GEneral matrix)、HE (HErmitian matrix)、SY (SYmmetric matrix)、TR (TRiangular matrix) などがある。演算を示す記号には MV (matrix-vector product)、 R (Rank-one update)、 R2 (Rank-two update)、 SV (solving a system of linear equations) がある。

Level 3

このレベルには、以下のような形式の行列同士の演算が含まれる。

また、${\displaystyle B\leftarrow \alpha T^{-1}B}$ を三角行列 ${\displaystyle T}$ について解く演算なども含まれる。このレベルにはよく使われる汎用行列乗算（GEMM）操作が含まれる。

GEMM

各行列の変換フラグ・次元・係数・アクセスオフセットを引数に取り、行列積和演算を実行、演算結果がCへ書き出される。

Trans = "N" | "T" | "C"
T = float32 | float64 | complex

def _GEMM<T>(
    TRANSA: Trans,  # Flag of A transformation (None, Transpose, Conjugate_transpose)
    TRANSB: Trans,  # Flag of B transformation (None, Transpose, Conjugate_transpose)
    M: int,         # The number of C row == (A row (TRANSA=N) OR A col (TRANSA=T))
    N: int,         # The number of C col == (B col (TRANSA=N) OR B row (TRANSA=T))
    K: int,         # The number of A_col & B_row (TRANSA=N) OR A_row & B_col (TRANSA=T)
    ALPHA: T,       # a scalar of "C <- aAB + bC"
    A: Matrix[T],   # A matrix of "C <- aAB + bC"
    LDA: int,       # Leading dimension of A
    B: Matrix[T],   # B matrix of "C <- aAB + bC"
    LDB: int,       # Leading dimension of B
    BETA: T,        # b scalar of "C <- aAB + bC"
    C: Matrix[T],   # C matrix of "C <- aAB + bC" (scaled accumulator)
    LDC: int
) -> None

高速に計算するにはキャッシュヒット率を高める必要がある。OpenBLASの元となったGotoBLASを開発した後藤和茂が2008年にその手法を説明した論文を書いている。また、それを元にAlgorithmicaに分かりやすく解説した文章がある。BLASには、行列積、つまり、かけ算して足し算する計算しか含まれていないが、この手法は任意の二項演算子に対して使用可能である。

SpMV

疎行列ベクトル積（英: sparse matrix vector products; SpMV）は疎行列（Sp）を用いた行列ベクトル積（MV）である。すなわち次の演算である（${\displaystyle A}$ は Sparse Matrix）。

特定のデバイスに限定していない汎用の実装

Reference BLAS

netlib による公式リファレンス実装。C言語版とFORTRAN版がある。BLASとLAPACKがまとめて実装されている。DebianやUbuntuなどでは、OpenBLASなどをインストールしない限りこれが使われる。

BLAS++

BLASのC++ API。C言語版のAPIと1対1で対応する。Intel, AMD, NVIDIA, IBM などのハードウェアベンダーの出しているBLAS実装を利用して動作する。

BLIS（英語版）

BLASのスーパーセット。

OpenBLAS

オープンソース実装。x86, x86-64, MIPS32, MIPS64, ARM32, ARM64, POWER, IBM zEnterprise, RISC-V 上の Linux, Microsoft Windows, macOS, FreeBSD, OpenBSD, NetBSD, DragonFly BSD, Android, iOS, AIX, Haiku, Solaris で動作。

ハードウェアベンダーによる、特定のデバイス向けの実装

Accelerate

Apple による自社デバイス用の自社OS（macOSやiOSなど）向けフレームワーク。BLAS と LAPACK を含む。

AMD Optimizing CPU Libraries (AOCL)

AMD の CPU (EPYC, Ryzen, Ryzen Threadripper) 上のLinuxとWindowsをサポート。

Arm Performance Libraries

ARM64上で動作。

cuBLAS

NVIDIA CUDA SDK には、NVIDIA の GPU 上で動作するBLAS機能（C言語インタフェース）が含まれる。

Engineering and Scientific Subroutine Library (ESSL)

IBMによる実装。POWER上のAIXおよびLinuxで動作。

Intel oneAPI Math Kernel Library

インテルによる実装。インテルの CPU および GPU をサポート。Linux/Windows で動作。

NEC Numeric Library Collection

日本電気による実装。NEC SX用。旧称MathKeisan。

Oracle Developer Studio Performance Library

SPARC と x86-64 上の Oracle Solaris と Linux で動作する BLAS および LAPACK 実装。旧称Sun Performance Library。

rocBLAS

AMD の GPU 向けのオープンソース実装。

かつて開発されていたライブラリ

Automatically Tuned Linear Algebra Software (ATLAS)

オープンソース実装（C言語とFortran 77）

clBLAS

AMD が提供する、主に GPU 向けの OpenCL 上で動くオープンソース実装。2017年が最後のバージョン。後継はrocBLAS。

GotoBLAS

後藤和茂が GotoBLAS を開発し、OpenBLAS へと引き継がれている。GotoBLAS は2010年2月が最後のバージョン。

Hewlett-Packard Mathematical Software Library (HP MLIB)

ヒューレット・パッカードの数学ライブラリ。IA-64/PA-RISC/x86/Opteron上のHP-UXおよびLinuxで動作。

PDLIB/SX

1994年に発表された日本電気のSX-4向け数学ライブラリ（パブリックドメイン）。現在は配布されていない。

Scientific Computing Software Library (SCSL)

SGIの実装。LAPACK も含む。IRIX上で動作。