537 lines
10 KiB
Markdown
537 lines
10 KiB
Markdown
# JustOneCacophony — 双耳渲染数学
|
||
|
||
[English](binaural.en.md) · [返回 README](../README.md)
|
||
|
||
本文说明 `pcm16 + ID11/OAMD → stereo` 路径中的计算、状态和时间对齐。双耳渲染直接接在对象重建之后，不经过 ADM BWF 或 AXML。
|
||
|
||
## 1. 总体路径与记号
|
||
|
||
```text
|
||
pcm16：LFE + 15 路对象 PCM
|
||
→ 64-band QMF analysis
|
||
→ 77-band hybrid analysis
|
||
→ 逐对象方向、距离、双耳传递函数和 room send
|
||
→ 对象累加 + room network
|
||
→ hybrid synthesis
|
||
→ QMF synthesis
|
||
→ 961-sample 延迟补偿
|
||
→ stereo WAV
|
||
```
|
||
|
||
主要记号：
|
||
|
||
| 符号 | 含义 |
|
||
|---|---|
|
||
| $s=0\ldots15$ | 输入源；$s=0$ 为 LFE，$s=1\ldots15$ 为对象 |
|
||
| $e\in\{L,R\}$ | 左右输出耳 |
|
||
| $p=0\ldots63$ | QMF phase / 时域 hop 内采样 |
|
||
| $k=0\ldots63$ | QMF 子带 |
|
||
| $h=0\ldots76$ | hybrid 子带 |
|
||
| $j=0\ldots35$ | 方向 basis 项 |
|
||
| $m$ | 64-sample QMF 时槽 |
|
||
| $n$ | 时域采样位置 |
|
||
|
||
每个 QMF hop 为 64 samples，每个双耳控制块为
|
||
|
||
$$
|
||
N_b=512=8\times64,
|
||
$$
|
||
|
||
每个 E-AC-3/JOC 音频帧为
|
||
|
||
$$
|
||
N_f=1536=3N_b.
|
||
$$
|
||
|
||
## 2. 输入与控制块
|
||
|
||
输入矩阵为
|
||
|
||
$$
|
||
x_s[n],\qquad s=0\ldots15.
|
||
$$
|
||
|
||
`pcm16` 的通道约定为：
|
||
|
||
```text
|
||
ch0 special LFE
|
||
ch1..15 JOC 对象 1..15
|
||
```
|
||
|
||
渲染器按连续采样流推进。QMF、hybrid、room 和 synthesis 状态不会在 1536-sample 帧边界清零。
|
||
|
||
## 3. 64-band QMF analysis
|
||
|
||
令 $a_{p,\ell}$ 为固定的 64×10 polyphase 系数，$r_{s,\ell,p}[m]$ 为当前和前 9 个 hop 的 phase 历史。奇偶 lag 分别累加：
|
||
|
||
$$
|
||
E_{s,p}[m]
|
||
=\sum_{\substack{\ell=0\\\ell\text{ even}}}^{9}
|
||
a_{p,\ell}r_{s,\ell,p}[m],
|
||
$$
|
||
|
||
$$
|
||
O_{s,p}[m]
|
||
=\sum_{\substack{\ell=0\\\ell\text{ odd}}}^{9}
|
||
a_{p,\ell}r_{s,\ell,p}[m].
|
||
$$
|
||
|
||
对任一 64-vector $v[p]$，定义调制变换
|
||
|
||
$$
|
||
\mathcal Q(v)_k
|
||
=
|
||
\operatorname{FFT}_{128}
|
||
\left(
|
||
\left[v[p]e^{-j\pi p/128}\right]_{p=0}^{63},
|
||
0_{64}
|
||
\right)_k
|
||
|
||
e^{-j3\pi(k+1/2)/128}.
|
||
$$
|
||
|
||
analysis 输出为
|
||
|
||
$$
|
||
X_{s,k}[m]
|
||
=
|
||
\mathcal Q(O_s)_k
|
||
+j(-1)^k\mathcal Q(E_s)_k.
|
||
$$
|
||
|
||
所有历史、乘加和 FFT 结果使用 `float64/complex128`。
|
||
|
||
## 4. 77-band hybrid analysis
|
||
|
||
低 3 个 QMF 子带使用 13-slot FIR 拆分为 16 个 hybrid bands。把复数的实部和虚部分量记为 $i,o\in\{0,1\}$，固定核为 $K_{p,i,\ell,h,o}$：
|
||
|
||
$$
|
||
H_{s,h,o}[m]
|
||
=
|
||
\sum_{p=0}^{2}
|
||
\sum_{i=0}^{1}
|
||
\sum_{\ell=0}^{12}
|
||
X_{s,p,i}[m-\ell]K_{p,i,\ell,h,o},
|
||
\qquad h=0\ldots15.
|
||
$$
|
||
|
||
其余 61 个 hybrid bands 是 QMF 3..63 的 6-slot 延迟：
|
||
|
||
$$
|
||
H_{s,16+q}[m]=X_{s,3+q}[m-6],
|
||
\qquad q=0\ldots60.
|
||
$$
|
||
|
||
因此 hybrid vector 的顺序为：
|
||
|
||
```text
|
||
0..15 低 3 个 QMF bands 的细分
|
||
16..76 延迟后的 QMF bands 3..63
|
||
```
|
||
|
||
## 5. OAMD 坐标与时间轴
|
||
|
||
### 5.1 Q15 坐标到 Cartesian
|
||
|
||
对象状态中的 $q_1,q_2,q_3$ 先恢复到离散位置网格：
|
||
|
||
$$
|
||
u_1=\min\left(1,\frac{\operatorname{round}(62q_1/32767)}{62}\right),
|
||
$$
|
||
|
||
$$
|
||
u_2=\min\left(1,\frac{\operatorname{round}(62q_2/32767)}{62}\right),
|
||
$$
|
||
|
||
$$
|
||
u_3=\operatorname{clip}\left(
|
||
\frac{\operatorname{round}(15q_3/32767)}{15},-1,1\right).
|
||
$$
|
||
|
||
ADM Cartesian 坐标为
|
||
|
||
$$
|
||
(X,Y,Z)=(2u_1-1,\ 1-2u_2,\ u_3).
|
||
$$
|
||
|
||
### 5.2 更新时间
|
||
|
||
一条位置更新的编码时刻为
|
||
|
||
$$
|
||
n_{\mathrm{coded}}
|
||
=n_{\mathrm{frame}}
|
||
+n_{\mathrm{outer}}
|
||
+n_{\mathrm{block}}.
|
||
$$
|
||
|
||
首个有效状态作为 sample 0 的初始位置。后续更新加入对象 PCM 延迟 $D_o$，默认
|
||
|
||
$$
|
||
D_o=1473.
|
||
$$
|
||
|
||
若 ramp duration 为 $R>64$，连续运动为
|
||
|
||
$$
|
||
n_{\mathrm{start}}=n_{\mathrm{coded}}+D_o+64,
|
||
$$
|
||
|
||
$$
|
||
R_{\mathrm{eff}}=R-64,
|
||
$$
|
||
|
||
$$
|
||
\mathbf p[n]
|
||
=(1-\alpha)\mathbf p_0+\alpha\mathbf p_1,
|
||
\qquad
|
||
\alpha=\frac{n-n_{\mathrm{start}}}{R_{\mathrm{eff}}}.
|
||
$$
|
||
|
||
当 $R\le64$ 时，目标位置在 $n_{\mathrm{coded}}+D_o$ 直接生效。
|
||
|
||
Rosella 参数在每个 512-sample block 起点求值，并用于该块的 8 个 hybrid slots。
|
||
|
||
## 6. 距离 profile 与方向
|
||
|
||
普通对象只使用 Near、Mid、Far 三个 profile。每个 profile 包含：
|
||
|
||
- 三轴负/正边界 $b_{x-},b_{x+},b_{y-},b_{y+},b_{z-},b_{z+}$；
|
||
- 距离尺度 $D$ 和倒数尺度 $D^{-1}$；
|
||
- 三轴内部尺度 $a_x,a_y,a_z$；
|
||
- 最小归一化半径 $\rho_{\min}$。
|
||
|
||
Cartesian 坐标经过 Q15 metadata grid 后换成内部前、侧、上轴，乘以 profile 尺度：
|
||
|
||
$$
|
||
\mathbf s=(a_zq_f,\ a_xq_l,\ a_yq_v).
|
||
$$
|
||
|
||
若射线超出 profile 边界，则用单一比例 $\lambda\le1$ 缩放：
|
||
|
||
$$
|
||
\mathbf s' = \lambda\mathbf s.
|
||
$$
|
||
|
||
随后
|
||
|
||
$$
|
||
\rho=\|\mathbf s'\|_2,
|
||
\qquad
|
||
\rho_c=\max(\rho,\rho_{\min}),
|
||
\qquad
|
||
\alpha=\frac{\rho}{\rho_c},
|
||
$$
|
||
|
||
$$
|
||
\mathbf d=
|
||
\begin{cases}
|
||
\mathbf s'/\rho,&\rho>0,\\
|
||
(1,0,0),&\rho=0,
|
||
\end{cases}
|
||
$$
|
||
|
||
物理半径为
|
||
|
||
$$
|
||
R=D\rho.
|
||
$$
|
||
|
||
## 7. 36 项方向 basis
|
||
|
||
方向 $\mathbf d=(x,y,z)$ 被展开为 36 项实值多项式：
|
||
|
||
$$
|
||
\mathbf b(\mathbf d)=
|
||
[1,x,y,z,x^2-\tfrac13,xy,xz,y^2-\tfrac13,yz,\ldots]^T.
|
||
$$
|
||
|
||
完整顺序由 `rosella_model.direction_basis()` 固定。最高次数为 5；所有 field 系数必须按该顺序点积，不能交换 basis 项。
|
||
|
||
逐耳 basis 会根据耳偏移重新归一化。令耳偏移标量为 $e$：
|
||
|
||
$$
|
||
\epsilon=\frac{eD^{-1}}{\rho_c},
|
||
$$
|
||
|
||
$$
|
||
\mathbf d_-=
|
||
\frac{(x,y-\epsilon,z)}{\|(x,y-\epsilon,z)\|_2},
|
||
\qquad
|
||
\mathbf d_+=
|
||
\frac{(x,y+\epsilon,z)}{\|(x,y+\epsilon,z)\|_2}.
|
||
$$
|
||
|
||
## 8. 逐耳路径与 ITD
|
||
|
||
归一化路径长度为
|
||
|
||
$$
|
||
\ell_-=\rho_c\sqrt{x^2+(y-\epsilon)^2+z^2},
|
||
$$
|
||
|
||
$$
|
||
\ell_+=\rho_c\sqrt{x^2+(y+\epsilon)^2+z^2}.
|
||
$$
|
||
|
||
模型允许通过 36-vector 对路径加入非负方向修正：
|
||
|
||
$$
|
||
\ell'_e
|
||
=
|
||
\ell_e
|
||
+
|
||
\max(\mathbf v_e^T\mathbf b_e,0)\,2cD^{-1}.
|
||
$$
|
||
|
||
耳间延迟为
|
||
|
||
$$
|
||
\tau
|
||
=|\ell'_+-\ell'_-|\,D\frac{f_s}{343.3}\alpha,
|
||
\qquad f_s=48000.
|
||
$$
|
||
|
||
路径较长的一耳应用 hybrid-band 相位：
|
||
|
||
$$
|
||
P_h=e^{j\omega_h\tau},
|
||
$$
|
||
|
||
其中 $\omega_h$ 由模型的 20 个 hybrid group 参数递推到 77 个 bands。
|
||
|
||
## 9. 方向 field 与直达增益
|
||
|
||
左右耳各有一个 77×36 complex field：
|
||
|
||
$$
|
||
C_{e,h}(\mathbf d_e)
|
||
=
|
||
\sum_{j=0}^{35}F_{e,h,j}b_j(\mathbf d_e).
|
||
$$
|
||
|
||
另一次耳路径计算给出左右权重：
|
||
|
||
$$
|
||
w_L=\frac{\ell_+}{\sqrt{\ell_-^2+\ell_+^2}},
|
||
\qquad
|
||
w_R=\frac{\ell_-}{\sqrt{\ell_-^2+\ell_+^2}}.
|
||
$$
|
||
|
||
有效距离为
|
||
|
||
$$
|
||
R_e=\rho\,s_dD,
|
||
$$
|
||
|
||
其中 $s_d$ 为模型距离标量。Mid/Far 的公共衰减和 room send 为
|
||
|
||
$$
|
||
g_c=\frac{1}{\sqrt{1+s_rR_e^2}},
|
||
$$
|
||
|
||
$$
|
||
g_{\mathrm{room}}=R_eg_c.
|
||
$$
|
||
|
||
Near 使用
|
||
|
||
$$
|
||
g_c=1,
|
||
\qquad
|
||
g_{\mathrm{room}}=0.
|
||
$$
|
||
|
||
令 $C_{e,h}^{(0)}$ 为 field 的第 0 个 basis 系数，中心保护项为 $1-\alpha$。普通直达传递函数可写成
|
||
|
||
$$
|
||
G_{L,h}
|
||
=g_c\left[C_{L,h}w_L\alpha+C_{L,h}^{(0)}c_L(1-\alpha)\right],
|
||
$$
|
||
|
||
$$
|
||
G_{R,h}
|
||
=g_c\left[C_{R,h}w_R\alpha+C_{R,h}^{(0)}c_R(1-\alpha)\right].
|
||
$$
|
||
|
||
$c_L,c_R$ 由模型的耳权重配置选择；路径较长的一耳再乘 $P_h$。
|
||
|
||
## 10. LFE 传递函数
|
||
|
||
LFE 不进入普通对象方向计算。其传递函数为
|
||
|
||
$$
|
||
G_{L,h}^{\mathrm{LFE}}=G_{R,h}^{\mathrm{LFE}}=
|
||
\begin{cases}
|
||
g_h,&0\le h<16,\\
|
||
0,&16\le h<77.
|
||
\end{cases}
|
||
$$
|
||
|
||
前 16 个固定系数为
|
||
|
||
```text
|
||
2.60290003, 1.80741799, 0.659342408, -0.0275855921,
|
||
-0.105803289, -0.0699509233, 0.0749056414, -0.00919809937,
|
||
0.00349014648,-0.0158600751,-0.000723021978,0.00188189559,
|
||
-0.000421735429,0.0000329252762,0.0000317397971,0.000000580376991
|
||
```
|
||
|
||
LFE 的 room send 恒为 0。
|
||
|
||
## 11. 对象累加与 room input
|
||
|
||
每个 hybrid slot 的直达输出为
|
||
|
||
$$
|
||
Y^{\mathrm{direct}}_{e,h}
|
||
=
|
||
\sum_{s=0}^{15}H_{s,h}G_{s,e,h}.
|
||
$$
|
||
|
||
room 输入为
|
||
|
||
$$
|
||
U_h
|
||
=
|
||
\sum_{s=1}^{15}H_{s,h}g_{\mathrm{room},s}.
|
||
$$
|
||
|
||
LFE 不进入该和式。
|
||
|
||
## 12. Room network
|
||
|
||
room 只处理前 64 个 hybrid bands。输入先乘
|
||
|
||
$$
|
||
g_0=0.70710677.
|
||
$$
|
||
|
||
对每级 all-pass，设延迟样本为 $d[n]$、系数为 $a$：
|
||
|
||
$$
|
||
r[n]=x[n]-ad[n],
|
||
$$
|
||
|
||
$$
|
||
y[n]=ar[n]+d[n].
|
||
$$
|
||
|
||
all-pass 输出复制到 4 个 FDN branches。设延迟输出为 $\mathbf d_h[m]$、4×4 混合矩阵为 $M$：
|
||
|
||
$$
|
||
\mathbf b_h[m]
|
||
=U_h[m]\mathbf 1+M\mathbf d_h[m].
|
||
$$
|
||
|
||
每个 branch 使用复反馈系数 $f_{h,i}$：
|
||
|
||
$$
|
||
m_{h,i}[m]=f_{h,i}b_{h,i}[m].
|
||
$$
|
||
|
||
主 tap、可选额外 tap 和左右输出矩阵合成为
|
||
|
||
$$
|
||
Y^{\mathrm{room}}_{e,h}[m]
|
||
=
|
||
\sum_{i=0}^{3}O_{e,h,i}z_{h,i}[m].
|
||
$$
|
||
|
||
最终 hybrid 输出为
|
||
|
||
$$
|
||
Y_{e,h}=Y^{\mathrm{direct}}_{e,h}+Y^{\mathrm{room}}_{e,h}.
|
||
$$
|
||
|
||
Python 后端把该递归网络展开为有限 complex FIR 并使用 overlap-add；C++ 后端直接保持递归状态。两者均跨帧连续。
|
||
|
||
## 13. Hybrid synthesis
|
||
|
||
hybrid synthesis 是 154 项稀疏即时映射。令映射项为 $(h,i,k,o,w)$，其中 $i,o$ 表示实部或虚部，则
|
||
|
||
$$
|
||
Q_{e,k,o}[m]
|
||
\mathrel{+}=
|
||
Y_{e,h,i}[m]w.
|
||
$$
|
||
|
||
输出是每耳 64 个 complex QMF bands。
|
||
|
||
## 14. QMF synthesis
|
||
|
||
每耳 QMF vector 先展开为 128 项实向量
|
||
|
||
$$
|
||
\mathbf q_e=[\Re Q_{e,0},\Im Q_{e,0},\ldots,\Re Q_{e,63},\Im Q_{e,63}]^T.
|
||
$$
|
||
|
||
对每个 phase $p$ 和 rank $r=0\ldots3$：
|
||
|
||
$$
|
||
f_{e,p,r}[m]
|
||
=\mathbf b_{p,r}^T\mathbf q_e[m].
|
||
$$
|
||
|
||
使用 10-slot taps 合成时域样本：
|
||
|
||
$$
|
||
y_e[64m+p]
|
||
=
|
||
\sum_{\ell=0}^{9}
|
||
\sum_{r=0}^{3}
|
||
t_{p,\ell,r}f_{e,p,r}[m-\ell].
|
||
$$
|
||
|
||
## 15. 延迟、尾声和输出
|
||
|
||
完整 filterbank 的固定延迟为
|
||
|
||
$$
|
||
L=961\ \text{samples}.
|
||
$$
|
||
|
||
只在连续流起点丢弃一次前 $L$ 个输出 samples。输入结束后继续送零，以释放 QMF、hybrid 和 room 状态。尾声裁切只作用于文件末端：
|
||
|
||
$$
|
||
\max(|y_L[n]|,|y_R[n]|) > 10^{-8}
|
||
$$
|
||
|
||
的最后一个 sample 被保留，同时输出长度不得短于源 PCM 长度。
|
||
|
||
所有内部状态、参数计算和对象累加使用 `float64/complex128`。最终 writer 才转换为 float32 或 PCM24。
|
||
|
||
## 16. Python 与 C++ 后端
|
||
|
||
两套后端共享：
|
||
|
||
- 同一份 QMF/hybrid 固定表；
|
||
- 同一份模型解析结果；
|
||
- 同一套 512-sample 参数更新时间轴；
|
||
- 同一组逐对象 complex gains 和 room sends；
|
||
- 同一 961-sample 延迟补偿与尾声策略。
|
||
|
||
C++ 后端以 512-sample block 为处理单位，内部持有 QMF、hybrid、room 和 synthesis 状态。Python 只负责模型解析、OAMD 时间轴和每块参数更新。
|
||
|
||
## 17. 模型文件
|
||
|
||
默认路径为
|
||
|
||
```text
|
||
HRTF/binaural.personalized_headphone
|
||
```
|
||
|
||
也可通过
|
||
|
||
```text
|
||
--personalized-headphone PATH
|
||
```
|
||
|
||
指定其它文件。
|
||
|
||
`.personalized_headphone` 中的 int32/Q15 参数在解析后提升为 float64。任意 SOFA FIR 不能只通过数组重排变成该参数模型；若要转换，需要拟合方向 fields、ITD、距离 profile、耳几何和 room 参数。
|
||
|
||
## 18. 适用范围
|
||
|
||
当前路径处理 15 个普通点对象和 1 路 special LFE。对象 extent、spread、diffuse、divergence、channel lock，以及未实现的 OAMD element 变体不在本公式范围内。
|