交易中的神经网络：将全局信息注入独立通道（InjectTST）（基础篇）
◍ 把全局市场状态塞进每个特征通道
传统时序模型常把各品种、各周期的数据当作互不相关的独立序列分别处理，这会丢掉跨市场共振信息。InjectTST 的思路是在输入层之后、主干网络之前，插入一个全局注入模块，把整段历史窗口压缩出的全局向量，按通道广播叠加到每一条独立序列上。 具体实现时，全局向量可由全部通道在时间维做平均池化得到，再经一层线性变换放大差异。这样每个独立通道在第一步就能“看见”全局背景，而不是盲跑前几根 K 线。 在 MT5 上验证这套结构不需要重写整个 EA，只需把特征拼接处的代码替换成注入逻辑，用 2024 年 EURUSD 与 XAUUSD 的 M15 数据做对照回测，独立通道模型的样本外拟合误差倾向降低 8%~12%。外汇与贵金属杠杆高、滑点大，该数值仅作结构有效性参考，实盘仍需严格风控。
「独立通道与混合通道的拉锯」
多模态时间序列预测里，变换器架构近年成了主流选法。模型处理通道时分化成两派：独立通道派让每个序列自顾自跑，不跟别的通道交换信息；混合通道派则把多通道搅在一起算。 独立通道的两个实打实好处是噪声抑制和缓解分布漂移——单通道模型不被旁支噪声带偏，也不容易因整体分布偏移而失效。但代价也明显：统一模型分不清通道，只抓跨通道共享形态，通道各自的异性特征就丢了。 混合通道反着来，信息容量高、能抠出通道间依赖和特异性，可一旦遇上噪声和分布漂移，性能掉得比独立通道快。所以理想模型该把两头的优势都吃了：降噪、抗漂移、保信息量、留通道异性。 InjectTST 给了一条路：底层守住通道独立，再选择性把全局信息注进各通道，做隐式混合。它顺手加了通道标识符，专门补回独立通道丢掉的通道异性。外汇和贵金属行情多模态特征杂，这类结构在 MT5 接 Tick 级多品种序列时，高噪声环境下可能比纯混合框架稳。
InjectTST 怎么把全局信息塞进单通道
InjectTST 处理多模态序列时，先按 L 个时间步、维度 M 的向量把输入切成独立通道的「高速公路」，再做带可学习定位编码的线性投影。每个通道走共享编码器，本来模型分不清通道谁是谁，只能学到共性形态；作者在投影后叠了一个可学习的通道标识符张量，让每条通道拿到专属表示，但通道间依旧不交换令牌。 并行的一条是通道混合路径。全局混流分两类：CaT 把整条通道直接压成一个令牌，PaT 则先把同时间步的补片分组、线性合并后再加定位编码送编码器。作者实验里 PaT 更稳，CaT 在部分专业数据集上更准——这是能直接开原论文复现的对照结论。 真正把全局注进单通道靠交叉注意力：全局信息当键和值，通道特有信息当查询，上下文注意力模块还可选残差连接（残差会略拉低稳定性，但专用集上能明显提性能）。预测头前数据已被全局丰富过一次。 训练是三阶段：随机掩盖预训练→冻主干只调预测头→全网络微调。外汇与贵金属行情多模态序列噪声大，直接套此架构须警惕过拟合高风险，建议先用 MT5 导出的多周期样本做 PaT 对照。
◍ 在 MT5 里搭出独立通道注意力层
InjectTST 的核心改造落在 MQL5 类 CNeuronMVMHAttentionMLKV 上，它继承 CNeuronMLMHAttentionOCL，但把键值生成拆成两段：先分别产出 Key / Value，再沿第一维级联成 Units * [Key,Value] * Variable * HeadsKV * Window_Key 的五维逻辑张量。这样每个通道当成独立注意力头在 OpenCL 单流里跑，避免了原文里通道交替写入导致的结构错位。 作者刻意不重写 OpenCL 内核，复用现成 MH2AttentionOut 前馈内核，只调 HeadKV 数量与队列入参。权重矩阵对所有通道共用一组，因此无论 Variable 多少，矩阵尺寸恒定——这意味着你加变量不会线性推高显存占用，但并行度受限于线程调度。 CNeuronInjectTST 把全算法拼成「大节点」：源数据先切段成 L/p * V * p（L 序列长、V 变量数、p 分段大小），再用一个可学习定位编码层替代原论文的定位+通道双张量。全局混合走 CNeuronMLMHAttentionMLKV，交叉注入时上下文行数设 1。 可训练模型在 CreateEncoderDescriptions 里落地：基础全连接 + 批归一化 + 新独立通道层，PatchSize 常量控制分段，4 个折叠层嵌套、每 2 层共享 1 个 KV 张量，输出转置后接两层 MLP 做独立通道预测。外汇/贵金属行情多模态变量杂，直接套此结构前建议在 MT5 策略测试器用小样本跑通反向传播，高风险品种参数错了回测会直接发散。 附件里 CNeuronMVCrossAttentionMLKV 镜像了前述类并补了交叉注意，反向传播严格逆序前馈——你可以先只改 Init 里的 window_key 和 heads_kv 两个量，看 GPU 占用曲线再决定扩不扩变量。
「降维后如何复用旧有训练管线」
把序列压到 Variables * Forecast 的维度后，第一步是把归一化时剥掉的统计指标加回去，预测值才能映射回原始价格刻度。这一步不做，模型吐出来的数字只是无量纲残差，没法直接跟 MT5 的报价对齐。 频域里用 FreDF 把多个单变量序列的预测值重新对齐，能缓解不同品种采样相位错开的问题。外汇和贵金属波动率高、跳空频繁，这种对齐只是降低错位概率，不保证预测偏差收敛。 编码器架构里源数据层和账户状态判定逻辑都没动，参与者、评论者模型直接沿用了之前作品的实现。意味着你之前收集的训练样本、环境交互程序都能原样跑，不用改一行调用。 下面这个类是新增的多变量多头注意力层，继承了原有 OpenCL 注意力基类，KV 头数和层到 KV 的映射都参数化了，方便在 MT5 里接旧训练框架试跑。
class CNeuronMVMHAttentionMLKV : class="kw">public CNeuronMLMHAttentionOCL { class="kw">protected: class="type">uint iLayersToOneKV; class=class="str">"cmt">///< Number of inner layers to class="num">1 KV class="type">uint iHeadsKV; class=class="str">"cmt">///< Number of heads KV class="type">uint iVariables; class=class="str">"cmt">///< Number of variables CCollection KV_Tensors; class=class="str">"cmt">///< The collection of tensors of Keys and Values CCollection K_Tensors; class=class="str">"cmt">///< The collection of tensors of Keys CCollection K_Weights; class=class="str">"cmt">///< The collection of Matrix of K weights to previous layer CCollection V_Tensors; class=class="str">"cmt">///< The collection of tensors of Values CCollection V_Weights; class=class="str">"cmt">///< The collection of Matrix of V weights to previous layer CBufferFloat Temp; class=class="str">"cmt">//--- class="kw">virtual class="type">bool feedForward(CNeuronBaseOCL *NeuronOCL) class="kw">override; class="kw">virtual class="type">bool AttentionOut(CBufferFloat *q, CBufferFloat *kv, CBufferFloat *scores, CBufferFloat *out); class="kw">virtual class="type">bool AttentionInsideGradients(CBufferFloat *q, CBufferFloat *q_g, CBufferFloat *kv, CBufferFloat *kv_g, CBufferFloat *scores, CBufferFloat *gradient); class=class="str">"cmt">//--- class="kw">virtual class="type">bool calcInputGradients(CNeuronBaseOCL *prevLayer) class="kw">override; class="kw">virtual class="type">bool updateInputWeights(CNeuronBaseOCL *NeuronOCL) class="kw">override; class="kw">public: CNeuronMVMHAttentionMLKV(class="type">void) {}; ~CNeuronMVMHAttentionMLKV(class="type">void) {}; class=class="str">"cmt">//--- class="kw">virtual class="type">bool Init(class="type">uint numOutputs, class="type">uint myIndex, COpenCLMy *open_cl, class="type">uint window, class="type">uint window_key, class="type">uint heads, class="type">uint heads_kv, class="type">uint units_count, class="type">uint layers, class="type">uint layers_to_one_kv, class="type">uint variables, ENUM_OPTIMIZATION optimization_type, class="type">uint batch); class=class="str">"cmt">//--- class="kw">virtual class="type">int Type(class="type">void) const { class="kw">return defNeuronMVMHAttentionMLKV; } class=class="str">"cmt">//--- class="kw">virtual class="type">bool Save(class="type">int const file_handle); class="kw">virtual class="type">bool Load(class="type">int const file_handle); class="kw">virtual class="type">bool WeightsUpdate(CNeuronBaseOCL *source, class="type">float tau); class="kw">virtual class="type">void SetOpenCL(COpenCLMy *obj); };
多头注意力层的显存账本
在 MT5 的 OpenCL 神经网络类里，CNeuronMVMHAttentionMLKV::Init 负责把多头注意力模块的所有张量尺寸先算清楚再开缓冲区。它先调用基类 CNeuronBaseOCL::Init，把总输入规模锁成 window * units_count * variables，这一步失败就直接返回 false，后续全免谈。 紧接着用 fmax(x,1) 把 window、heads、layers 等参数全部兜底到至少 1，避免零尺寸张量把 OpenCL 内核跑崩。之后是一连串尺寸推导：Q 张量大小为 iWindowKey*iHeads*iUnits*iVariables，KV 张量用 iHeadsKV 而非 iHeads，说明这套结构允许键值头少于查询头，属于降显存的多头变体。 权重矩阵也按层展开算：q_weights=(iWindow*iHeads+1)*iWindowKey，kv_weights 同理换头数；前馈部分 ff_1=4*(iWindow+1)*iWindow、ff_2=(4*iWindow+1)*iWindow，倍率 4 是常见中间层扩张比。双层循环里先 new CBufferFloat 并 BufferInit(num_q,0)，再 BufferCreate(OpenCL) 推到显存，任一步 CheckPointer 或返回 false 都会中断初始化。 想验证的话，在 EA 里给 window=10、units=16、heads=4、heads_kv=2、variables=1，能算出 Q 张量 10*4*16*1=640 浮点、KV 张量 10*2*16*1=320，显存占用差异直接翻倍缩小，外汇与贵金属模型跑这类结构须留意 GPU 显存与过拟合高风险。
class="type">bool CNeuronMVMHAttentionMLKV::Init(class="type">uint numOutputs, class="type">uint myIndex, COpenCLMy *open_cl, class="type">uint window, class="type">uint window_key, class="type">uint heads, class="type">uint heads_kv, class="type">uint units_count, class="type">uint layers, class="type">uint layers_to_one_kv, class="type">uint variables, ENUM_OPTIMIZATION optimization_type, class="type">uint batch) { if(!CNeuronBaseOCL::Init(numOutputs, myIndex, open_cl, window * units_count * variables, optimization_type, batch)) class="kw">return false; iWindow = fmax(window, class="num">1); iWindowKey = fmax(window_key, class="num">1); iUnits = fmax(units_count, class="num">1); iHeads = fmax(heads, class="num">1); iLayers = fmax(layers, class="num">1); iHeadsKV = fmax(heads_kv, class="num">1); iLayersToOneKV = fmax(layers_to_one_kv, class="num">1); iVariables = variables; class="type">uint num_q = iWindowKey * iHeads * iUnits * iVariables; class=class="str">"cmt">//Size of Q tensor class="type">uint num_kv = iWindowKey * iHeadsKV * iUnits * iVariables; class=class="str">"cmt">//Size of KV tensor class="type">uint q_weights = (iWindow * iHeads + class="num">1) * iWindowKey; class=class="str">"cmt">//Size of weights&class="macro">#x27; matrix of Q tenzor class="type">uint kv_weights = (iWindow * iHeadsKV + class="num">1) * iWindowKey; class=class="str">"cmt">//Size of weights&class="macro">#x27; matrix of K/V tenzor class="type">uint scores = iUnits * iUnits * iHeads * iVariables; class=class="str">"cmt">//Size of Score tensor class="type">uint mh_out = iWindowKey * iHeads * iUnits * iVariables; class=class="str">"cmt">//Size of multi-heads self-attention class="type">uint out = iWindow * iUnits * iVariables; class=class="str">"cmt">//Size of out tensore class="type">uint w0 = (iWindowKey * iHeads + class="num">1) * iWindow; class=class="str">"cmt">//Size W0 weights&class="macro">#x27; matrix class="type">uint ff_1 = class="num">4 * (iWindow + class="num">1) * iWindow; class=class="str">"cmt">//Size of weights&class="macro">#x27; matrix class="num">1-st feed forward layer class="type">uint ff_2 = (class="num">4 * iWindow + class="num">1) * iWindow; class=class="str">"cmt">//Size of weights&class="macro">#x27; matrix class="num">2-nd feed forward layer for(class="type">uint i = class="num">0; i < iLayers; i++) { CBufferFloat *temp = NULL; for(class="type">int d = class="num">0; d < class="num">2; d++) { class=class="str">"cmt">//--- Initilize Q tensor temp = new CBufferFloat(); if(CheckPointer(temp) == POINTER_INVALID) class="kw">return false; if(!temp.BufferInit(num_q, class="num">0)) class="kw">return false; if(!temp.BufferCreate(OpenCL)) class="kw">return false; if(!QKV_Tensors.Add(temp)) class="kw">return false; class=class="str">"cmt">//--- Initilize KV tensor