摘要：传统卷积神经网络（CNN）只适用于灰度图像或彩色图像分通道的特征提取，忽视了通道问的空间依赖性，破坏了真实环境的颜色特征，从而影响人体行为识别的准确率。为了解决上述问题，提出一种基于四元数时空卷积神经网络（QST—CNN）的人体行为识别方法。首先，采用码本算法预处理样本集所有图像，提取图像中人体运动的关键区域；然后将彩色图像的四元数矩阵形式作为网络的输入，并将CNN的空间卷积层扩展为四元数空间卷积层，将彩色图像的红、绿、蓝通道看作一个整体进行动作空间特征的提取，并在时间卷积层提取相邻帧的动态信息；最后，比较QST．CNN、灰度单通道CNN（Gray—CNN）和RGB3通道CNN（3 Channel—CNN）3种方法的识别率。实验结果表明，所提方法优于其他流行方法，在Weizmann和UCFsports数据集分别取得了85．34％和80．2％的识别率。

关键词：四元数 卷积神经网络 码本 人体行为识别 

单位：东北电力大学信息工程学院; 吉林132012