摘要：17种预测模式和率失真优化模式判决极大的增加了H．264帧内编码器硬件设计的复杂度．目前的模式判决快速算法能大量减少模式判决的复杂度，但却不易于硬件实现．本文在Sobel边缘检测模式判决算法的基础上，提出了一种面向VLSI实现的模式判决优化算法．该算法通过修改16×16宏块部分像素的Sobel边缘检测算子来减少存储器读取次数，优化预测模式区域的范围来减少硬件设计复杂度，并采用变换后残差绝对值和（SATO）来简化编码代价判决运算．实验结果表明，采用该算法的帧内硬件编码器可以在确保编码质量的前提下，显著降低硬件实现复杂度和提高编码器效率．

关键词：帧内编码 模式判决 vlsi实现 

单位：浙江大学超大规模集成电路设计研究所; 浙江杭州310027