高压直流输电中交流侧二次谐波分量和直流侧基频分量通过换流器相互调制形成混合谐振，从而使换流变压器铁芯饱和并最终导致混合谐振型谐波不稳定。研究了混合谐振型不稳定产生的机理，并采用仿真方法求取换流器两侧谐波关系的矩阵参数，然后推导了混合谐振型不稳定判据。最后采用PSCAD/EMTDC自建电磁暂态仿真模型，对自发式混合谐振型不稳定进行了仿真研究，验证了混合谐振型不稳定判据的有效性。