OUTPUT_LANGUAGE = Japanese
DOXYFILE_ENCODING = CP932
INPUT_ENCODING = CP932
CHM_INDEX_ENCODING = CP932

まだ索引が文字化けしているが目次とキーワードはOK。