Dense-only quantization bit precision

[akarkim]

안녕하세요.
논문을 읽다 궁금한 점이 생겨 질문 드립니다.

Table1을 보면, Dense-only인 경우에 Avg.Bits 가 4가 아닌 4.05로 표기되어 있는데, 왜 4-bit 가 아닌가요?

제가 이해하기로는,
dense-only는 sparse matrix를 사용하지 않기 때문에
weights가 전부 integer이고 그로 인해 4-bit precision이 맞다 생각했습니다.
혹시 non-uniform quantization으로 인한 어떤 오버헤드 때문에 Avg.Bits가 4.05 인가요?

+추신) 작년 8월에 경량화 스터디 오프라인 밋업에서 발표하시는 거 들었었는데 너무 인상 깊었습니다! 올해도 참석해주시는지 궁금합니다 ㅎㅎ

감사합니다