“数据压缩实验之LZW 编解码算法实现与分析”实验报告_201810413045_陈诚
作者：互联网
文章目录
1.实验项目名称
LZW 编解码算法实现与分析
2.实验目的
掌握词典编码的基本原理，用C/C++/Python等语言编程实现LZW解码器并分析编解码算
法。
3.什么是LZW编解码算法与它的原理
3.1 LZW编解码算法介绍
摘自维基百科：
LZW算法（Lempel-Ziv-Welch），是以色列科学家亚伯拉罕·蓝波（Lempel）、杰可布·立夫（Ziv）与美国学者泰瑞·卫曲（Welch）共同提出的一种无损数据压缩算法。它在1984年由泰瑞·卫曲改良亚伯拉罕·蓝与杰可布·立夫在1978年发表的LZ78的版本而来（主要是基于Lampel、Ziv的压缩概念，设计出一套具有可逆推的逻辑程序）。
3.2 LZW编解码算法原理
3.2.1 编码流程图及为了便于理解和期末复习举实例说明
假如要给“abbababac”编码，初始化词典如下：
第一步，P=空，C=“a”,P+C=“a”，经判断“a”在词典中，所以P=“a”，接着C=“b”，P+C=“ab”，经判断“ab”不在词典中，所以输出，把“ab”写入词典里，然后P=“b”，读下一个字符“b”并令C=“b”…以此类推，当编到P=“a”,C="b"时，如图，词典里已经有了“ab”：
所以经判断后P=“ab”，读下一个字符“a”，P+C就为“aba”，经判断就把“aba”写到词典里，之后P=“a”，读下一个字符“b”，P+C就为“ab”，经判断后P=“ab”，读下一个字符C=“a”，经判断后P=“aba”,C=“c”,经判断就把“abac”写到词典里
3.2.2 解码流程图及举实例说明（重点说明当前码字在词典中不存在的情形）
假如要给“97 98 98 256 259 99”解码，初始化词典如下：
第一次循环CW=“97”，输出“a”到码字流中后令PW=“97”，CW=“98”，经判断string.CW（此处即为“b”）在词典中，所以输出“b”，之后P=“a”，C=“b”，把P+C=“ab”写到词典中，第二次循环PW=“98”，CW=“98”，经判断string.CW（此处即为“b”）在词典中，所以输出“b”，之后P=“b”，C=“b”，把P+C=“bb”写到词典中，第三次循环执行PW=“98”，CW=“256”时，词典如下：
经判断输出“ab”，之后P=“b”，C=“a”（取“ab”的第一个字符），把P+C=“ba”写到词典中：
第四次循环PW=“256”，CW=“259”，经判断经判断string.CW不在词典中，所以P=“ab”，此时按照流程图，应该取字典里序号为259对应字符的第一个字符，但是字典里序号为259的String是空的，怎么办？
按照老师的解释，这是由于在编码时，新的“P+C”刚被创建，下一个“P”就需要使用它造成的，新创建的“P+C”的尾缀是新创建的“P+C”的首字符“，所以序号为259的String为“aba”，输出“aba”
第五次循环PW=“259”，CW=“99”，经判断string.cw在词典中，所以输出“c”，然后全部解码结束。
4.用C语言实现该算法
4.1 实验关键代码及其注释
bitio.c:
BITFILE *OpenBitFileInput( char *filename){//打开要读入的文件
BITFILE *bf;
bf = (BITFILE *)malloc( sizeof(BITFILE));
if( NULL == bf) return NULL;
if( NULL == filename) bf->fp = stdin;
else bf->fp = fopen( filename, "rb");
if( NULL == bf->fp) return NULL;
bf->mask = 0x80;
bf->rack = 0;
return bf;
}
BITFILE *OpenBitFileOutput( char *filename){//创建要写出的文件
BITFILE *bf;
bf = (BITFILE *)malloc( sizeof(BITFILE));
if( NULL == bf) return NULL;
if( NULL == filename) bf->fp = stdout;
else bf->fp = fopen( filename, "wb");
if( NULL == bf->fp) return NULL;
bf->mask = 0x80;
bf->rack = 0;
return bf;
}
void CloseBitFileInput( BITFILE *bf){//关闭读入文件比特流
fclose( bf->fp);
free( bf);
}
void CloseBitFileOutput( BITFILE *bf){//输出剩余比特数据后关闭比特流
if( 0x80 != bf->mask) fputc( bf->rack, bf->fp);
fclose( bf->fp);
free( bf);
}
int BitInput( BITFILE *bf){//从输入比特流中读取字符
int value;
if( 0x80 == bf->mask){
bf->rack = fgetc( bf->fp);
if( EOF == bf->rack){
fprintf(stderr, "Read after the end of file reached\n");
exit( -1);
}
}
value = bf->mask & bf->rack;
bf->mask >>= 1;
if( 0==bf->mask) bf->mask = 0x80;
return( (0==value)?0:1);
}
unsigned long BitsInput( BITFILE *bf, int count){
unsigned long mask;
unsigned long value;
mask = 1L << (count-1);
value = 0L;
while( 0!=mask){
if( 1 == BitInput( bf))
value |= mask;
mask >>= 1;
}
return value;
}
void BitOutput( BITFILE *bf, int bit){//向输出比特流中添加字符
if( 0 != bit) bf->rack |= bf->mask;
bf->mask >>= 1;
if( 0 == bf->mask){ // eight bits in rack
fputc( bf->rack, bf->fp);
bf->rack = 0;
bf->mask = 0x80;
}
}
void BitsOutput( BITFILE *bf, unsigned long code, int count){
unsigned long mask;
mask = 1L << (count-1);
while( 0 != mask){
BitOutput( bf, (int)(0==(code&mask)?0:1));
mask >>= 1;
}
}
LZW_E.c:
struct {
int suffix;
int parent, firstchild, nextsibling;
} dictionary[MAX_CODE+1];
int next_code;
int d_stack[MAX_CODE]; // stack for decoding a phrase
int DecodeString( int start, int code);
void InitDictionary( void);
void PrintDictionary( void){
int n;
int count;
for( n=256; n<next_code; n++){
count = DecodeString( 0, n);
printf( "%4d->", n);
while( 0<count--) printf("%c", (char)(d_stack[count]));
printf( "\n");
}
}
int DecodeString( int start, int code){//从码解出字符串到d_stack这个栈中
int count;
count = start;
while( 0<=code){
d_stack[ count] = dictionary[code].suffix;
code = dictionary[code].parent;
count ++;
}
return count;
}
/*初始化词典,每一个节点的根节点是自身，兄弟节点是自身+1，第256个没有兄弟节点，数据结构分析见下图*/
void InitDictionary( void){
int i;
for( i=0; i<256; i++){
dictionary[i].suffix = i;//节点的尾缀字符
dictionary[i].parent = -1;//节点的母结点
dictionary[i].firstchild = -1;//节点的第一个孩子节点
dictionary[i].nextsibling = i+1;//节点的下一个兄弟节点
}
dictionary[255].nextsibling = -1;
next_code = 256;
}
/*查找词典中是否有字符串，string_code为前缀*/
int InDictionary( int character, int string_code){
int sibling;
if( 0>string_code) return character;//如果是单个字符？
sibling = dictionary[string_code].firstchild;//前缀为string_code的第一个孩子节点
while( -1<sibling){
if( character == dictionary[sibling].suffix) return sibling;//字符是否等于结点的尾缀字符？
sibling = dictionary[sibling].nextsibling;//找下一个兄弟节点
}
return -1;
}
//把新的字符串加入到字典中
void AddToDictionary( int character, int string_code){
int firstsibling, nextsibling;
if( 0>string_code) return;//如果是单个字符就不加
dictionary[next_code].suffix = character;
dictionary[next_code].parent = string_code;
dictionary[next_code].nextsibling = -1;
dictionary[next_code].firstchild = -1;
firstsibling = dictionary[string_code].firstchild;
if( -1<firstsibling){ // 如果节点有孩子节点
nextsibling = firstsibling;//兄弟节点设置为第一个兄弟节点
while( -1<dictionary[nextsibling].nextsibling ) // 如果此兄弟节点的兄弟节点有孩子节点
nextsibling = dictionary[nextsibling].nextsibling;//现在的“兄弟节点”设置为它的兄弟节点
dictionary[nextsibling].nextsibling = next_code;
}else{// 之前没有孩子节点，把它修改到第一个
dictionary[string_code].firstchild = next_code;
}
next_code ++;
}
void LZWEncode( FILE *fp, BITFILE *bf){
int character;
int string_code;
int index;
unsigned long file_length;
fseek( fp, 0, SEEK_END);
file_length = ftell( fp);
fseek( fp, 0, SEEK_SET);
BitsOutput( bf, file_length, 4*8);
InitDictionary();
string_code = -1;
while( EOF!=(character=fgetc( fp))){
index = InDictionary( character, string_code);
if( 0<=index){ // 如果字典里有字符串
string_code = index;//用当前字符扩展前缀
}else{ // 如果字典里没有字符串
output( bf, string_code);//输出当前前缀相对应的码字
if( MAX_CODE > next_code){ // free space in dictionary
// 把字符串加入到字典中
AddToDictionary( character, string_code);
}
string_code = character;//用当前字符扩展前缀
}
}
output( bf, string_code);
}
void LZWDecode( BITFILE *bf, FILE *fp){
int character;
int new_code, last_code;
int phrase_length;
unsigned long file_length;
file_length = BitsInput( bf, 4*8);
if( -1 == file_length) file_length = 0;
InitDictionary();
last_code = -1;
while (0 < file_length) {
new_code = input(bf);
if (new_code >= next_code) { // this is the case CSCSC( not in dict)
d_stack[0] = character;
phrase_length = DecodeString(1, last_code);
}
else {
phrase_length = DecodeString(0, new_code);
}
character = d_stack[phrase_length - 1];
while (0 < phrase_length) {
phrase_length--;
fputc(d_stack[phrase_length], fp);
file_length--;
}
if (MAX_CODE > next_code) {// 把新字符串加入到字典中
AddToDictionary(character, last_code);
}
last_code = new_code;
}
}
int main( int argc, char **argv){
FILE *fp;
BITFILE *bf;
if( 4>argc){
fprintf( stdout, "usage: \n%s <o> <ifile> <ofile>\n", argv[0]);
fprintf( stdout, "\t<o>: E or D reffers encode or decode\n");
fprintf( stdout, "\t<ifile>: input file name\n");
fprintf( stdout, "\t<ofile>: output file name\n");
return -1;
}
if( 'E' == argv[1][0]){ // do encoding
fp = fopen( argv[2], "rb");
bf = OpenBitFileOutput( argv[3]);
if( NULL!=fp && NULL!=bf){
LZWEncode( fp, bf);
fclose( fp);
CloseBitFileOutput( bf);
fprintf( stdout, "encoding done\n");
}
}else if( 'D' == argv[1][0]){ // do decoding
bf = OpenBitFileInput( argv[2]);
fp = fopen( argv[3], "wb");
if( NULL!=fp && NULL!=bf){
LZWDecode( bf, fp);
fclose( fp);
CloseBitFileInput( bf);
fprintf( stdout, "decoding done\n");
}
}else{ // otherwise
fprintf( stderr, "not supported operation\n");
}
return 0;
}
5.调试程序，以TXT文本测试编解码算法的正确性
原文件：
编码后的文件：
解码后的文件：
可见 解码后的文件与原文件相同。
6.使用LZW编码器文件进行压缩
6.1 对十种不同格式类型的文件进行压缩
十种不同的文件：
分别对各文件进行压缩后：
6.2 压缩效率分析
| 原始文件类型 | 原始文件大小(KB) | 采用LZW算法压缩文件后文件的大小 | 压缩效率 |
|---|---|---|---|
| gif | 16 | 26 | -62.50% |
| avi | 1162 | 1388 | -19.45% |
| xls | 30 | 19 | 36.67% |
| jpg | 63 | 87 | -38.10% |
| docx | 76 | 111 | -46.05% |
| png | 170 | 224 | -31.76% |
| 181 | 240 | -32.60% | |
| mp3 | 1008 | 444 | 55.95% |
| rgb | 192 | 192 | 0 |
| mp4 | 6666 | 8163 | -22.46% |
从这张表我们可以看出，LZW算法并不是能把所有文件压缩到比原文件小，也有可能是我使用的文件并没有出现连续的比特数据，所以压缩效果不好。之前在资料上看到“LZW算法对机器硬件条件要求不高，在 Intel 80386的计算机上即可进行压缩和解压缩”，所以我感觉用硬件换效果导致它并不是现在主流的压缩算法。
标签：fp,编解码,bf,code,string,int,mask,LZW,201810413045 来源： https://blog.csdn.net/qq_45639597/article/details/115750894