有做过数据压缩的兄弟么？请教！

只看该作者 · 2009-2-6 16:44

撇开数据样本来谈压缩率，那是毫无疑义的

比如这样的问题：
“无损压缩，最高能做到多少：1 ？”

真的是问得非常的傻
//-------------------------------------------------------------

数据样本我前面已经说了？没看到？
如果是有规律的信号，我还用问？问题恰恰只是知道就是采样输出数据！因此，初步想法，就是用一个通用的数据压缩算法。这个就是第一次的产品，等到设备现场运行一段时间采集大量数据，才能在分析数据，研究新的压缩算法！

如果是音频信号，就不用来问了！算法一大堆！
-------------------------------------------------------------
宇宙飞船发表于 2009-2-6 10:36 DSP 技术 ←返回版面

26楼：你的老哥说的能做到5：1指的是目前

通用DSP的速度极限，抛开速度来讲就可以做到无限了！连这一点都没弄明
白，那你这几年就是混过来的！
-------------------------------------------------------------
你不说我还明白，你一说，我就糊涂了！CPU处理速度的问题，我自己会考虑！你不知道可以并行处理么？
抛开速度来讲就可以做到无限了,提这种不切合实际的东西，还叫算法么?
如果你懂，就像alex74一样，说点有用的！我的确没有做过数据压缩，难道没做过数据压缩，就算这几年白混？

欢迎兄弟们提点切合实际的算法，抬杠就免了！小母牛满天飞也免了！

只看该作者 · 2009-2-6 16:53

我不懂，所以我来问，当然，我也会找身边的人去问！没必要不懂装懂！
你懂，愿意和我分享你的成果！我很感激你！
你懂，你不愿意和我分享你的成果！也没必要嘲笑我不懂！
你不懂，我也不懂，大家一起学习！
你不懂，如果我懂了，我会和你分享！

2万 · 2009-2-6 17:19

说到底，考虑压缩的目的还是为了降低总体成本

而从这一点去考虑的话，现在SD卡那么便宜，以为的追求压缩率就毫无必要了，
说不定最简单的方法就是最合适的呢？

我前面说到“撇开数据样本来谈压缩率，那是毫无疑义的”
你反而非常气愤，难道你不觉得不同的数据会导致不同压缩率的结果吗？

就好比压缩一张同样大小的图片，一张空白的图片和一张有规律的图片、另一张没规律的图片，压缩后的压缩率当然会有严重差别一样，一张结果可能只有几十直接，另一张却可能会很大很大

看你1楼、4楼的帖，你着重考虑的是谐波失真，而采集的信号又是有一定规律的周期信号，当然是尽量用频域变换再变长编码了，而这时的数据量，当然会随原始信号的谐波复杂程度而变化，这还用说吗？？？
没有实际的原始样本，一味的说“压缩率”有意义吗？？？？？

只看该作者 · 2009-2-6 18:01

每秒就是1.2M的数据
这个设备要求能连续记录一个月的数据，滚动记录，这样算下来，一个月要>3200 G的数据量。

我的想法也很简单，最好能控制在320G或者500G，其次640g，再次是1TB,这样一个硬盘就搞定了!
算法不想搞得太复杂，也没必要！

采集的信号是有一定规律的周期信号，这是通常的情况下，也可以说是实验室里的数据，实际应用中，各次谐波的变化很大，而且有一种故障下，可能连续几个小时，甚至1-2天，数据都是毫无规律的！(1个月能出现的次数不定)故障又无法模拟。实验室做不出来，还有一种故障，压根儿就没见到过数据波形。而且，各个现场，由于外接网络不同，数据样本的差异很大。这个设备本身就是为了对未知的故障做记录，为以后的产品开发提供数据，为本次故障提供分析数据，如果波形都是已知的理想情况，这个设备就没有必要存在了！

只看该作者 · 2009-2-6 20:19

一个基波1024点，这个基波比较难理解。
一个基波＝1秒？

只看该作者 · 2009-2-6 20:36

就是50hz的！

只看该作者 · 2009-2-6 20:51

帮顶

只看该作者 · 2009-2-6 23:13

你那个朋友做到5：1也该满足了

只看该作者 · 2009-2-7 06:03

前面N个人说过了,"撇开数据样本来谈压缩率，那是毫无疑义的"!
你兄弟能做到"5:1"肯定也没抛开样本.

举个最简单的例子,用WINRAR压缩过的文件再用WINRAR去压缩有效果么?

假设你兄弟做到了5:1,假设某段时间你通过AD采样到的数据恰好就是你兄弟压缩之后的结果,你兄弟还能把这段数据压缩成5:1?

另外WINRAR压缩的时候有个选项,最大压缩比/最大速度,同样的道理,你在做项目的时候也要考虑到MCU速度与压缩比的关系,不是懂并行处理速度就是无极限的.

1万 · 2009-2-7 08:13

可以轻松做到300：1 ，这个是理论上不计存硬盘的压缩比！

楼主正一个牛皮灯笼！

只看该作者 · 2009-2-7 09:08

你到底是无理取闹，还是看不懂？
基波是50hz信号，就是20ms的周期，每个基波采样1024点，要做到511次谐波不失真（其实是做不到的，提这个的人，隐含的意思是，所有采样数据压缩后，很够无损恢复），咋让你偷换成测控记录10次谐波？

只看该作者 · 2009-2-7 15:30

原始数据每秒 1024 * (16/8) * 12 * 50 = 1228800(Byte)。
每路一周波内数据1024 * (16/8) = 2048（Byte)。若每路的谐波分量较小(干扰小)，数据的压缩率会大一些，相反则会小一些，还是建议楼主把数据采集到PC并先原样保存几天的数据。数据量：1.23M*60*60*24 * N. 再用zip算法去压压看。（音视频数据压缩基本上都是有损的）。

只看该作者 · 2009-2-7 16:01

样机可以考虑这样干！有了数据，以后再考虑压缩！大不了用PC机进行压缩，反正现在的atom的板子很便宜。

2万 · 2009-2-7 17:19

2万 · 2009-2-7 17:21

做一个自动装DVD光盘的装置，哈哈，然后在旁边放上一麻袋的DVD光盘，自动刻录就好拉。。。

2万 · 2009-2-7 17:36

其实，
只要能用上操作系统，就完全可以用现有的压缩软件来作数据压缩

比如按照时间段把数据保存成一个个的文件，然后压缩，删除非压缩文件即可
既保证压缩率高，也能做到完全无损，并且充分利用存储空间

1万 · 2009-2-7 18:35

老狼发表于 2009-2-7 09:08 DSP 技术 ←返回版面
38楼：宇宙飞船
你到底是无理取闹，还是看不懂？
基波是50hz信号，就是20ms的周期，每个基波采样1024点，要做到511次谐波不失真（其实是做不到的，提这个的人，隐含的意思是，所有采样数据压缩后，很够无损恢复），咋让你偷换成测控记录10次谐波？
//---------------------------
50*511=25550=25.55KZ*2= 51.1KZ 不超过60KZ
这样低的采样率，记录不超过511个频点，要做几百比1的压缩率，
易如反掌！

比起视频20M以上的取样率，简直就是小毛见大毛！
俺说的方法对你目前的水平和理解力只能是对牛弹琴。

1万 · 2009-2-7 18:49

老狼发表于 2009-2-6 02:49 DSP 技术
24楼：
。。。。做FFT好多年了！ //楼主这个牛吹得太大了！

只看该作者 · 2009-2-7 20:13

有点意思！

只看该作者 · 2009-2-9 09:26

我以前做过，可以采用小波算法＋LZW压缩，不过是有损的，小波算法是有损的，但是你可以设个阈值，将有损控制在可接收的范围。

我记得我的压缩比大概在4:1左右。

有做过数据压缩的兄弟么？请教！

晕!

我希望搞技术的人，就踏实一点！

呵呵，LZ用不着这么激动哦

12路信号，16位AD，每个基波采样1024点

..

基波

不懂，路过学习...

没想法了，看不到样本。

楼主不够虚心

按楼主50HZ，测控记录10次谐波，用TI的6系列理论上

宇宙飞船

先存储数天的数据试试看

楼上兄弟说的对！

哈哈，用10000MG的硬盘保存

装个DVD刻录光驱

本来就是很简单的问题，只是LZ自己的这种态度让问题变成了

这么低的采样率，要做压缩比几百比1易如反掌！

楼主还说自已做过几年信号处理！

哈哈

lz是做故障录波？

技术奇才奖章

缘定三生

精英会员奖章

终身成就奖章

坚毅之洋流

技术领袖奖章

十世金身

涓涓之细流

伴坛终老