老狼
发表于 2009-2-6 16:44
晕!
撇开数据样本来谈压缩率，那是毫无疑义的 <br /><br />比如这样的问题：<br />“无损压缩，最高能做到多少：1 ？”<br /><br />真的是问得非常的傻<br />//------------------------------------------------------------- <br /> <br />数据样本我前面已经说了？没看到？<br />如果是有规律的信号，我还用问？问题恰恰只是知道就是采样输出数据！因此，初步想法，就是用一个通用的数据压缩算法。这个就是第一次的产品，等到设备现场运行一段时间采集大量数据，才能在分析数据，研究新的压缩算法！<br /><br />如果是音频信号，就不用来问了！算法一大堆！<br />-------------------------------------------------------------<br />宇宙飞船 发表于 2009-2-6 10:36 DSP 技术 ←返回版面 <br /><br />26楼： 你的老哥说的能做到5：1指的是目前 <br /><br />通用DSP的速度极限，抛开速度来讲就可以做到无限了！连这一点都没弄明<br />白，那你这几年就是混过来的！<br />-------------------------------------------------------------<br />你不说我还明白，你一说，我就糊涂了！CPU处理速度的问题，我自己会考虑！你不知道可以并行处理么？<br />抛开速度来讲就可以做到无限了,提这种不切合实际的东西，还叫算法么?<br />如果你懂，就像alex74一样，说点有用的！我的确没有做过数据压缩，难道没做过数据压缩，就算这几年白混？<br /> <br />欢迎兄弟们提点切合实际的算法，抬杠就免了！小母牛满天飞也免了！<br />
老狼
发表于 2009-2-6 16:53
我希望搞技术的人，就踏实一点！
我不懂，所以我来问，当然，我也会找身边的人去问！没必要不懂装懂！<br />你懂，愿意和我分享你的成果！我很感激你！<br />你懂，你不愿意和我分享你的成果！也没必要嘲笑我不懂！<br />你不懂，我也不懂，大家一起学习！<br />你不懂，如果我懂了，我会和你分享！<br /><br />
xwj
发表于 2009-2-6 17:19
呵呵，LZ用不着这么激动哦
说到底，考虑压缩的目的还是为了降低总体成本<br /><br />而从这一点去考虑的话，现在SD卡那么便宜，以为的追求压缩率就毫无必要了，<br />说不定最简单的方法就是最合适的呢？<br /><br />我前面说到“撇开数据样本来谈压缩率，那是毫无疑义的”<br />你反而非常气愤，难道你不觉得不同的数据会导致不同压缩率的结果吗？<br /><br />就好比压缩一张同样大小的图片，一张空白的图片和一张有规律的图片、另一张没规律的图片，压缩后的压缩率当然会有严重差别一样，一张结果可能只有几十直接，另一张却可能会很大很大<br /><br />看你1楼、4楼的帖，你着重考虑的是谐波失真，而采集的信号又是有一定规律的周期信号，当然是尽量用频域变换再变长编码了，而这时的数据量，当然会随原始信号的谐波复杂程度而变化，这还用说吗？？？<br />没有实际的原始样本，一味的说“压缩率”有意义吗？？？？？
老狼
发表于 2009-2-6 18:01
12路信号，16位AD，每个基波采样1024点
每秒就是1.2M的数据<br />这个设备要求能连续记录一个月的数据，滚动记录，这样算下来，一个月要>3200 G的数据量。<br /><br />我的想法也很简单，最好能控制在320G或者500G，其次640g，再次是1TB,这样一个硬盘就搞定了!<br />算法不想搞得太复杂，也没必要！<br /><br />采集的信号是有一定规律的周期信号，这是通常的情况下，也可以说是实验室里的数据，实际应用中，各次谐波的变化很大，而且有一种故障下，可能连续几个小时，甚至1-2天，数据都是毫无规律的！(1个月能出现的次数不定)故障又无法模拟。实验室做不出来，还有一种故障，压根儿就没见到过数据波形。而且，各个现场，由于外接网络不同，数据样本的差异很大。这个设备本身就是为了对未知的故障做记录，为以后的产品开发提供数据，为本次故障提供分析数据，如果波形都是已知的理想情况，这个设备就没有必要存在了！<br />
alex74
发表于 2009-2-6 20:19
..
一个基波1024点，这个基波比较难理解。<br />一个基波＝1秒？<br /><br /><br />
老狼
发表于 2009-2-6 20:36
基波
就是50hz的！
zyok
发表于 2009-2-6 20:51
不懂，路过学习...
帮顶
alex74
发表于 2009-2-6 23:13
没想法了，看不到样本。
你那个朋友做到5：1也该满足了
dragon_hn
发表于 2009-2-7 06:03
楼主不够虚心
前面N个人说过了,"撇开数据样本来谈压缩率，那是毫无疑义的"!<br />你兄弟能做到"5:1"肯定也没抛开样本.<br /><br />举个最简单的例子,用WINRAR压缩过的文件再用WINRAR去压缩有效果么?<br /><br />假设你兄弟做到了5:1,假设某段时间你通过AD采样到的数据恰好就是你兄弟压缩之后的结果,你兄弟还能把这段数据压缩成5:1?<br /><br />另外WINRAR压缩的时候有个选项,最大压缩比/最大速度,同样的道理,你在做项目的时候也要考虑到MCU速度与压缩比的关系,不是懂并行处理速度就是无极限的.
宇宙飞船
发表于 2009-2-7 08:13
按楼主50HZ，测控记录10次谐波，用TI的6系列理论上
可以轻松做到300：1 ，这个是理论上不计存硬盘的压缩比！<br /><br />楼主正一个牛皮灯笼！
老狼
发表于 2009-2-7 09:08
宇宙飞船
你到底是无理取闹，还是看不懂？<br />基波是50hz信号，就是20ms的周期，每个基波采样1024点，要做到511次谐波不失真（其实是做不到的，提这个的人，隐含的意思是，所有采样数据压缩后，很够无损恢复），咋让你偷换成测控记录10次谐波？
静默
发表于 2009-2-7 15:30
先存储数天的数据试试看
原始数据每秒 1024 * (16/8) * 12 * 50 = 1228800(Byte)。<br />每路一周波内数据1024 * (16/8) = 2048（Byte)。若每路的谐波分量较小(干扰小)，数据的压缩率会大一些，相反则会小一些，还是建议楼主把数据采集到PC并先原样保存几天的数据。 数据量：1.23M*60*60*24 * N. 再用zip算法去压压看。（音视频数据压缩基本上都是有损的）。<br /><br />
老狼
发表于 2009-2-7 16:01
楼上兄弟说的对！
样机可以考虑这样干！有了数据，以后再考虑压缩！大不了用PC机进行压缩，反正现在的atom的板子很便宜。
yewuyi
发表于 2009-2-7 17:19
哈哈，用10000MG的硬盘保存
yewuyi
发表于 2009-2-7 17:21
装个DVD刻录光驱
做一个自动装DVD光盘的装置，哈哈，然后在旁边放上一麻袋的DVD光盘，自动刻录就好拉。。。
xwj
发表于 2009-2-7 17:36
本来就是很简单的问题，只是LZ自己的这种态度让问题变成了
其实，<br />只要能用上操作系统，就完全可以用现有的压缩软件来作数据压缩<br /><br />比如按照时间段把数据保存成一个个的文件，然后压缩，删除非压缩文件即可<br />既保证压缩率高，也能做到完全无损，并且充分利用存储空间<br /><br />
宇宙飞船
发表于 2009-2-7 18:35
这么低的采样率，要做压缩比几百比1易如反掌！
老狼 发表于 2009-2-7 09:08 DSP 技术 ←返回版面 <br />38楼： 宇宙飞船<br />你到底是无理取闹，还是看不懂？<br />基波是50hz信号，就是20ms的周期，每个基波采样1024点，要做到511次谐波不失真（其实是做不到的，提这个的人，隐含的意思是，所有采样数据压缩后，很够无损恢复），咋让你偷换成测控记录10次谐波？<br />//---------------------------<br />50*511=25550=25.55KZ*2= 51.1KZ 不超过60KZ<br />这样低的采样率，记录不超过511个频点，要做几百比1的压缩率，<br />易如反掌！<br /><br />比起视频20M以上的取样率，简直就是小毛见大毛！<br />俺说的方法对你目前的水平和理解力只能是对牛弹琴。<br /><br />
宇宙飞船
发表于 2009-2-7 18:49
楼主还说自已做过几年信号处理！
老狼 发表于 2009-2-6 02:49 DSP 技术 <br />24楼： <br />。。。。做FFT好多年了！ //楼主这个牛吹得太大了！<br />
老狼
发表于 2009-2-7 20:13
哈哈
有点意思！
yidong1981
发表于 2009-2-9 09:26
lz是做故障录波？
我以前做过，可以采用小波算法＋LZW压缩，不过是有损的，小波算法是有损的，但是你可以设个阈值，将有损控制在可接收的范围。<br /><br />我记得我的压缩比大概在4:1左右。