当前位置: 技术问答>linux和unix
数据流的存储方案
来源: 互联网 发布时间:2016-06-30
本文导语: 问题:数据流的存储方案 如果通过网络不断的发送过来数据流,然后将该数据存储到数据库或者其他方式的存储,该怎么去考虑。 因为通过网络传来的数据量可能很大,而且是一个...
问题:数据流的存储方案
如果通过网络不断的发送过来数据流,然后将该数据存储到数据库或者其他方式的存储,该怎么去考虑。
因为通过网络传来的数据量可能很大,而且是一个一个的数据包传过来的,如果把这些数据先放到缓冲区内,等接受后在存储显然当数据量很大的时候就不可取了。
如果把每次接受到的数据放到数据库中,怎么保证数据可以安全、实时的存储呢?而且如果数据库的大数据量的数据非常多的时候,会不会对数据库产生什么影响。如果把每次接收到的数据存成一个文件,然后在数据库中建立该文件的索引,该如何实现?
希望能够得到大家的帮助,谢谢!
|
既然人家叫数据库,你就放心存吧。
如果数据是有规律,可复用,可以考虑缓存、
如果数据是有规律,可复用,可以考虑缓存、
|
一般来说是直接存到一个文件最好,你可以用缓存过度一下,避免一次写入过大或者过小
|
关键是看你要怎么用这些数据,因为大量数据处理起来就是学问了,一定要适合你的应用。如果只是存储的话,怎样都可以。
您可能感兴趣的文章:
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。