pk10开奖结果

进行数据处理分析的一些经验总结

资料大小: 0.03 MB

所需积分: 0

下载次数:

用户评论: 0条评论,查看

上传日期: 2019-09-27

上 传 者: 他上传的所有资料

资料介绍

标签:数据处理(183)数据库(993)SQL(174)

  1、优化查询SQL语句

  在对海量数据进行查询处理过程中,查询的SQL语句的性能对查询效率的影响是非常大的,编写高效优良的SQL脚本和过程是数据库工作人员的职责,也是数据库工作人员水平的一个标准,在对SQL语句的编写过程中,例如减少关联,少用或不用游标,设计好高效的数据库表结构等都十分必要。

pk10开奖结果   2、使用文本格式进行处理

pk10开奖结果   对一般的数据处理可以使用数据库,如果对复杂的数据处理,必须借助程序,那么在程序操作数据库和程序操作文本之间选择,是一定要选择程序操作文本的,原因为:程序操作文本速度快;对文本进行处理不容易出错;文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者csv格式(文本格式),对它进行处理牵扯到数据清洗,是要利用程序进行处理的,而不建议导入数据库再做清洗。

  3、 定制强大的清洗规则和出错处理机制

  海量数据中存在着不一致性,极有可能出现某处的瑕疵。例如,同样的数据中的时间字段,有的可能为非标准的时间,出现的原因可能为应用程序的错误,系统的错误等,这是在进行数据处理时,必须制定强大的数据清洗规则和出错处理机制。

pk10开奖结果   4、 建立视图或者物化视图

  视图中的数据来源于基表,对海量数据的处理,可以将数据按一定的规则分散到各个基表中,查询或处理过程中可以基于视图进行,这样分散了磁盘,正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。

  5、 避免使用32位机子(极端情况)

pk10开奖结果   目前的很多都是32位的,那么编写的程序对内存的需要便受限制,而很多的海量数据处理是必须大量消耗内存的,这便要求更好性能的机子,其中对位数的限制也十分重要。

pk10开奖结果   6、考虑操作系统问题

pk10开奖结果   海量数据处理过程中,除了对数据库,处理程序等要求比较高以外,对操作系统的要求也放到了重要的位置,一般是必须使用服务器的,而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制,临时空间的处理等问题都需要综合考虑。

用户评论

查看全部 条评论

发表评论请先 , 还没有账号?。

发表评论

用户评论
技术交流、我要发言! 发表评论可获取积分! 请遵守相关规定。
上传电子资料
document.write ('');