大数据量快速处理的架构设计 在业务数据的处理过程中,经常会遇到夜间批次处理大量的数据,而且会有时效的要求。特别是当应用系统跑了2年以上时,就会有大表或者特大表的操作了,数据量达到百万甚至上亿。 这 ...
来源:CDA数据分析师 | 发布时间:2017-12-27 07:03:56
我国将加强健康医疗大数据应用 健康医疗大数据是重要的基础性战略资源之一,其应用发展将带来健康医疗模式的深刻变革。日前,国家卫生计生委副主任金小桃表示,我国将加强健康医疗大数据应用与发展,推进医学知 ...
来源:CDA数据分析师 | 发布时间:2017-12-27 06:54:40
用“互联网+大数据”监管外卖商户 近日,记者从市食药监局丰泽分局获悉,丰泽区率先在全市引入网络餐饮服务监管系统,运用“互联网+大数据”技术,将美团、饿了么、百度外卖等网络餐饮服务平台的餐饮商家全部纳 ...
来源:CDA数据分析师 | 发布时间:2017-12-27 06:51:42
浅谈使用ArcPy执行大数据量处理任务 Python功能强大而易于学习。对于ArcGIS for Desktop用户来讲,Python是提高工作效率的不二选择。 Arcpy是esri提供的用于高效数据处理分析、制图等的Python站点包。 利用A ...
来源:CDA数据分析师 | 发布时间:2017-12-27 06:49:06
大数据在金融行业的应用与挑战 A 具有四大基本特征 金融业基本是全世界各个行业中最依赖于数据的,而且最容易实现数据的变现。全球最大的金融数据公司Bloomberg在1981年成立时“大数据”概 ...
来源:CDA数据分析师 | 发布时间:2017-12-27 06:46:22
中国电科院卫星大数据应用平台上线 12月15日,由中国电力科学研究院有限公司组织建设的卫星大数据应用平台正式上线运行,成为国内首个面向电力行业的卫星大数据应用平台。 卫星科学与技术是当代高新技术的重 ...
来源:CDA数据分析师 | 发布时间:2017-12-26 07:07:51
大数据量的数据库表设计技巧 即使是一个非常简单的数据库应用系统,它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候,就提前考虑这些问题,可以避免由于系统反映迟缓而引起的用户抱怨。 ...
来源:CDA数据分析师 | 发布时间:2017-12-26 07:06:53
大数据量最近的存储分表常见算法 当一个应用的数据量大的时候,我们用单表和单库来存储会严重影响操作速度,如mysql的myisam存储,我们经过测试,200w以下的时候,mysql的访问速度都很快,但是如果超过200w ...
来源:CDA数据分析师 | 发布时间:2017-12-26 07:04:03
将大数据量导成Execl表思路 一、需求 最近客户有一个需求,将多个物理表导成Execl表,可是问题是其中有几个表的数据量在20W以上,一个Execl的Sheet只能导入65536条数据,直接使用SQL Server的导出 ...
来源:CDA数据分析师 | 发布时间:2017-12-26 06:49:17
共话医疗大数据标准体系 日前,由吴阶平医学基金会、京津冀医疗大数据促进会主办,天津市滨海新区人民政府、天津市卫计委支持的“医疗大数据应用及标准体系建设高级研讨会”在滨海举行。 本次研讨会组织包括 ...
来源:CDA数据分析师 | 发布时间:2017-12-26 06:47:32