大数据怎样改变DBA事情模式

时间：2014-10-23
泉源：

    888集团6008（泉源：CIO时代网作者：佚名）

　手艺支持团队通常是支持熟悉的软硬件设置。在操作系统和数据库管理软件上特定组合的专业化是很常见的，并且这也允许某些团队成员在一家企业的IT情形中获得极为有价值的深层履历。

    大数据是怎样改变这种模式的呢？

    数据库支持团队

    手艺支持团队的目的之一就是要与管理层协作来把他们的事情区分出优先序次。管理层提出战略妄想，团队将之转化为所需时间和资源的可预计使命，然后他们配合协作来执行这些使命。

    这些使命分为三类：

    1.“通例类型”

    2.项目相关型

    3.自行决议型

    第一类通常是典范的被动使命，它们有一个标准的或牢靠的周期和操作。这些包括频仍数据库备份，软件升级，加入例会，填写状态报表，完成文档等等。

    项目相关的使命也是典范的被动类型，并且对应的事情包括为一个已界说项目配套的手艺规范。举例如：设计并建设新的数据库和表；从一个数据库向另一个数据库拷贝数据；检查程序逻辑和SQL;以及在应用程序测试时代对性能举行监控。

    最后一类通常是起劲型的事情，包括磁盘和CPU容量妄想，设计和执行显示趋势的异常报表，剖析数据库和SQL以发明性能调优方面的问题。

    用大数据来支持数据库

    大数据应用程序通常包括：

    1.一个或更多的需要举行存储和剖析的大型数据源；

    2.一个针对数据存储和高速会见软硬件混淆的解决计划（装备）；

    3.专用数据剖析软件。

    为了支持一个或更多的数据应用程序，DBA团队需要手艺情形的专业知识，这包括：

    1.大型数据源的营业应用案例；

    2.装备的装置，设置和监控；

    3.支持对专业剖析盘问举行性能调优的工具。

    这关于DB支持团队来说是新的专业知识。早先可能少数专家会相识这些知识，或是必需加入专门的培训课程。最终，大大都团队必需接受培训并在管理和控制大数据情形上积累富厚的履历。

    大数据和DB团队操作

    DBA司理仍然对团队提出了战略妄想，并且这些妄想现在包括设计和实验大数据解决计划。涉及这一支持的使命会跨越所有三个使命种别，只管这在一最先可能并不显着。

    团队现在必需使用新知识通过他们目今的软硬件条件为新的大数据应用程序制订战术妄想和使命。这将会有多套与大数据相关的通例使命，可是它们与标准比起来相差迥异。其中有些使命如下：

    数据库备份。一样平常来说，大数据文件是很大的！文件云云之大，执行数据库备份可能并不可行�？赡苊挥凶愎坏拇排毯痛糯娲⒖梢宰跋抡庑┍阜�，媒质的本钱可能会很高，并且执行备份流程很可能会很耗时。

    软件升级。大大都软件升级要求在升级时代不可运行软件。这关于一个大型应用程序解决计划来说可能难题重重，由于它们对企业来说通常是很是主要的。大数据架构（磁盘存储，专业软硬件等等。）是腾贵的，并且企业只有在具有投资回报可能性的时间才会实验。

    数据拷贝。典范的大数据装备通�；崾笛樗腥ㄊ荽娲⒑突峒�。出于性能和数据管理的缘故原由，DBA团队会在数据库管理系统和专业装备上实验大数据存储。从战术上讲，这会转换为同时加载进DB2表和装备的数据。

    容量妄想。大数据装备相对较新，并且包括存储媒质，CPU,以及高级数据会见通道。DBA团队现在必需意识到怎样使用这些资源，监控使用率，以及汇报资源使用趋势。他们会认真选择性能调优和硬件升级的混淆计划来取悦企业。

    大数据管理的趋势

    管理层会看到这样的情形，即随时间的推移DBA团队的知识和手艺在他们处置惩罚大数据支持的历程中举行传承。而大大都的传承是在多面手和专家间举行的。

    多面手通常是新手，或者是尚未掌握专业手艺的DBA.关于多面手来说，最适合他们的事情就是由标准流程界说好的那些事情。这主要包括：

    1.开发并维护数据库备份和恢复流程；

    2.开发基于DBMS的程序以协助调优，例如用来网络数据漫衍统计信息的剧本；

    3.实现正常和异常报表的自动化，例如资源容量使用情形。

    最后一项（自动化）是值得进一步探讨的。自动化的优势不但仅是速率；将事情自动化可以资助DBA远离诸如报表和剖析之类的被动使命而专注于越提议劲的事情。

    以下是一个典范的流程列表，许多DBA仍然手工操作，而它着实是可以由一个自动化报表或数据网络流程取代的：

    1.为SQL会见路径剖析执行一个EXPLAIN流程

    2.网络诸如System Management Facility（系统管理工具SMF）会计和统计报表质量的性能报表

    3.验证新表拥有遵照标准老例并与企业数据模子和数据字典兼容的名字和属性列

    4.验证对生产数据的会见是通过准确的授权GRANT予以妥善控制的

    5.监视应用程序线程活动以避免死锁和超时

    6.检查控制台日志和DB2地址空间日志以发明过失新闻和潜在问题

    大数据专家

    大数据为获取和使用专业知识提供了富足的时机。如前所述，以下方面的手艺为DBA团队提供了很是强盛的支持足以对营业爆发起劲的影响：

    营业用例。关于一个数据建模师来说，主要的是要明确怎样使用数据。对大数据DBA来说同样云云。陈腐的数据会被存档照旧扫除呢？最主要的数据会见会被限制在特准时间段内么？某些数据元素子集是注定被剖析最多的么？这些问题的谜底会资助DBA决议数据分区计划，数据库备份频率，表和索引设计等等。

    装备管理。虽然大大都装备供应商会倾向于提供钥匙解决计划，但DBA团队仍然有举行监控和调优的责任。若是没有什么可设置和调优，企业还会和供应商继续合作么？未来会看到可调优装备，并且DBA必需时刻跟上行业趋势�？梢匀范ǖ氖悄闼诘钠笠敌枰笫萁饩黾苹诙唐谀谑遣换嵯诺�。

    剖析盘问调优工具。大数据应用程序的宣传掩饰了这样一个基本事实：若是一家企业不可实时获得可用数据，那么解决计划的本钱会凌驾收益。大大都供应商的解决计划包括允许（或展望）以极快的速率运行盘问。虽然现在是这样，可是未来也会云云么？若是你实验了多个很是大的特殊数据存储呢？若是你最先积累多年的历史数据用于剖析呢？若是数百（或数千）特殊用户最先运行又新，有长且重大的盘问呢？DBA在这种情形下对盘问举行调优就是不可或缺的了。

    总结

    虽然在DBA团队中有许多类型和条理的专家，对大数据应用程序的支持会改变他们的事情，优先级，以及管理方法。早先可能只是少数专家拥有须要的知识和手艺；可是随着企业实验更多的应用程序并加入更多的用户，那么整个团队就一定会加入到对大数据的支持中来。