大数据对知识管理有重大影响

大数据对知识管理有重大影响

        多年来，知识管理的目标是能够从多个角度集成信息，以提供有效决策所需的见解。组织不会仅基于一种因素来做出决策，例如收入，员工薪水或商业贷款的利率。总体情况是决定决策的因素，例如在哪里投入营销资金，在研发方面投入多少资金或是否扩展到新的地理市场。

        过去，收集和存储的成本限制了企业获得创建完整图片所需的全面信息的能力。但是，数字信息的自动收集和廉价的存储消除了使数据可访问的障碍。现在有大量可用的数据，但是关系数据库在利用信息的能力上已达到极限。

体积，种类，速度

        现在出现了新的解决方案来应对所谓的“大数据”。大数据没有关于容量的精确定义，但是当关系数据库在分析数据方面不再有效时，大数据就进入了这个领域。解决方案取决于分解数据，发送子集以进行分析，然后将结果重新组合以产生输出。

        但是，容量并不是定义大数据的唯一维度。Gartner研究副总裁Mark Beyer说：“多样性也是一个因素，因为许多不同类型的数据可能与分析有关。” “随着文档和Twitter等社交媒体提要中的大量信息，企业需要能够将其分析结合起来，以包括结构化关系数据库中的信息以及文字处理文档，视频，图像，博客和推文等内容。”

        速度是与大数据相关的第三个因素。不仅有大量数据，而且数据输入很快，因此必须经常进行处理。另外，速度本身可以变化。以两个人点击一个网站为例。如果随着时间的推移收集数据，则某些用户将在给定的时间段内产生更多的数据。“速度的变化会影响分析结果，” Beyer补充说，“尤其是在数据模型指定事件的情况下。”

        另外，当涉及大量数据时，在相关信号中会发现很多噪声。Beyer说：“您需要能够执行一个迭代过程，以发现最初可能被忽略的内容，因为每种类型的分析都在发展。” “一个人的新闻就是另一个人的声音，因此确定每个信息消费者需要什么很重要。” 大数据可以执行的工作之一是实时过滤，以区分两者。

        很少有组织会在处理大数据方面走得很成熟，但是动机就在那里。根据Beyer的说法，在未来十年中，处理大数据的能力将成为IT部门最密集，最重要的基础架构更改。此外，它对知识管理也有重要意义。

旅行中的大数据

        一种行之有效的方法是使用大数据技术来存储，处理和检索信息，以及已建立的用于详细分析的商业智能（BI）解决方案。该方法将大数据中的扩展功能与商业智能产品的熟悉性和可用性结合在一起。

        Expedia.com在1990年代中期开拓了在线旅游行业，并且是世界领先的在线旅游网站。该公司提供全方位的服务，包括航班预订，酒店预订，汽车租赁，游轮以及在旅行目的地进行特殊活动的机会。它的网站以26个国家/地区的本地语言提供信息，每年有超过7500万的唯一用户访问Expedia网站。因此，与访问和交易相关的数据量会迅速增加，从而将Expedia置于其分析需求的大数据类别中。

        Expedia分析的重点是客户服务和保留率，以及衡量其营销活动的有效性。该公司每个月收集数十TB的使用数据，其数据仓库包含大约200 TB，这是十年前无法处理的信息量。现在，借助多种支持技术，Expedia可以存储数据，对其进行分析并产生指导整个公司决策的结果。

分析目标

        Expedia.com副总裁兼总经理Joe Megibow说：“我们正在为我们的分析提供更广阔的视野，并结合了包括Hadoop在内的多种不同技术的分布式存储。” SAS（sas.com）分析平台是Expedia分析项目中的关键要素。Megibow说：“使用SAS Analytics，我们可以从大型数据集中获取有意义的数据子集进行广泛的分析。”

        通过分析，Expedia可以确定客户偏好并评估不同营销渠道的有效性。Expedia作为SAS Analytics的用户已经有好几年了，它不仅能够从大数据中受益，不仅可以从交易和点击数据中受益，还可以从不断增长的社交媒体输入中受益。Megibow补充说：“将SAS分析与我们的其他技术一起使用来支持我们分析大型数据存储的工作很容易，” 在过去一年中，Expedia对客户的行为进行了长期的大规模分析，并开发了有助于确定其营销努力与客户响应之间因果关系的模型。

        Expedia分析工作的一个重要目标是发现它所投资的广告链接如何将客户吸引到其网站，并导致从访客到客户的转换。Megibow说：“大多数用户在完成交易前都会多次访问。” “拥有如此庞大的数据存储量并可供分析，这为我们提供了在特定时间或更长时间内对客户行为的重要见解。”

        在过去的几年中，大数据技术的出现对可行的分析任务产生了重大影响。Megibow解释说：“我们一直有大的想法来对大数据进行查询，但是过去，该技术还不支持我们的分析目标。” “提取大量数据可能需要一整天的时间，而分析则要花费数月的时间。现在，我们可以在不到一个小时的时间内提取大数据集，并在一定时间内通过SAS进行分析，从而使我们能够采取业务行动处理我们以前无法获得的大量数据。”

评论携带重量

        大数据功能对于分析社交媒体几乎是必不可少的。Megibow说：“社交媒体与大数据相关的方式有很多。” “文本分析使我们能够从大量的非结构化来源中创建数据并建立情感评分，这又可能与消费者的兴趣有关。” 人们非常关心评论，并根据它们做出决策。Megibow强调：“旅行是非常社交的，其他旅行者的评论非常重要。人们想知道打开酒店门后会发生什么，这些评论有助于他们向目的地放心。 ，或在某些情况下将其重定向到另一种。我们希望将这些观察结果纳入我们的分析。”

        Megibow支持Expedia的倡议，以支持基于分析的数据驱动型决策。这项工作需要将来自许多来源的数据管理到可以及时分析的系统中。Hadoop是“前沿技术”，许多公司都很难找到在这一新兴领域拥有丰富经验的员工。但是，接受过经典统计学培训的员工可以轻松使用SAS分析，而无需在Hadoop中拥有更深奥的专业知识。多种技术的融合使Expedia能够实现其大数据性能和分析可用性的目标。

        大数据新技术带来的一个重大变化是能够分析所有现有数据而不是对其进行采样。SAS的信息技术和CIO思想负责人Mark Troester说：“不同的数据与组织中的不同人员相关。” “以前，组织必须选择并选择他们要分析的内容，但是将SAS Analytics与当今的大数据技术结合起来就可以完成所有工作。” 可以根据人口的不同部分开发更复杂的模型，并且可以快速运行以跟上快速变化的条件。

配备大数据

        大多数领先的BI供应商都在开发用于处理大数据的工具。例如Pentaho最近宣布将在其Pentaho Kettle 4.3版本中将大数据功能作为开源提供。Pentaho Kettle可以使用Apache Hadoop和NoSQL存储输入，输出和分析数据。“我们的产品带给大数据市场的是数据发现，分析数据挖掘和全面可视化，” Pentaho的首席技术推广员兼产品营销副总裁Ian Fyfe说。“ Hadoop框架是管理各种数据的理想选择，例如视频和音频，XML文档和博客；但是对于解释和呈现结果，BI解决方案是最有效的方法。”

        Fyfe说，尽管大数据周围有很多炒作，但这是真实的现象。他坚持认为，“增长几乎是指数级的，而且没有多少人完全理解它。” 受过高等教育和数学知识的数据科学家最有能力开发和检验关于数据的假设。掌握了该技术的人有很高的需求。可以与大数据解决方案协同工作的BI解决方案将有助于加快组织进入该领域的速度。

        咨询公司也响应这种需求。穆西格玛提供决策科学和分析服务，并增强了其在大数据中的功能。“我们可以提供从直接服务到Hadoop和相关技术培训的支持，” Mu Sigma副总裁兼创新与开发负责人Zubin Dowlaty说。“大数据是一种极具破坏性的技术。组织首次获得了以前只能由昂贵的高性能计算机执行的分析类型。”