再见大数据
作者：互联网
曾经有人说大数据就是未来。 错了吗 现在呢？
在我无辜的日子里，当我刚开始攻读数据科学硕士学位时，任何大数据话题都会让我在椅子上激动不已。 我想要一块3V。 我想分析无穷无尽的废话，对其进行建模，可视化，转换，粉碎。 多年后，"大数据"一词让我大吃一惊，等待着流行语和含糊其词的期待。 大数据失去吸引力了吗？还是我变得愤世嫉俗？
流行语与现实
我最近开始对流行语过敏。 他们被高估了，不再具有任何意义。 这句话什么都没告诉你：让我们利用大数据在这个新的数字世界中带来创新。 听起来很酷。 然而，现实可能停留在Excel电子表格中，令人沮丧和计算缓慢。
大数据让每个人都感到兴奋，因为它代表着一种巨大的财富（"听起来很熟悉"，"它会变得巨大"）的概念，您可以在其中搜索，查找和使用对您有价值的任何东西。 我最初的反应是认为"在所有这些数据中，肯定有一些我们想知道的东西"。 那可能是对的，但是要付出什么代价呢？
没有正确的基础架构，大数据将一无所有
处理大量数据需要计算能力，正确的存储和正确的工具才能将数据从一个位置移动到另一位置。 瓶颈比您想象的要容易得多。 随着云平台的计算能力变得更加便宜和易于使用，云存储的指数级增长，云计算的定期使用甚至本地服务器的维护都构成了巨大的支出。 进入了本世纪关于数据的最大教训：
虽然某些数据对于特定的矿工来说像黄金一样有价值，但对于另一个矿工来说却是不可思议的存储空间浪费。
公司存储了数据，并选择了数据是否以后有用，而费用却已经花掉了。 如果在收集数据之前确定数据是否有用该怎么办？
大数据并不总是意味着有趣的数据
垃圾回收，垃圾回收是数据科学界最重要的一句话。 大数据被认为是垃圾，这意味着它们是不可靠的，未清理的数据，需要大量工作才能使用。 有时，在庞大的数据集中找不到的少量信息不值得花大量精力，时间和金钱来查找。
根据Forrester的报告，企业内至少60％的数据仍未使用。
如果将这些未使用的数据的存储成本投资在用于实际需要的数据的正确基础结构中，该怎么办？
数据越多越好吗？
人们已经意识到，没有，不是每个功能都有用（甚至可能有害！），数据质量通常比 我们希望数据能够以可靠，一致的方式衡量我们关心的事情，通过了解数据的质量，还可以使我们进入可解释，负责和安全的AI阶段。
这是（大型）实施和（大型）更好的基础架构的时代。
我们已经意识到我们已经获得了数据。 现在，我们需要基础架构来安全地使用，共享，分析它，并在无用的垃圾和有价值的信息之间做出区分。 我们还决定，数据和AI的质量和可靠性保证了世界和全世界都可以使用。 尽管有很多人很难理解这一点，但数据（就像生活中的许多其他事物一样）不需要庞大，而需要可靠。
大数据已死。 可靠的数据万岁！
听起来不那么性感，不是吗？
标签：存储,流行语,再见,基础架构,垃圾,使用,数据 来源： https://www.cnblogs.com/linjingyg/p/15782106.html