「ビッグデータ」という用語は、文字通り、あらゆる媒体に保存されている膨大な量の情報を意味します。
さらに、このボリュームは非常に大きいため、通常のソフトウェアまたはハードウェアを使用して処理することは実用的ではなく、場合によっては完全に不可能です。
ビッグデータは、データ自体であるだけでなく、データを処理および使用するためのテクノロジーであり、大規模な配列で必要な情報を見つけるための方法です。ビッグデータの問題は、何十年にもわたって多種多様な情報を蓄積してきたシステムにとって、依然としてオープンで重要です。
ビッグデータソース
ソーシャルネットワークは、ビッグデータの典型的なソースの例です。各プロファイルまたは公開ページは、構造化されていない情報の海の1つの小さなドロップです。さらに、特定のプロファイルに保存されている情報の量に関係なく、各ユーザーとの対話は可能な限り高速である必要があります。
ビッグデータは、人間の生活のほぼすべての分野で絶えず蓄積されています。これには、人間の相互作用またはコンピューティングに関連するあらゆる業界が含まれます。これらは、ソーシャルメディア、医療、銀行セクター、および毎日の計算の多数の結果を受け取るデバイスシステムです。たとえば、天文観測、気象情報、地球探査装置からの情報などです。
さまざまな追跡システムからの情報も、特定の会社のサーバーにリアルタイムで送信されます。テレビやラジオ放送、携帯電話事業者のコールベース-個々の人と携帯電話会社とのやり取りは最小限ですが、全体として、これらの情報はすべてビッグデータになります。
ビッグデータテクノロジーは、R＆amp;Dとコマースに不可欠になっています。さらに、彼らは行政の領域を捉え始めています-そしてどこでも、情報を保存および操作するためのより効率的なシステムの導入が必要とされています。
ビッグデータの出現と発展の歴史
「ビッグデータ」という用語は、2008年にネイチャーエディターのクリフォードリンチがビッグデータテクノロジーの助けを借りて科学の未来を前進させる方法に関する記事を発表したときに初めて報道されました。 2009年まで、この用語は科学的分析の観点からのみ考慮されていましたが、さらにいくつかの記事がリリースされた後、マスコミはビッグデータの概念を広く使用し始め、現在も使用を続けています。
2010年に、ビッグデータの増大する問題を解決する最初の試みが現れ始めました。ソフトウェア製品がリリースされ、そのアクションは、巨大な情報アレイを使用する際のリスクを最小限に抑えることを目的としていました。
2011年までに、Microsoft、Oracle、EMC、IBMなどの大企業はビッグデータに関心を持つようになりました。彼らは開発戦略でビッグデータを最初に使用し、非常に成功しました。
大学はすでに2013年にビッグデータを別の科目として研究し始めました。現在、データサイエンスだけでなく、工学もコンピューティング科目とともに、この分野の問題に取り組んでいます。
ビッグデータを分析および処理するための技術と方法
データ分析と処理の主な方法は次のとおりです。
クラスメソッドまたはデータマイニング
これらの方法は非常に多くありますが、情報技術の分野での成果と組み合わせて使用される数学的ツールという1つのものによって統合されています。
クラウドソーシング
この手法を使用すると、複数のソースから同時にデータを取得でき、後者の数は実質的に無制限です。
A/Bテスト
データの全量から、要素の制御セットが選択され、要素の1つが変更された他の同様のセットと順番に比較されます。このようなテストを実施すると、どのパラメーターの変動が対照母集団に最大の影響を与えるかを判断するのに役立ちます。大量のビッグデータのおかげで、膨大な数の反復を実行することが可能であり、それぞれが最も信頼できる結果に近づいています。
予測分析
この分野の専門家は、この状況で最も有利な決定を下すために、制御対象がどのように動作するかを事前に予測および計画しようとします。
機械学習（人工知能）
これは、情報の経験的分析と、それに続くシステムの自己学習アルゴリズムの構築に基づいています。
ネットワーク分析
ソーシャルネットワークを研究するための最も一般的な方法-統計データを受け取った後、グリッドに作成されたノードが分析されます。つまり、個々のユーザーとそのコミュニティの間の相互作用です。
ビッグデータ開発の見通しと傾向
2017年、ビッグデータが新しく未知のものではなくなったとき、その重要性は低下しただけでなく、増加しました。現在、専門家は、大量のデータの分析が巨大な組織だけでなく、中小企業でも利用できるようになると確信しています。このアプローチは、次のコンポーネントを使用して実装される予定です。
クラウドストレージ
データの保存と処理はより高速で経済的になっています。独自のデータセンターを維持するためのコストやスタッフの拡大の可能性と比較して、クラウドを借りることははるかに安価な代替手段のようです。
ダークデータの使用
いわゆる「ダークデータ」とは、企業のデジタル化されていない情報であり、直接の使用では重要な役割を果たしませんが、新しい情報ストレージ形式に切り替える理由となる可能性があります。
人工知能とディープラーニング
人間の脳の構造と動作を模倣する機械知能学習技術は、絶えず変化する大量の情報を処理するのに最適です。この場合、マシンは人がしなければならないすべてのことを行いますが、エラーの可能性は大幅に減少します。
ブロックチェーン
このテクノロジーにより、国際的なものを含む多数のインターネットトランザクションを高速化および簡素化できます。ブロックチェーンのもう1つの利点は、トランザクションコストを削減できることです。
セルフサービスと値下げ
2017年には、「セルフサービスプラットフォーム」の導入が計画されています。これらは、中小企業の代表者が保存したデータを独自に評価して体系化できる無料のプラットフォームです。
マーケティングとビジネスのビッグデータ
すべてのマーケティング戦略は、情報の操作と既存のデータの分析に何らかの形で基づいています。そのため、ビッグデータを使用することで、会社のさらなる発展を予測し、調整することが可能になります。
たとえば、ビッグデータに基づいて作成されたRTBオークションでは、広告をより効率的に使用できます。特定の商品は、購入に関心のあるユーザーのグループにのみ表示されます。
マーケティングやビジネスでビッグデータテクノロジーを使用するメリットは何ですか？
- 彼らの助けを借りて、新しいプロジェクトをはるかに迅速に作成できます。これは、購入者の間で人気が高まる可能性があります。
- 顧客の要件を既存または計画中のサービスに関連付けて調整するのに役立ちます。
- ビッグデータ手法を使用すると、すべてのユーザーと各ユーザーの現在の満足度を個別に評価できます。
- 顧客ロイヤルティの向上は、ビッグデータ処理方法によって実現されます。
- 大量のデータを制御できるため、インターネット上でターゲットオーディエンスを引き付けることが容易になっています。
たとえば、特定の製品の人気の可能性を予測するための最も人気のあるサービスの1つは、Google.trendsです。マーケターやアナリストによって広く使用されており、過去の特定の製品の使用に関する統計を取得し、次のシーズンの予測を行うことができます。これにより、企業のリーダーは広告予算をより効果的に配分し、どの分野にお金を投資するのが最適かを判断できます。
ビッグデータの使用例
ビッグデータテクノロジーの市場および現代生活への積極的な導入は、世界中のほぼすべての場所に顧客を抱える世界的に有名な企業によって使用され始めた直後に始まりました。
これらは、FacebookやGoogle、IBMなどの社会的巨人であり、Master Card、VISA、BankofAmericaなどの金融構造でもあります。
たとえば、IBMはビッグデータ技術を現金取引に適用しています。彼らの助けを借りて、15％以上の不正取引が検出され、保護された資金の量が60％増加しました。システムの誤検知の問題も解決されました。その数は半分以上減少しました。
VISAも同様にビッグデータを使用して、特定のトランザクションを実行するための不正な試みを追跡しました。このおかげで、彼らは毎年20億米ドル以上を漏洩から節約しています。
ドイツ労働省は、失業手当の発行にビッグデータシステムを導入することで、コストを100億ユーロ削減することに成功しました。同時に、市民の5分の1が正当化されることなくこれらの恩恵を受けていることが明らかになりました。
ビッグデータもゲーム業界を迂回していません。したがって、World of Tanksの開発者は、すべてのプレーヤーに関する情報の調査を実施し、彼らの活動の利用可能な指標を比較しました。これは、プレーヤーの将来の解約の可能性を予測するのに役立ちました-行われた仮定に基づいて、組織の代表者はユーザーとより効果的に対話することができました。
ビッグデータを使用している注目すべき組織には、HSBC、Nasdaq、Coca-Cola、Starbucks、AT＆amp;Tも含まれます。
ビッグデータの問題
ビッグデータの最大の問題は、それを処理するコストです。これには、高価な機器と、膨大な量の情報を提供できる資格のある専門家の賃金のコストの両方が含まれる可能性があります。明らかに、データ量が増加しても最小のパフォーマンスが失われないように、機器は定期的に更新する必要があります。
2番目の問題も、処理する必要のある大量の情報に関連しています。たとえば、ある研究で2〜3ではなく多数の結果が得られた場合、客観的であり続け、現象の状態に実際に影響を与えるものだけを一般的なデータストリームから選択することは非常に困難です。
ビッグデータのプライバシーの問題。ほとんどのカスタマーサービスサービスがオンラインデータの使用に移行しているため、サイバー犯罪者の次の標的になるのは非常に簡単です。オンライン取引を行わずに個人情報を保存するだけでも、クラウドストレージの顧客にとって望ましくない結果を招く可能性があります。
情報損失の問題。注意事項は、データの単純な1回限りのバックアップに限定されるのではなく、ストレージの少なくとも2〜3個のバックアップコピーを作成する必要があります。ただし、ボリュームが増えると、冗長性の複雑さが増します。ITスペシャリストは、この問題に対する最善の解決策を見つけようとしています。
ロシアおよび世界中のビッグデータテクノロジー市場
2014年現在、ビッグデータ市場の40％はサービスです。この指標よりもわずかに劣る（38％）のは、コンピューター機器でのビッグデータの使用による収益です。残りの22％はソフトウェアです。
統計によると、ビッグデータの問題を解決するためのグローバルセグメントで最も有用な製品は、メモリ内およびNoSQL分析プラットフォームです。市場のそれぞれ15％と12％は、ログファイル分析ソフトウェアとColumnarプラットフォームによって占められています。しかし、Hadoop / MapReduceは、実際にはビッグデータの問題に対処するのにあまり効果的ではありません。
ビッグデータテクノロジーの実装結果：
- カスタマーサービスの質の向上;
- サプライチェーン統合の最適化;
- 組織計画の最適化;
- 顧客とのやり取りの加速;
- 顧客の要求の処理効率を向上させる;
- サービスコストの削減;
- クライアントリクエストの処理を最適化する。
ビッグデータに関する最高の本
リック・スモーランとジェニファー・アーウィットによる「ビッグデータの人間の顔」
ビッグデータ処理技術の初期研究に適しています-それはあなたを簡単かつ明確に最新のものにします。豊富な情報が日常生活とそのすべての分野（科学、ビジネス、医学など）にどのように影響したかを明らかにします。多数のイラストが含まれているため、手間をかけずに認識できます。
Pang-Ning Tan、Michael Steinbach、VipinKumarによるデータマイニングの紹介
また、ビッグデータの初心者向けの便利な本で、「単純なものから複雑なものまで」ビッグデータを操作する方法を説明しています。初期段階では、処理、視覚化、OLAPの準備、およびデータの分析と分類のいくつかの方法など、多くの重要なポイントについて説明します。
SebastianRaskaによるPython機械学習
Pythonプログラミング言語を使用してビッグデータを使用および操作するための実用的なガイド。工学部の学生と知識を深めたい専門家の両方に適しています。
“Hadoop for Dummies”、Dirk Derus、Paul S. Zikopoulos、Roman B. Melnik
Hadoopは、数千のノードで同時にアクションの実行を整理する分散プログラムと連携するように特別に設計されたプロジェクトです。それを知っていると、ビッグデータの実際のアプリケーションをより詳細に理解するのに役立ちます。
