ゆめさくコード

ビッグデータとデータ分析基盤

luagate/bigdata-analytics-introビッグデータ入門24 枚データベース・SQL
スライド103触れる図解124レッスンの導入6

上から下へ、全 24 枚そのまま並べています。

発表モードで開く

ビッグデータ入門

ビッグデータとデータ分析基盤

大量データを活かす 〜集めて分析する〜

1
1

目次

今日の流れ

1. ビッグデータとは（3V）

2. 普通のDBで扱えない理由と分散処理

3. 分析基盤の全体像

4. 活用と機械学習とのつながり

5. まとめと振り返り

2
2
ビッグデータ入門 - イントロ

今日のゴール

この時間で身につけてほしいことです。

  • ビッグデータを3つのVで説明できる
  • 普通のDBで扱えない理由が分かる
  • 分散処理という考え方をイメージできる
  • データウェアハウスとデータレイクの違いが分かる
  • 集めたデータが分析や機械学習に活きる流れをつかめる
10
3
ビッグデータ入門 - イントロ

ビッグデータ とは

ただ量が多いだけでなく、速さや種類の多さも兼ね備えた巨大なデータのことです。

ビッグデータ（Big Data）

普通の道具では扱いきれないほど、量が多く・発生が速く・種類も多様なデータの集まり。集めて分析することで、新しい気づきやサービスに活かせる。

・普通のDBでは持て余す巨大なデータ

・量・速さ・種類の3つで特徴づけられる

・集めるだけでなく活かすことが目的

・SNSやセンサーから日々生まれている

・分析して初めて価値になる

11
4
ビッグデータ入門 - イントロ

ビッグデータの3V

ビッグデータの特徴は、量・速さ・種類という3つのVで語られます。

Volume（量）
  • とにかくデータが多い
  • 1台では収まらない規模
Velocity（速さ）
  • 次々と生まれ続ける
  • リアルタイムに近い流れ
Variety（種類）
  • 文字も画像も音声も
  • 形がバラバラで多様
12
5
ビッグデータ入門 - イントロ

普通のDBで扱えない理由

きっちりした表のデータベースは、巨大で多様なデータの前では力不足になります。

  • 1台のサーバーに収まりきらない量になる
  • 次々と届くデータに処理が追いつかない
  • 画像や文章など表に入れにくい形が多い
  • 表の形を決めてからでないと入れにくい
  • だから新しい仕組みが必要になる
13
6

ビッグデータ入門 - 分散処理

2

第2部 分散処理

みんなで手分けして処理する

20
7
ビッグデータ入門 - 分散処理

分散処理 とは

1台で抱え込まず、たくさんのコンピュータで手分けして処理する考え方です。

分散処理（Distributed Processing）

大きな仕事を細かく分け、複数のコンピュータで同時に処理してから結果を集める方法。1人で大量の荷物を運ぶより、みんなで手分けする方が速い、という発想。

・大きな仕事を小さく分ける

・複数台で同時に処理する

・最後に結果をまとめる

・台数を増やせば力も増やせる

・ビッグデータを現実的な時間で扱える

21
8
ビッグデータ入門 - 分散処理

分散処理のイメージ

データを複数のコンピュータに配り、それぞれが処理した結果を最後に集めます。

  • 巨大なデータを細かく分割する
  • 複数のサーバーに配って同時処理する
  • 各サーバーが自分の担当を計算する
  • 最後に結果を1つに集約する
  • 台数を増やすほど速くさばける
22
9
ビッグデータ入門 - 分散処理

Hadoop と Spark のさわり

分散処理を支える代表的な仕組みを2つ、ざっくり押さえておきましょう。

特徴
得意なこと

Hadoop

大量データを分けて保存・処理

巨大データを少しずつ着実に処理

Spark

メモリを使って高速に処理

繰り返し計算や分析を素早く

23
10
ビッグデータ入門 - 分散処理

処理時間の傾向（イメージ）

台数を増やして手分けするほど、同じ仕事が短い時間で終わる傾向があります。あくまでイメージです。

100 相対的な所要時間806040200
100相対的な所要時間
30相対的な所要時間
13相対的な所要時間
1台で処理
4台で分担
10台で分担

出典: 分散処理の傾向を示す概念図（概算）

24
11

ビッグデータ入門 - 基盤

3

第3部 分析基盤の全体像

ためる・整える・見せる

30
12
ビッグデータ入門 - 基盤

データウェアハウス と データレイク

データのため方には大きく2つの考え方があり、整え方が違います。

データウェアハウス

  • 分析しやすく整えて保存
  • 形をそろえてから入れる
  • 集計や定型分析が速い
  • きれいに片付いた倉庫のイメージ

データレイク

  • 生のままどんどん貯める
  • 形をそろえずに入れられる
  • あとから自由に使える
  • 何でも放り込める大きな湖のイメージ
31
13
ビッグデータ入門 - 基盤

ETL とは

バラバラなデータを集めて、使える形に整える一連の流れのことです。

ETL（Extract・Transform・Load）

いろいろな場所からデータを取り出し（Extract）、扱いやすい形に整え（Transform）、分析基盤に入れる（Load）一連の処理。料理でいう仕込みにあたる。

・いろいろな場所からデータを取り出す

・形をそろえてきれいに整える

・分析基盤に入れて使える状態にする

・分析の前の大事な仕込み作業

・ここが整うと分析がはかどる

32
14
ビッグデータ入門 - 基盤

データが分析に届くまで

集めて、整えて、ためて、最後に見える形にする、という流れで進みます。

1. 集める

アプリやセンサーからデータを収集

2. 整える

ETLで形をそろえてきれいにする

3. ためる

DWHやデータレイクに保存する

4. 見せる

BIツールでグラフにして読み解く

33
15
ビッグデータ入門 - 基盤

BI（可視化）とは

ためたデータをグラフや表にして、人が読み解けるようにする仕組みです。

BI（Business Intelligence）

集めて整えたデータを、グラフやダッシュボードに可視化し、意思決定に役立てる仕組み。数字の羅列を、ひと目で分かる絵に変えてくれる。

・データをグラフや表に変える

・ひと目で傾向をつかめる

・売上や利用状況を見える化

・数字から判断につなげる

・分析の最終出口にあたる

34
16

ビッグデータ入門 - 活用

4

第4部 活用と機械学習

集めたデータを未来に活かす

40
17
ビッグデータ入門 - 活用

機械学習とのつながり（復習）

AI基礎の回で学んだ機械学習は、大量データから学びます。ビッグデータはその栄養になります。

  • 以前学んだ機械学習はデータから学ぶ
  • 学ぶ材料が多いほど賢くなりやすい
  • ビッグデータが学習の栄養になる
  • 分析基盤が学習データを供給する
  • データと学習はセットで考える
41
18
ビッグデータ入門 - 活用

ビッグデータの活用事例

集めて分析したデータは、身近なサービスのいろいろな場面で活きています。

おすすめ表示
  • 購入や閲覧の傾向を分析
  • 好みに合う商品を提案
異常の検知
  • 普段と違う動きを発見
  • 不正やトラブルを早期発見
需要の予測
  • 過去の傾向から先を読む
  • 在庫や人員の準備に活かす
42
19
ビッグデータ入門 - 活用

データを活かすために大事なこと

ただ集めるだけでは宝の持ち腐れです。活かすための姿勢が大切です。

  • 何を知りたいかを先に決める
  • 集めっぱなしにせず整えて使う
  • 汚れたデータは判断を誤らせる
  • 小さく試して効果を確かめる
  • 個人情報の扱いには十分注意する
43
20
ビッグデータ入門 - まとめ
クイズ

振り返りクイズ

今日の内容を確認しましょう。

ビッグデータの3Vに当てはまらないものはどれ？

A
Volume（量）
B
Velocity（速さ）
C
Variety（種類）
D
Visual（見た目）
50
21
ビッグデータ入門 - まとめ
答え

振り返りクイズ 解答

ビッグデータの3Vに当てはまらないものはどれ？

A
Volume（量）
B
Velocity（速さ）
C
Variety（種類）
D
Visual（見た目）

ビッグデータの3VはVolume（量）・Velocity（速さ）・Variety（種類）です。Visual（見た目）は含まれません。データが多く・速く生まれ・種類も多様であることが特徴です。

51
22
ビッグデータ入門 - まとめ

質疑・次回予告

今日のまとめと、次に学ぶテーマです。質問があればここで受け付けます。

今日のおさらい
  • ビッグデータは量・速さ・種類の3V
  • 分散処理でみんなで手分けして扱う
  • 集めて整えて見せる基盤で価値にする
次回予告
  • プロセスとスレッド 〜同時に動かす仕組み〜
  • OSが複数の処理をさばく仕組みを学ぶ
52
23
"

ビッグデータは量・速さ・種類の3Vを持つ巨大なデータ。みんなで手分けする分散処理で扱い、集めて整えて見せることで価値になります。機械学習の栄養にもなる、これからの土台です。

— ビッグデータ入門

53
24