Amazon EMR(Elastic MapReduce)
公開日時:2020年11月30日 / 最終更新日時:2021年10月31日
■Amazon EMR の特徴
- EMR は Elastic MapReduce の略です。
- ビッグデータフレームワーク (Apache Hadoop や Apache Spark など) の実行を簡素化して、大量のデータを処理および分析できるサービスです。
- IoT などの大量のデータセットを処理および分析できます。
- カスタムポリシーによる自動スケーリングを使用できます。
- Apache Spark、Apache Hive、Apache HBase、Apache Flink、Presto などのオープンソースツールと、Amazon EC2 や Amazon S3 を組み合わせて、大規模なビッグデータを処理および分析できます。
※MapReduce とは米グーグル(Google)が開発した、大規模なデータを効率的に分散処理するためのプログラミングモデル。計算過程を“Map”と“Reduce”と呼ばれる二つのステップに分けて構成する。
http://e-words.jp/w/MapReduce.html
※Reduce とは減らす、下げるという意味です。
■Amazon EMR のユースケース
- リアルタイムストリーム分析
- ETL(抽出、変換、読み込み)
- 機械学習(マシンラーニング)
- クリックストリーム分析
- ゲノミクス
- リアルタイムで大量のデータを分析することに特化しているイメージ
※ETL は Extract/Transform/Load の略で、Extract(データを抽出)/Transform(抽出データを変換・加工)/Load(データをロード)という工程を表しています。
EMR と Apache Hive と DynameDB でデータを分析できる
EMR と Apache と DynamoDB の組み合わせでデータを分析することができます。
DynamoDB にはデータを保存します。
Posted by 100%レンタルサーバーを使いこなすサイト管理人
このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。
タグ
systemd
Lambda
ネームサーバー
コマンド
ファイル操作
ルート証明書
アクティブモード
ハートビート
NTP
インストール
AMI
redhat8
リストア
インフラ
AWS CloudFormation
AWS認定試験
ルートテーブル
スタイルシート
メール送信
Python3.6
デザイン
バージョン
C
1日で理解するDjango超基礎入門
設計
Apache Subversion
お名前.com 共用サーバー
クラウド
bash
AWS CLI
リポジトリ
vnc
Windows 10
共用サーバー
アベイラビリティゾーン
ログイン
MySQL
Yahoo!
ELB
CPU
CGI
マルチパス
FC
VMware vSphere 6.0 ESXi
Django
AWS CodeDeploy
インストール手順
Microsoft SQL Server
オレオレ証明書
IPアドレス
CSR
root監獄
コメント欄
Veritas
データベース
マクロ
.htaccess
ログ
ロリポップ!
仕組み
アンチウィルス
二重配列
SMB
マルチドメイン
運用
Python 3.6.2
メタキャラ
環境変数
リクエスト
GLue
設定
PowerShell 6.0.3
BIOS
ウィルス
STARTTLS
ルーティングテーブル
cron
Unix
Amazon CloudWatch メトリクス
CentOS7
Amazon
IIS
システムクロック
playbook
ハードウェアクロック
ドメイン名
トラブルシューティング
PHP
CloudWatch
Deep Learning
Amazon EBS
route
Windows
SPF
レンタルサーバ
VPC
teraterm
Mac
man
Route 53
ドメイン
文字コード
SES
VPS
Amazon RDS
httpd
ファイバーチャネル
手順
DNSサーバー
PowerShell 6.0
ALB
正引き
AWS
仮想アプライアンス
postgres
CloudFormation
Python 3.6.3
お名前.com
暗号鍵
iSCSI
リファラー
EC2 インスタンス
css
WebLogic
S3
無料
Server Name Indication SSL
アップデート
超初心者
初心者
ランサムウェア
SSM
パッシブモード
Web アプリ
Let's Encrypt
Amazon EC2
Apache
POST
CI/CD
yum
https
Veritas NetBackup 8.0
メールサーバー
ネットワーク
動的レスポンス
脆弱性
dovecot
ビジュアルエディタ
SSL
GET
コード
身代金
Auto Scaling
CodeDeploy
無料独自SSL証明書
お名前レンタルサーバー
PuTTY
VMware vSphere 6.5 ESXi
AWS CodePipeline
改行
整形
Docker
NAT
リスト
スクレイピング
Serverspec
独自ドメイン
タグ
Amazon SES
AWS Lambda
ファイアウォール
NIC
Google Chrome
検索
Python 3.6
VMware vSphere vCenter
ansible
W3 Total Cache
マルウェア
用語
Python
SMTP認証
Ubuntu
ワードプレス
画像
Facebook
違い
サーバー
SVN
Oracle
Linux
プライベートサブネット
インフラ構成管理
rpm
AES
git
Webアプリ
カスタマイズ
Perl
自宅サーバー
github
レンタルサーバー
パフォーマンス
クライアント/サーバー
Route53
ビットコイン
openssl
バックアップ
PostgreSQL
OSS
ストレージ
AWS Backup
Webアプリケーション
SQL Server Management Studio
keytool
配列
公開鍵
html
コメントアウト
HTTP
serverspec-runner
VMware ESXi 6.5
プロトコル
AWS Storage Gateway
java
淵上喜弘
SSL/TLS
インスタンス
時刻
引越
smtp
gimp
postfix
TigerVNC Server
プログラミング
クライアント
関数
まとめ
格安レンタルサーバー
エラー
CodePipeline
Microsoft SQL Server Management Studio
Elastic IP
WannaCrypt
FTP
DB
ロール
セキュリティ
暗号化
ロードバランサ―
障害対応
エディタ
Selenium
システム
PhantomJS
メリット
Systems Manager
メール
プログラム
共有フォルダ
RedHat 8系
AWS CodeBuild
Zabbix
仮想
スマホ
SSLサーバー証明書
冗長化
ウィルス感染
boto3
インポート
メタ文字
仮想マシン
パソコン
構成管理
wireshark
コスト削減
VMware vSphere Client
SFTP
AWS Systems Manager
リダイレクト
ライセンス
Google
WordPress
EC2インスタンス
仮想化環境
ansible-playbook
aws ec2 インスタンス
AWS SSM
メトリクス
VNC Server
pip
SQLite
DNS
無料独自SSL
クライアント証明書
トラブル
Sophos
Simple Email Service
デプロイ
常時SSL化
Microsoft SQL Server 2016
さくらインターネット
RedHat
ルート証明機関
機械学習
Subversion
RDS
インターネット
Windows Server 2016
CentOS
名前解決
Web
形態素解析
Amazon S3
用語集
Webサーバー
復号化
自動起動
My VMware
ブラウザ
ポリシー
Chef
ディープラーニング
コンパイル
Ruby
ライブラリ
HTTPリクエスト
VMware
デフォルトゲートウェイ
TLS
負荷分散
検索エンジン
EC2
iptables
firewalld
Webプログラム
さくらVPS
削除
自己証明書
フェイルオーバー
nmcli
Amazon Route 53
AWS Glue
VMware-Tools
認証局
設定手順
タイムゾーン
crond
crontab
Amazon CloudWatch
正規表現
VMware vSphere 6.5
データストア
SSL証明書
SASL
.vmdk
ISO
スナップショット
CentOS6
HTTPレスポンス
サービス
DevOps
パッチ
公開鍵暗号方式
SQL文
静的レスポンス
VMware vSphere ESXi
仮想環境
NATゲートウェイ
IPv6
ECS
json
Terraform
リトルサーバー
エックスサーバー
AWS CodeCommit
SQL Server
grep
chroot
WebLogic Server 12c
Webスクレイピング
プラグイン
文字列
仮想化
PowerShell
秘密鍵
SSH
Selenium WebDriver
アップグレード
無料SSL証明書
逆引き
bind
スクリプト
時刻同期
VMware vSphere
headless
データ転送量
systemctl
WannaCry
Windows 7
最近の投稿
- 【AWS】AWS Control Towerについて
- 【SRE】学習メモ
- 【AWS】特定のEC2インスタンスがどのターゲットグループに所属しているか確認するPythonスクリプト【Python】
- 【brew】brewのインストール手順
- 【AWS認定試験】Database - Specialty(DBS-C01)試験勉強ノートブック
- 【AWS】SESでリソースを絞りSMTP認証情報が漏洩してもセキュアにする設定方法
- 【AWS】Glue Job のロールとポリシーの設計
- 【AWS】Glue Crawler のロールとポリシーの設計
- 【AWS】RDSのSnapshotをS3バケットにエクスポートする方法
- 【AWS】Route 53でサービス停止によるフェイルオーバーを実施するのは難しい
- 【Ansible】AWS SSM の Run Command で Ansible の Playbook を AWS CLI で(コマンドで)実行する手順
- 【Ansible】AWS SSM の Run Command で Ansible の Playbook を実行する手順
- 【Terraform】Terraformで構築したEC2インスタンスを手動で停止・終了(削除)するとどうなるか確認する
- 【AWS】aws ses send-email コマンドでSMTP認証、アクセスキーIDなしでメールを送信する手順
- 【Terraform】環境ごとにリソースの数が異なる場合の設定方法(同じtfファイルを利用する場合)
- 【New Relic】New Relic エージェントのアンインストール手順
- 【New Relic】外形監視(Synthetic Monitoring)の設定手順
- 【SQLServer】SQLServerサービスが起動しない場合の対応手順【トラブルシューティング】
- 【Linux】sedコマンド
- 【GitHubActions】GitHubActionsの実行履歴(flow)をまとめて削除する手順
- 【Terraform】Terraformで管理されているリソースを除外する手順
- 【Terraform】初期構築手順
- 【Terraform】terraform importコマンドで既存の環境との差分を取り込む手順
- 【WordPress】サイドバーのレイアウトのずれを修復する手順【備忘録】
- 【GitHub Actions】TerraformでデプロイするCI/CDパイプラインの構築手順
- 【AWS】Cloud9からIAM権限のコマンド(IAMユーザー、IAMロールの作成など)が実行できるように設定する手順
- 【AWS】ECSタスクの停止(ECS コスト削減)手順
- 【AWS】Docker で作成した Java Web アプリのコンテナ環境をイメージ化して ECR にプッシュし ECS にデプロイする手順
- 【Java】TomcatでWebアプリを作成しDockerコンテナ環境にデプロイして実行する手順
- 【英語】IT英語の特集
- 【AWS】Lambda関数一式(Slackへの通知アプリ)を ZIP で固めてアップロードして登録して実行する手順【Lambda】【Windows】
- 【AWS】AWS CDK version 2(Python)でインフラ環境を構築する手順
- 【AWS】AWS Certified SysOps Administrator - Associate(SysOpsアドミニストレーター アソシエイト)に合格したので試験勉強まとめ
- 【AWS】AWS Certified DevOps Engineer - Professional(DevOps エンジニア – プロフェッショナル試験)(DOP)に合格したので試験勉強まとめ
- 【AWS認定試験】AWS Certified DevOps Engineer - Professional(DOP-C01)勉強履歴
- 【Git】Gitの用語について
- 【AWS】AWS認定試験の問題例まとめ
- 【AWS】各種APIについて
- ディザスタリカバリにおける RTO(目標復旧時間)と RPO(目標復旧時点)
- 【AWS】DevOps(CI/CD)CodeDeployでのデプロイ設定(In-Place、Blue/Green)について【CodePipeline、CodeDeploy】
カテゴリー
- Ansible (12)
- Apache(httpd) (4)
- AWS (230)
- AWS認定試験 (98)
- brew (1)
- CentOS6 (RedHat6) (45)
- CentOS7 (RedHat7) (109)
- CentOS8 (RedHat8) (16)
- Chef (2)
- CI/CD (4)
- cron (1)
- DevOps (10)
- DNS(ドメイン) (28)
- Docker (3)
- EC2 (2)
- ECS (1)
- Git (3)
- GitHub (2)
- GitHubActions (2)
- Glue (2)
- HTML/CSS (13)
- Java (2)
- Kindle (1)
- Linux (115)
- LiteSpeed (2)
- MySQL (12)
- NetBackup (4)
- NewRelic (2)
- Oracle (4)
- PHP (15)
- PostgreSQL (38)
- PowerShell (9)
- Python (64)
- RDS (1)
- RedHat (10)
- Route53 (1)
- Ruby (3)
- S3 (2)
- Serverspec (4)
- SES(Simple Email Service) (3)
- SQL Server (21)
- SRE (1)
- SSL/TLS (34)
- SSM (2)
- Subversion (4)
- Terraform (6)
- VMware (46)
- VPS (12)
- Webアプリ (35)
- Windows (23)
- WordPress (49)
- Zabbix (9)
- お得情報 (14)
- その他 (2)
- インフラ (65)
- インフラエンジニア (3)
- クラウド (10)
- コマンド (9)
- コンテナ (4)
- シェルスクリプト (6)
- セキュリティ (67)
- データベース (59)
- ネットワーク (80)
- バックアップ (6)
- プログラム (61)
- ホームページ作成 (20)
- メール (19)
- レンタルサーバー (92)
- 仮想環境 (54)
- 機械学習 (10)
- 正規表現 (4)
- 物理 (8)
- 雑談 (7)
Copyright 100%レンタルサーバーを使いこなすサイト All rights reserved.
コメントを残す