Amazon EMR(Elastic MapReduce)
公開日時:2020年11月30日 / 最終更新日時:2021年10月31日
■Amazon EMR の特徴
- EMR は Elastic MapReduce の略です。
- ビッグデータフレームワーク (Apache Hadoop や Apache Spark など) の実行を簡素化して、大量のデータを処理および分析できるサービスです。
- IoT などの大量のデータセットを処理および分析できます。
- カスタムポリシーによる自動スケーリングを使用できます。
- Apache Spark、Apache Hive、Apache HBase、Apache Flink、Presto などのオープンソースツールと、Amazon EC2 や Amazon S3 を組み合わせて、大規模なビッグデータを処理および分析できます。
※MapReduce とは米グーグル(Google)が開発した、大規模なデータを効率的に分散処理するためのプログラミングモデル。計算過程を“Map”と“Reduce”と呼ばれる二つのステップに分けて構成する。
http://e-words.jp/w/MapReduce.html
※Reduce とは減らす、下げるという意味です。
■Amazon EMR のユースケース
- リアルタイムストリーム分析
- ETL(抽出、変換、読み込み)
- 機械学習(マシンラーニング)
- クリックストリーム分析
- ゲノミクス
- リアルタイムで大量のデータを分析することに特化しているイメージ
※ETL は Extract/Transform/Load の略で、Extract(データを抽出)/Transform(抽出データを変換・加工)/Load(データをロード)という工程を表しています。
EMR と Apache Hive と DynameDB でデータを分析できる
EMR と Apache と DynamoDB の組み合わせでデータを分析することができます。
DynamoDB にはデータを保存します。
Posted by 100%レンタルサーバーを使いこなすサイト管理人
このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。
タグ
SSLサーバー証明書
DNS
RedHat 8系
TigerVNC Server
.vmdk
Amazon RDS
Zabbix
無料SSL証明書
Windows 10
ECS
秘密鍵
PostgreSQL
Subversion
Sophos
メタ文字
機械学習
暗号鍵
.htaccess
動的レスポンス
ロリポップ!
VMware vSphere Client
Simple Email Service
CloudFormation
設定手順
VMware vSphere 6.0 ESXi
Microsoft SQL Server 2016
共用サーバー
rpm
仮想
PhantomJS
公開鍵
インストール
Python
serverspec-runner
route
html
root監獄
cron
RDS
GLue
css
Let's Encrypt
ネットワーク
脆弱性
AWS Lambda
Chef
インストール手順
chroot
プラグイン
AWS CodeCommit
VNC Server
Auto Scaling
SFTP
Docker
画像
デザイン
Ubuntu
Google Chrome
逆引き
リダイレクト
git
ログ
WebLogic
淵上喜弘
Perl
SQLite
IPv6
My VMware
ルートテーブル
初心者
ルーティングテーブル
PowerShell 6.0
タグ
プロトコル
Amazon EBS
ハードウェアクロック
Facebook
Python 3.6.3
リストア
ルート証明書
AES
dovecot
トラブルシューティング
boto3
自動起動
超初心者
コスト削減
ウィルス
SSL
Amazon Route 53
NATゲートウェイ
CPU
独自ドメイン
コード
AWS認定試験
メトリクス
NAT
SASL
SQL Server
aws ec2 インスタンス
headless
Oracle
VMware
Selenium
Webアプリ
パッシブモード
仮想化
アップグレード
手順
iptables
自宅サーバー
crontab
Google
負荷分散
openssl
Python 3.6.2
フェイルオーバー
ブラウザ
OSS
redhat8
nmcli
Apache Subversion
W3 Total Cache
HTTPリクエスト
CloudWatch
ビットコイン
ライセンス
仮想化環境
POST
常時SSL化
AWS SSM
SSL/TLS
Lambda
配列
AWS Glue
AWS CodePipeline
github
冗長化
データストア
アベイラビリティゾーン
CI/CD
ログイン
grep
インターネット
NTP
gimp
1日で理解するDjango超基礎入門
パフォーマンス
VPC
RedHat
ライブラリ
無料
インスタンス
お名前レンタルサーバー
マルチドメイン
Amazon EC2
アップデート
プログラム
CodeDeploy
vnc
DevOps
環境変数
Server Name Indication SSL
Route 53
ディープラーニング
エックスサーバー
EC2インスタンス
Microsoft SQL Server Management Studio
AMI
お名前.com
SPF
wireshark
ファイバーチャネル
PuTTY
Amazon SES
マルチパス
形態素解析
SSL証明書
ansible-playbook
Ruby
IPアドレス
仕組み
仮想アプライアンス
CodePipeline
Systems Manager
クライアント
bash
ISO
ハートビート
Webアプリケーション
Veritas
ロードバランサ―
クライアント/サーバー
リクエスト
検索エンジン
時刻同期
Terraform
SSM
リファラー
マルウェア
インフラ構成管理
ウィルス感染
文字コード
Linux
AWS Backup
バージョン
身代金
TLS
VMware vSphere 6.5 ESXi
スクレイピング
ビジュアルエディタ
ファイル操作
Yahoo!
データベース
NIC
VMware ESXi 6.5
メタキャラ
クライアント証明書
keytool
Windows
スナップショット
STARTTLS
まとめ
ワードプレス
ALB
整形
CGI
FC
レンタルサーバー
正引き
スクリプト
WordPress
PHP
AWS CodeDeploy
CSR
WannaCrypt
デフォルトゲートウェイ
スマホ
プライベートサブネット
DNSサーバー
VMware vSphere ESXi
DB
文字列
GET
デプロイ
プログラミング
S3
公開鍵暗号方式
FTP
teraterm
Microsoft SQL Server
リポジトリ
アクティブモード
メール
障害対応
名前解決
トラブル
C
サービス
EC2
コマンド
PowerShell 6.0.3
改行
運用
AWS CodeBuild
java
SQL文
Apache
自己証明書
Python3.6
設計
共有フォルダ
ネームサーバー
格安レンタルサーバー
スタイルシート
AWS CloudFormation
静的レスポンス
インフラ
バックアップ
ansible
アンチウィルス
エディタ
VMware vSphere vCenter
man
無料独自SSL証明書
AWS Storage Gateway
Veritas NetBackup 8.0
WannaCry
さくらVPS
httpd
引越
Webスクレイピング
Django
Windows 7
SMTP認証
サーバー
ファイアウォール
Amazon CloudWatch
インポート
SVN
エラー
bind
Python 3.6
クラウド
https
HTTP
用語
Amazon S3
コンパイル
設定
暗号化
Route53
関数
Mac
用語集
メリット
メール送信
構成管理
systemd
コメントアウト
マクロ
smtp
PowerShell
CentOS7
ELB
IIS
さくらインターネット
SSH
ランサムウェア
ポリシー
AWS CLI
セキュリティ
VMware-Tools
Selenium WebDriver
playbook
ドメイン名
リスト
AWS Systems Manager
postgres
Unix
VMware vSphere 6.5
検索
SQL Server Management Studio
Web アプリ
削除
ストレージ
時刻
システムクロック
CentOS6
VMware vSphere
メールサーバー
VPS
パッチ
データ転送量
Serverspec
json
Windows Server 2016
BIOS
正規表現
Webサーバー
AWS
復号化
タイムゾーン
ロール
Amazon CloudWatch メトリクス
違い
postfix
リトルサーバー
システム
CentOS
Webプログラム
Deep Learning
firewalld
レンタルサーバ
pip
ドメイン
yum
WebLogic Server 12c
Amazon
仮想環境
SES
カスタマイズ
無料独自SSL
SMB
認証局
EC2 インスタンス
コメント欄
MySQL
Elastic IP
二重配列
crond
お名前.com 共用サーバー
オレオレ証明書
ルート証明機関
仮想マシン
iSCSI
Web
HTTPレスポンス
パソコン
systemctl
最近の投稿
- 【AWS認定試験】AWS Certified Database - Specialty(DBS-C01)勉強履歴
- 【AWS】SESでリソースを絞りSMTP認証情報が漏洩してもセキュアにする設定方法
- 【AWS】Glue Job のロールとポリシーの設計
- 【AWS】Glue Crawler のロールとポリシーの設計
- 【AWS】RDSのSnapshotをS3バケットにエクスポートする方法
- 【AWS】Route 53でサービス停止によるフェイルオーバーを実施するのは難しい
- 【Ansible】AWS SSM の Run Command で Ansible の Playbook を AWS CLI で(コマンドで)実行する手順
- 【Ansible】AWS SSM の Run Command で Ansible の Playbook を実行する手順
- 【Terraform】Terraformで構築したEC2インスタンスを手動で停止・終了(削除)するとどうなるか確認する
- 【AWS】aws ses send-email コマンドでSMTP認証、アクセスキーIDなしでメールを送信する手順
- 【Terraform】環境ごとにリソースの数が異なる場合の設定方法(同じtfファイルを利用する場合)
- 【New Relic】New Relic エージェントのアンインストール手順
- 【New Relic】外形監視(Synthetic Monitoring)の設定手順
- 【SQLServer】SQLServerサービスが起動しない場合の対応手順【トラブルシューティング】
- 【Linux】sedコマンド
- 【GitHubActions】GitHubActionsの実行履歴(flow)をまとめて削除する手順
- 【Terraform】Terraformで管理されているリソースを除外する手順
- 【Terraform】初期構築手順
- 【Terraform】terraform importコマンドで既存の環境との差分を取り込む手順
- 【WordPress】サイドバーのレイアウトのずれを修復する手順【備忘録】
- 【GitHub Actions】TerraformでデプロイするCI/CDパイプラインの構築手順
- 【AWS】Cloud9からIAM権限のコマンド(IAMユーザー、IAMロールの作成など)が実行できるように設定する手順
- 【AWS】ECSタスクの停止(ECS コスト削減)手順
- 【AWS】Docker で作成した Java Web アプリのコンテナ環境をイメージ化して ECR にプッシュし ECS にデプロイする手順
- 【Java】TomcatでWebアプリを作成しDockerコンテナ環境にデプロイして実行する手順
- 【英語】IT英語の特集
- 【AWS】Lambda関数一式(Slackへの通知アプリ)を ZIP で固めてアップロードして登録して実行する手順【Lambda】【Windows】
- 【AWS】AWS CDK version 2(Python)でインフラ環境を構築する手順
- 【AWS】AWS Certified SysOps Administrator - Associate(SysOpsアドミニストレーター アソシエイト)に合格したので試験勉強まとめ
- 【AWS】AWS Certified DevOps Engineer - Professional(DevOps エンジニア – プロフェッショナル試験)(DOP)に合格したので試験勉強まとめ
- 【AWS認定試験】AWS Certified DevOps Engineer - Professional(DOP-C01)勉強履歴
- 【Git】Gitの用語について
- 【AWS】AWS認定試験の問題例まとめ
- 【AWS】各種APIについて
- ディザスタリカバリにおける RTO(目標復旧時間)と RPO(目標復旧時点)
- 【AWS】DevOps(CI/CD)CodeDeployでのデプロイ設定(In-Place、Blue/Green)について【CodePipeline、CodeDeploy】
- 【AWS】CodePipeline での CodeDeploy でのデプロイでエラーになった場合のトラブル対応手順
- 【AWS】DevOps(CI/CD)の導入手順(Angular、Git、CodePipeline、CodeCommit、CodeBuild、CodeDeploy、Auto Scaling、ALB の組み合わせ)
- 【AWS】AWSガイドラインを考える(クラウド時代のインフラ設計)
- 【AWS】CodeDeployとAuto Scaling+ALBを組み合わせる環境の構築手順
カテゴリー
- Ansible (12)
- Apache(httpd) (4)
- AWS (229)
- AWS認定試験 (98)
- CentOS6 (RedHat6) (45)
- CentOS7 (RedHat7) (109)
- CentOS8 (RedHat8) (16)
- Chef (2)
- CI/CD (4)
- cron (1)
- DevOps (10)
- DNS(ドメイン) (28)
- Docker (3)
- EC2 (2)
- ECS (1)
- Git (3)
- GitHub (2)
- GitHubActions (2)
- Glue (2)
- HTML/CSS (13)
- Java (2)
- Linux (115)
- LiteSpeed (2)
- MySQL (12)
- NetBackup (4)
- NewRelic (2)
- Oracle (4)
- PHP (15)
- PostgreSQL (38)
- PowerShell (9)
- Python (63)
- RDS (1)
- RedHat (10)
- Route53 (1)
- Ruby (3)
- S3 (2)
- Serverspec (4)
- SES(Simple Email Service) (3)
- SQL Server (21)
- SSL/TLS (34)
- SSM (2)
- Subversion (4)
- Terraform (6)
- VMware (46)
- VPS (12)
- Webアプリ (35)
- Windows (23)
- WordPress (49)
- Zabbix (9)
- お得情報 (14)
- その他 (1)
- インフラ (65)
- インフラエンジニア (3)
- クラウド (9)
- コマンド (9)
- コンテナ (4)
- シェルスクリプト (6)
- セキュリティ (67)
- データベース (59)
- ネットワーク (80)
- バックアップ (6)
- プログラム (61)
- ホームページ作成 (20)
- メール (19)
- レンタルサーバー (92)
- 仮想環境 (54)
- 機械学習 (10)
- 正規表現 (4)
- 物理 (8)
- 雑談 (7)
Copyright 100%レンタルサーバーを使いこなすサイト All rights reserved.
コメントを残す