かれ4

かれこれ4個目のブログ

AWS

S3においてある、でかいファイルの1行目だけ取り出す

aws s3api get-object --bucket ${bucket-name} --key path/to/data /dev/stdout | head -n 1

Amazon Linuxのコンテナイメージを自分のdocker hubのリポジトリにコピーする

New Amazon Linux Container Image for Cloud and On-Premises Workloads | AWS Blog こんなリリースがあったけど、ecrとイチャイチャしたり、色々めんどくさいから、手元で使いやすいように 規約的に大丈夫かわからないので自己責任で #!/bin/bash if [ $# …

S3経由 codedeploy でデプロイするスクリプト

AWS

#!/bin/bash APPLICATION_NAME= #codedeployのapplication name DEPLOYMENT_GROUP= #codedeployのdeployment group DEPLOYMENT_CONFIG=CodeDeployDefault.OneAtATime # codedeployのdeployment config BUCKET= # ソースコードをおいておくS3のバケット PROFI…

SpotInstanceを使ってAMIを作る時にCloudAutomatorを使うと楽できる

何かしらのAMIを作る時、本来使うインスタンスよりも高級なインスタンスを使って、 作成するとコンパイルも早いし便利ですよね。でも、高級インスタンスを使うと時間は短くなったとしても、お高かったりします。そんな時にはSpotインスタンス。Spotインスタ…

Amazon Cognitoは機械学習のサービスではありません。

AWS

http://aws.amazon.com/cognito/ 認証とか同期って。なぜ"cognito"と付けたのかすごく知りたい。 cognitoがラテン語から来ていないのであれば、何から来ているのか知りたい。 最近のAWSの新サービスはSimple XXXX Service でもないし、 名前の由来がわかりづ…

EC2 のG2インスタンスに最新のNVIDIAのドライバを入れる。

まずはドライバのダウンロード G2インスタンスでは" NVIDIA - GRID - K520" CG1インスタンスでは "Tesla - M-Class - M2050"を選択してダウンロードします。直接ダウンロードも出来なくはないと思うのですが、一旦ダウンロードしてS3に置くのが良いのかなと…

workspacesのdirectoryだけ使いたい メモ

AWS

あとで細かい手順は書くとして、とりあえずメモWorkspacesでDirectoryだけ作る。 ManagementConsole以外でやる方法がわからなかった。。。CLIできない、SDKにもない。作ると、見知らぬENIができている。(EC2はできていない) このENIに対して、publicIP(EIP)…

AWS CLIのプレビューなやつを使うには

AWS

例えばsdb(preview) を使うとしたら $ aws configure set preview.sdb true

Kinesis Client LibraryはMavenのCentralRepositoryにある。SWFはないのに。。。

AWS

http://search.maven.org/#artifactdetails%7Ccom.amazonaws%7Camazon-kinesis-client%7C1.0.0%7Cjar <dependency> <groupId>com.amazonaws</groupId> <artifactId>amazon-kinesis-client</artifactId> <version>1.0.0</version> </dependency> SWFのFlowFrameworkはソースも出てないから大変

MIDIとAmazon Kinesisの相性が良さそう

AWS

今までMIDIをSWFで流してみたりはしたけれど、 KinesisこそがMIDIと一番相性の良いAWSだと思う。というわけで、まだ一度も成功したことは無いけれど、SWFでのオーケストラはもうやめて 2014年はKinesisでオーケストラに方向転換することにしました。 P.S. は…

CDP AdventCalendar 2013 - Rutherford Scaling Pattern

はじめに CDP Advent Calendar 2013 の15日目です。 昨日はなぜか二人いたようで @ijin さんの Autoscalingによる自動復旧(Immutable Infrastucture) http://ijin.github.io/blog/2013/12/14/self-healing-with-non-elb-autoscaling2/Takuro Sasakiさんの Au…

AWS Elastic Beanstalkで Amazon SWFのWorker Deciderを動かす #jawsug

JAWS-UG Advent Calendar 7日目です。 昨日は高校生でも使えるAWSでした。今日はみんなが大好きで仕方ないAmazon SimpleWorkflowService(以下SWF)のWorkerとDeciderをAWS Elastic Beanstalk(以下Beanstalk)で動かす方法についてです。SWFといえば、分散処理…

SQSってなんじゃ?(SQSに関する考察)

はじめに AWS初心者ですが、わからないなりに、SQSという物を調べてみました。 特に重複について 先日SQSのアップデートがあったみたいです。 エヴァンジェリスト 堀内さんのブログにはものすごく大事な事が書かれていました。 ”重要な副作用として、ロング…

動的サイトにEC2を使わない。

CDP Advent Calendar 11日目 クラウドを使うにあたって、EC2をWebサーバに使うことに疑問を感じています。 EC2 Elastic Compute Cloud Computeを提供するサービスなのに、なぜコンテンツを配信なんてしなきゃいけないんだと。 コンテンツの配信はCloudFront…

SDBToolをシドニーリージョンに対応させたものを作ってみた

Firefox用のアドオンSDBTool を シドニーリージョンに対応させたものを作りました。Firefoxで下のリンクをクリックするとインストール出来ます。 http://browser-tools.s3.amazonaws.com/firefox/sdbtool/sdbtool-2012.11.13.0000.xpiソースコードはこちらで…

AWSのサービスの現在のバージョンと認証方法の一覧 (2012/9/23時点)

AWS

何に必要かはわからないけど、AWSSDKforPHP 1.5.14 から抜き出し EMRが2009なのはPHPだから?? service version auth EC2 2012-07-20 AuthV2Query EMR 2009-03-31 AuthV2Query ElastiCache 2012-03-09 AuthV2Query ElasticBeanstalk 2010-12-01 AuthV2Query…

SimpleDBでオフセットを指定する方法(解決編)

SimpleDBの弱点 これまでSimpleDBの弱いと思っていたところそれはオフセットの指定オフセットの指定が出来ないからページングも、大変でした。3ページ目のデータを取るには、 select * from domain where nan = chara order by nan limit 100; こんな感じで …

SDBToolを南米リージョンに対応させたものを作ってみた

Firefox用のアドオンSDBTool を Firefox8と南米(サンパウロ)リージョンに対応させたものを作りました。Firefoxで下のリンクをクリックするとインストール出来ます。 https://s3-ap-northeast-1.amazonaws.com/jawstokyo/sdbizo-2011.12.15.0000.xpiソースコ…

AWSの解除できる制限と そのフォーム一覧

AWS

更新履歴 2013.8.19 SWFのDomains, Total types per domain. Workflow executions per domain,Desired throttle settings for account の上限緩和 2012.9.25 ConnsolidatedBillingのアカウント上限について追加 (櫻井さんありがとうございます。) DynamoDB,E…

EC-CUBE day 2011に行ってきた

10月21日に行われた EC-CUBE day 2011に参加してきました。LT大会のトップバッターでLTもやらせてもらいました。その時はEC-CUBE on クラウド (Amazon Web Services)というタイトルでお話ししました。動画のエンコードに失敗して、見せるべきものが見えなか…

CEDEC AWARDに行ってきた

先週の9/7 水曜日 ゲーム業界の祭典 CEDECで行われた CEDEC AWARDに参加してきました。今回はAWSがノミネートされているということで、見に行ってきたわけですが、 なんだかちょっとアウェーな感じでwktkでした。 今回のAWARDに参加したのは ノミネート…

AWS Start-Up Challengeのフォームの英語がわからないので、玉川さんに聞いてきた。

AWS

去年に引き続きStart-Up Challengeにエントリーします。 思い返せば玉川さん(@kenTamagawa)と始めてあったのは去年のStart-Up Challengeについて教えてもらいにAmazonにお邪魔した時でした。 そして一年後の今日も同じところ(英語)でつまづきAmazonの玉川先…

AWS の課金情報(Account Activity)をAPIじゃないけど、スクレイピングで取得するやつ作ってみた Java のソース付き

#AWS77で多い 課金情報取得のAPIが欲しいというのがあって、 自分も欲しいと思ってた。 ソースコードと、コマンドラインツールと、jarファイルをひとまとめにしたものはこちら。google codeはこちら http://code.google.com/p/aws-account-activity/download…

課金のAPIが欲しいとか作ってみたとか、途中経過とか

AWS

七夕のお願い 課金API 必要な物 aws sdk for java (1.2.1使った) それに付いてる3rdpartyの中身 (多分httpClientしか使ってない)使い方はActivityClient.java のmainに書いてありgithubにあげるのもめんどいからここにコピペ MailPassAWSCredentials.java pa…

JAWS-UG Osaka勉強会 第2回 に参加してきた。 #jawsug

今回の勉強会はハンズオンがあったりでなかなか面白かった。 S3の使い方を教えて貰って、AWSってこんな簡単に使えるんだと思った人がきっとたくさんいたはず。 そしてLT、最初は2枠余ってるから時間的にも余裕あるかと思っていたけど、 トップバッター@kaz_g…

大阪リージョンのEC2も試してみた #4foolJp

今日発表された大阪リージョンで早速Amazon Linuxを使ってみた。 電車の中だったので、細かいところは見れていないけど。SSHでログインしたときに出るメッセージに若干の変更があった事に気付いた。これが大阪以外のリージョンのメッセージ __| __|_ ) Amazo…

AWS 大阪リージョンを試してみた。 #jawsug #4fooljp

大阪リージョンが発表されて、その使い心地を確かめてみた。 まず東京と比べて大分安い。そして早い(ココは東京なのに)さすが大阪と言ったところ。S3でベンチマークを取ってみた結果がこれこちらの回線は 価格.comのスピードテストで約23M date wget tokyoの…

変な時間に起きたから、好きなAWSランキングとか書いてみる

まずは5位から5.RDS gumiの堀内さんも大好き、RDSReadReplica が出来てランクインしました。 それまではAWSの中ではMechanical Turkについで柔軟ではないなと思っていたけど、ReadReplicaが出来て、一台では硬いけど、レプリカあるなら、、、みたいな感じで…

東京リージョンが登場して

AWS

東京リージョン。事前に知っていた(JAWS-UGサミット 2011年春 開会の辞 2011/3/4)というのもあって発表時には 実はそこまで気持ち的には盛り上がってませんでした。 実際のところ、Beanstalk、SESのが興奮しました。Twitterを見てるとすごく盛り上がってい…

JAWS-UGサミット 2011年春 開会の辞 2011/3/4

皆さん お集まり 頂き 本当に ありがとう ございます まずは こちらを ご覧ください このビデオの 作者は 御想像の通り @tottokug Thank you!!! このビデオを事前に 作ってもらうため だけに NDAを得上さんに 送ったことは、 内緒ですw 今日、この、 しゃべ…