いよいよ最終モジュール！

いよいよ5月中旬から最終モジュールが始まりました。私の留学生活も残すところ1ヶ月です。
あっという間だったような、長かったような、不思議な感じです。しかし、多くのことを勉強しましたし、何より旅行ではなく、実際に住んで、サンフランシスコのライフスタイルに触れて、アメリカのことや、日本のことについて考えるようになりました。そのことが大きな収穫だと思っています。

さて、最終モジュールのラインナップについて書きたいと思います。

Application of Analytics
シミュレーションのクラスです。モンテカルロシミュレーションに始まり、MCMCなどをやります。わりと数学重視のクラスです。最終モジュールで疲れてきている身体には応えますが、トピックは実用的かつ重要なので、頑張ってついていきます。


Marketing Analytics
マーケティングに纏わる分析手法を勉強します。コンジョイント分析、LTVの求め方など。先生は元ニールセンの方で、統計学的にどうこうというよりは、統計分析の結果をどうビジネスクライアントに説明するかに力点が置かれています。そして、このクラスの特徴は、SASを使用すること。クラス内では、賛否両論ありますが、私個人としては、SASはRと違って有償ですし、まだまだ大手企業で使っているメジャーなソフトウェアで覚えておいて損はないと思っています。

Web Analytics

これが本モジュール一番期待している授業です。自分でウェブサイトを作って、それにGoogle Analytics等の分析ソフトを導入して、実際に分析していくという流れです。先生は、元Googleのエンジニアの方でこれらのツールを熟知しているのはもちろん、とてもナイスガイなので、多くを学びたいと思います。

Practicum

インターンですね。いよいよ最後！！


最終モジュールで、気が抜けそうですが、なかなかのラインナップだと思います。最後まで楽しんで勉強できそうです。

第4モジュール開始！

1週間の春休みも終了し、新しいモジュールが始まりました。本モジュールは、ソフトな授業が多かった先モジュールとは大きく異なり、統計&プログラミングのお祭りです。

Data and Information Visualization
字のごとく、Rのggplot2を使って、ひたすらグラフを書きまくるクラスの模様です。データの可視化は重要なテーマです。ただ、データの可視化ってかなり個人の嗜好が影響するので、どう教えるんだろうって気もしてします。ただ、先生はデータの可視化を研究している方なので、盗めるところは盗んでいきたいですね。

ただ、そもそも、これまでのビジネスの現場経験からすると、複雑なデータをどうやって折れ線と棒グラフに持ち込むかを考えるほうが重要だと個人的には思っています。

Multivariate Statistical Analysis
多変量解析の授業です。主成分分析、因子分析などなどやるようです。回帰分析、時系列分析から引き続き先生は同じで、数学をかっちりやりつつ、Rで動かすっていう感じになりそうです。

Distributed Computing

おまちかねのMapReduceです。先生は実際に働いている方なので、実務でどうやっているかを学べます。また、学生はAWSのクーポンを持っているので、AWS上でHadoopを動かします。が、AWSで遊んでいるとすぐクーポンがなくなってしまうので、好きな人は、自分のマシンにHadoop入れて遊んだりしています。

Practicum

引き続き、インターンですね！

上記の他に、Kaggleの生みの親でありデータサイエンティストのJeremy Howardのレクチャーがあります（来年はどうかわかりませんが・・・）。彼が実際にKaggleでどんなテクニックを使ってきたのかについて、説明してくれています。彼は本当にすごいです・・・。

とても楽しいモジュールになりそうです！

春学期 第3モジュールスタート！

今週から新学期！第3モジュールが始まりました。

このモジュールのラインナップはこんな感じです。

Business Strategies for Big Data（週2コマ）

先生は、あるゲーム会社のディレクターで元UCLA Andersonの先生だそうです。主にミクロ・マクロ経済の基礎、アカウンティング、ファイナンス、マーケティングをざーっとやるような感じのようです。このクラスは、MBAのビジネスマネージャーの話を理解できる（馬鹿にされない！）というのがゴールです。

Interview Skills（週1コマ）

Googleでデータサイエンスをやっていた先生が受け持ちます。サンフランシスコもしくはシリコンバレーにある会社に就職するとき、Tech interviewが最初のハードルです。Tech Interviewというのは、例えば「P値って何？」とか「Boostingの疑似コード書いてみて」みたいな質問です。いきなりはできないので、それに対応するための練習をする必要があります。このクラスは、その練習をひたすらやる！というのがゴールです。ちなみに、毎週、Mock Interviewをやります。

Text Mining（週2コマ）

Text Miningといいながら、前モジュールの機械学習の続きのような感じです。ひたすらPythonとRで機械学習のライブラリを呼び続ける！という感じでしょうか。ただ先生は代わって、元々応用数学の人なので、授業は結構数学オリエンテッドです。おそらくこの授業が本モジュールで最もハードになると思われます。

もちろん引き続き週2日のPracticum（企業実習、インターン）がありますので、このモジュールも寝る時間は相当削られそうですが、後半戦も元気にやっていきたいと思います。

Intersession SAS Programming スタート！

さて本日よりIntersession programのSAS Programming のコースが始まりました。このコースは、2週間後のSAS Base programmerの試験の合格を目指します（落ちると何度も受けなおさせられます・・・）。Rに慣れているので、SASは最初わかりにくかったですが、慣れるとふつう（失礼！）ですね。おそらく、R使いの方で、はじめてSASを扱う方は同じような印象を持つのではないでしょうか。

一番とっつきにくいのは、データの操作だと思いますが、その辺はSASのオンラインチュートリアルはわかりやすいと思います。
http://web.utk.edu/sas/OnlineTutor/1.2/en/60476/paths.htm

第2モジュールの振り返り

新年の初投稿です。あけましておめでとうございます。冬休みは一時帰国していましたが、元旦にサンフランシスコに戻ってきました。新年早々、第2モジュールの成績が明らかになってきています。ここらでいちど、第2モジュールの振り返りをしておきたいと思います。


Time Series Analysis for Business and Finance
以前にも書きましたが、第1モジュールでやった回帰分析の続きという位置づけです。自己回帰プロセス（AR process)、移動平均プロセス（MA process）に始まり、GARCHまでがカバー範囲です。授業が数学ヘビーでやりつつも、結構わかりやすく、ここまでのベストレクチャーでした。ただ、あくまで単変量のモデルでやるので、時系列分析入門といったところでしょうか。多変量のモデルも実務では必要となるときがあるでしょうから、そこは自習する必要があります。使用したソフトウェアは、RとSASです。

Machine Learning
カバーした機械学習のアルゴリズムは、
1. 決定木
2. ナイーブベイズ
3. KNN
4. サポートベクターマシーン
5. クラスター分析
6. アンサンブル学習（Random Forest, Bagging, Boosting)
7. アソシエーションルール
8. ニューラルネットワーク
とです。最後まで理論よりでした。アルゴリズムの中で何が起きているのかを理解することが主眼に置かれていたように思います。しかし、今思えば、そういう勉強の仕方は時間がないとできないので、良かったかもと思っています。また、ゲストスピーカーで、Jeremy Howord（KaggleのPresident兼チーフサイエンティストで数々のコンペで優勝）が彼の普段やるデータ分析のやり方などを聞く機会があったのはありがたかったです（この授業だけでなく、以前も来ています）。

Distributed Databases

MySQLのおさらいから、MongoDBでMapReduceの概念を勉強し、最後はAWSでHadoopの使い方、Hiveの使い方を学ぶというものでした。週1の授業でしたので、ざーっと流した感じです。しかし、私はWIndowsになんとかHadoop + Hiveをインストールしようとして一番時間かかったかも。。。

Practicum 1 

会社でインターンをするというもので、週2回出社、週20時間以上の時間と先生からは言われていましたが、もっと時間を使っていたような気がします。なにせデータの量も半端じゃないので処理するのに時間かかります。インターンで感じることは、データ分析で一番大事なことはやっぱり分析結果を使ってもらうことだということです。なので、データ利用者にどうやってわかりやすく説明するか、「お客さんはこんな感じではなからろうか？」とストーリーで話すことの重要性を改めて感じました。また、Take Awayをクリアにしてあげることも重要です。「棒グラフや表などでさえも読みたくない」というのがデータ利用者の本音なのだと感じます。まぁ、私にとっては、実際にアメリカで働いてみたかったので、この授業はありがたいです。

とこんな感じで第2モジュールは終わりました。結構勉強したなぁと思います。そして、週明けからはSAS集中講義があり、2週間後にSAS Base Programmerの試験を受けることになっています。これに受からないと受かるまでやらされる模様なので、一発で合格したいです。

残りは半年！後半戦もがんばらないと！

（自分用メモ）R 時系列分析の関数まとめ

Rには時系列分析用のパッケージがいろいろありますが、授業で使っているパッケージ・関数を備忘のために、まとめておきたいと思います。

まずデータを入手したら

1. 時系列プロット
2. 単位根検定(Augmented Dickey–Fuller Test, Phillips-Perron Test for Unit Roots)
• adf.test(data, alternative ="stationary") (tseries package)
• PP.test(data)

データが非定常だったら・・・

1. 移動平均でdetrend
2. 単位根検定でひっかかったら、diffを取る(ex: Z_t = Y_t - Y_t-1)
3. Exponential smoothingでdetrend
• Simple Exponential Smoothing
• HoltWinters(data,alpha=数字, beta=FALSE, gamma=FALSE) #ARIMA(0,1,1)と同じこと
• Double Exponential Smoothing
• HoltWInters(data,alpha=数字, beta=数字, gamma=FALSE)　#ARIMA(0,2,2)と同じこと

• 以下2つを使う場合、dataはtsオブジェクトでfrequencyが定義されてるもの
• Seasonal Exponential Smoothing without Trend
• HoltWinters(data,alpha=数字, beta=FALSE, gamma=数字) 
• Seasonal Exponential Smoothing with trend
• HoltWinters(data, alpha=数字, beta=数字, gamma=数字)  

データは定常。ではWhite noiseか？

1. 時系列データがWhite noiseかどうかの検定 (Box Pierce , Box Ljung test)
• Box.test(data, lag=1 , type = c("Box-Pierce", "Ljung-Box")

White noiseではないようだ。では、ARIMAモデルか？

1. Sample Auto Correlation, Sample Partial Auto Correlationのプロット
• acf(data, plot=TRUE)
• pacf(data,plot=TRUE)
2. ARMAのパラメータ候補を絞りたい
• eacf(data) (TSA package)
3. ARIMA(p,d,q) モデルの推定(dataはtsオブジェクトです）
• arima(data, order=c(p,d,q),method="ML")
4. ARIMA(p,d,q) モデルの推定(dataはtsオブジェクトです）
• arima(data,order=c(p,d,q),seasonal=list(order=c(P,D,Q),period=S),method="ML")

ARIMAモデルの残差はWhite noiseになったのか？

1. 残差プロット + Box testでチェック
2. 残差プロットの中でvolatility clusteringがあれば、ARCH LM testをやってみる

ARCH/GARCHモデル

1. garchFit(~arma(p,q)+garch(q,p),data=data) (GARCHのパラメータqはalpha, pのパラメータはbeta)

予測

1. arimaで推定したモデルであれば、forecast(arimaクラスのオブジェクト）　(forecast library）
2. garchFitで推定したモデルであれば、predict(fGarchクラスのオブジェクト）

第2モジュールスタート！

さて、先々週から第2モジュールが始まりました！

第2モジュールは、以下のラインナップです。

Time Series Analysis for Business and Finance
前モジュールでやった回帰分析の授業の続きという位置づけですが、まずARプロセス、MAプロセス、ARMA, ARIMA, SARIMAといった時系列のモデルを勉強します。今後、ARCH、GARCHなんかもやるみたいです。今のところ、主には理論をやっていますが、今後はRとSASを使って分析をやっていくようです。

Machine Learning
一番思ってたのと違うのが、この授業・・・・。かなり理論寄りです。マシンラーニングは、Rとかで動かすっていうだけだと結構楽しい代物ですが、それなりに数学もやると、そこそこヘビーです。しかも、実際に動かすのは、PythonのScikit-learnです。私はR使いなので、Rでやるほうが楽だったのですが、仕方ない・・・。

Distributed Databases
こちらは、SQLから、NoSQLへの発展編です。最初2回は、MySQLのおさらいと少し応用編をやり、次回からはMongoDBを使おうという流れです。MySQLは前期のData Acquisitionの復習に始まり、変数の使い方、Stored procedure, stored functionといった内容をやりました。先生が愉快な方なので、楽しいです。

Practicum 1 
強制的に企業とのコラボプロジェクトにアサインされます。会社の希望は出せますが、人を選ぶのは会社側らしく（事前にレジュメを提出します）、必ずしも希望の会社にアサインされるかはわかりません。会社によっては面接したりします。だいたい1週間に2回くらい出社するように言われているクラスメートが多いようです。詳細は書けないのですが、コラボ先企業は、シリコンバレーのベンチャーはもちろん、金融、小売、交通、自治体など多岐に渡ります。

秋学期 第1モジュール ここまでの内容

今週末はLabor Dayで3連休です。


少しゆっくりできるかと思いきや・・・


宿題の雨あられですので、気が抜けない状況です。


ここまでの学校の様子を残しておきます。


秋学期は8月中旬から12月中旬までの4か月間で、Analytics programは2か月ごとのモジュールに分かれています。最初のモジュールは、

1. Business Communication for Analytics　【週2】
2. Linear Regression　【週2】
3. Data Acquisition (DA)　【週1】
4. Exploratory Data Analysis (EDA)　【週1】

の4つの授業があります。これらに加えて、週1回のゲストスピーカーのプレゼンに出席するということになっています。

Business Communication for Analytics

International Studentにはもっとも過酷な授業です。授業が始まる前に、Program Directorから、英語をもっと練習しないとついていけないだろうと警告されたくらいです（単に、私の英語力不足ですが）。

この授業では、「技術的な内容を、それを知らない人に伝える」ということが大きなテーマになっています。なぜなら、分析は、専門でない人にとって難しく見えてしまいます。しかし、多くの場合、専門でない人が意思決定者であり、お客さんです。そのため、いかにインサイトをわかりやすく腹落ちさせるかというところが、非常に重要になるためです。

もちろん、Data Visualizationなど見た目が華やかでファンシーなコミュニケーション手法もありますが、この授業では、Writing, Speakingがフォーカスになっています。

Linear Regression

Boot Campの統計の授業の続きというのが実際の位置づけです。授業の名の通り、ひたすら、回帰分析を勉強しています。ちなみに使用言語はRです。

ここまでは、最小二乗法による回帰分析とその特性、モデルの診断の仕方を学びました。また、ロバスト回帰などもトピックに上がっています。私にとっては、学部のときには勉強しなかった、Cook's Distanceや、Leverageなんかも勉強できて、ハッピーです。

Data Acquisition (DA)

先生は実務で活躍されている方で、内容は実践的です。扱う内容は、分析ではなく、データ取得、クレンジングなどのデータ分析をする手前までのすべてということになります。使用言語はPython。

ここまでのところ、正規表現、JSONファイルとCSVファイル（マトリックス形式のデータセット）の円コーディング・デコーディングなどを扱っています。今後は、ソーシャルメディアのAPIなどにも触れる模様です。

Exploratory Data Analysis(EDA)

先生はシリコンバレーで仕事をしている実務家の方で、かなり実践的です。ちなみに、使用言語は、PythonとRです。

Data Acquisitionと少しかぶりますが、こちらは、集計、可視化に重きが置かれています。

今年、出願を検討されている方がいらっしゃいましたら、もっと詳しくお伝えできますので、ぜひご連絡ください！

ではでは、宿題に戻ります・・・

Boot Campもあと1週間！

ついに金曜日！そして、Boot Campも残るは1週間。

Boot Campという名前だけあって、そこそこしんどいものがありましたが、何とかパスできそうです（Boot Campで1つでもFailすると、MSANのプログラムを続けられず、来年再チャレンジということになります。実際に去年は数名いたようですが、今年戻ってくることはなかったそうな）。

気は抜けませんので、最後まで頑張ります。

ここまでで面白いと思ったトピックを備忘で残しておきます。

Inverse Method

乱数発生法で、累積密度関数(CDF)の逆関数を使って、ターゲットの分布関数(pdf)の乱数を発生させる手法です。逆関数には0から１の一様分布を使います。CDFが求められる場合には簡単に乱数を発生させられます。離散分布のpmfも少し工夫すれば求められます。

Acceptance-Rejection Sampling

CDFが求めにくい関数もあるでしょう。たとえば、正規分布とか。そういうときは、Acceptance-Rejection Samplingを使うとターゲットの分布を求められます。これは、一様分布 Uとサポートする密度関数の乱数xを発生させて、U  < f(x)/c*g(x) 　　(f(x)がターゲットの密度関数、g(x)がサポートとなる密度関数）を満たしたときのxを、ターゲットの分布関数からの乱数として採用(Accept)するという手法です。

たとえば、標準コーシー分布をサポートの密度関数　g(x)、ターゲットの分布 f(x)を標準正規分布とします。そして、定数cは、y = f(x)/g(x)を最大化させたときのyをc とします。そして、標準コーシー分布からの乱数x と一様分布から乱数のUを以て、U < f(x)/c*g(x)　を評価して、この条件を満たしたxを貯めていきます。この試行をたくさん繰り返して、貯まったxのヒストグラムを描くと、あ～ら～不思議、標準正規分布の乱数が得られてしまうのです。面白いです。

Randomization Test

ブートストラップの1種だと思われますが、私が習ったのは相関係数のケースです。2列のペアになっているベクトルのかたっぽを固定、もう一方の並びをランダムに並び替えて、相関係数を計算します。当然ゼロに近い数字になります。この試行をたくさ～ん繰り返して、全試行の相関係数をヒストグラムで描くと0を中心にした正規分布のような分布が出てきます。これって、p = 0 を帰無仮説にしたときの経験分布ですよね。これを使って、帰無仮説をp = 0, 対立仮説をp !=0 で検定する手法です。Empirical p valueを計算できますので、検定できます。

そのほか、ノンパラメトリックの検定手法（Sign Test, Signed rank Test, マン・ホイットニーのU検定など）も面白いですが、乱数については初めて勉強したので、特に興味深いです。残りのBoot Camp、そして8月中旬から始まる秋学期も楽しみです。

俺のPyCharmが止まらない

宿題で簡単なウェブログ解析（解析というほどのもんでもないんですが）をやっております。

100万ユニークユーザーのリクエストページのシークエンスを読み込んで、ユーザー数やページ遷移をPythonで集計するんですが、その処理が1時間経っても終わらず、PyCharmがうなっております・・・。そして、キーボードが暖かい。


今後、それなりの大きさのデータや多次元の最勾降下法など繰り返し計算するものもやっていくと予告されているので、速いコードを書けるようになるのは重要かもしれないです。


ただ、速くて短いコードを書けるって、センスの域も多分にあると思うんです。昔、ゼミの後輩で待ち行列のシミュレーションのコードを自分の3分の1の行で書いてきたやつがいて、「自分にはコードを書く才能はないなぁ」と感じたことを思い出しました。

とはいえ、宿題の締切もあるので、少しでも早いコードを書けるようにしたいものです。

と書いているうちに残り4万行！あと少しで終わりそうです。

Boot Campも折り返しだ！

明日で3週目が終わります。Boot Camp折り返しです。結構、早いなぁという印象です。毎日図書館で宿題をこなして寝るという毎日を土日関係なく繰り返しているような感じです。

備忘のため、ここまでの様子をまとめておこうと思います。

Boot Campでは、

①　Computation (主にPython)

②　Linear Algebra

③　Probability& Stats

④　Data Driven Business Strategy

の4科目から3科目受講します。実際は、Data Driven Business Strategyは全員必修なので、選べるのは3科目中2科目です。私は、ComputationとProbability&Statsを履修していますが、Linear Algebraも聴講しています。ほとんどの人は、履修していない科目も聴講しているので、結局ずーっと一緒にいます。

授業は結構ハード（スピード早い&宿題多い）です。毎週クイズがあるので、準備も必要です。聴講している科目でもクイズを受けるので（あんまり悪いと恥ずかしい）、結局全部宿題をやることになります。他のクラスメートも同じような感じです。

Linear Algebra

私は、聴講しているLinear Algebraが意外に苦戦中です。おそらく日本の教養科目でやる線形代数は、連立一次方程式を解く、行列式を計算できる、逆行列が求められる、固有値・固有ベクトルが求められるというのがスタンダードだと思います。各内容のコンセプトよりかは計算できることに

重きが置かれている印象です。

しかし、ここでの授業はコンセプトとそれを使いこなすことが求められているように感じます。クイズや宿題も幾何と行列の間の関係をクリアにできていて、各理論の内容を理解していることが求められています。ここが苦戦のポイントです。計算はできるけども、幾何の世界で考えていなかったので、「いったいなんのこっちゃ？？」みたいなものがあります（ただの勉強不足？）。

Probability&Stats

Probability&Statsは、大学で指導教官に鍛えてもらっていたので、そんなに辛くないです（英語の教科書を使っていたこともあって、英語の問題も少ないです）。これは感謝です。内容は、基本的な期待値、分散の計算から、最尤推定、信頼区間、仮説検定といったいわゆる統計学概論でやるようなことをざーっと流していきます。しいて言えば、もう少し微積の復習をしておくべきだったかと思っています。クイズ中に、arctanがわからず、先生に「what is arc?] と質問してしまいました（恥）。

Computation

主にPythonでプログラムを書いていきます。内容は結構幅広く、乱数の発生（Libraryや関数を使わずに）やツリー構造のサーチ（Breadth-first, depth-first)といったコンピュータサイエンスチックなものから、最近はNumpy, Scipy,を使って、Central Limite Theoremのシミュレーションやbootstrapといった統計っぽいものまで幅広いです。プログラミングは好きなので、純粋に楽しいです。もはや趣味です。

Data Driven Business Strategy

Business Strategyとなっていますが、主にはAnalyticsコースに関わる数学以外のことすべてについての概論です。Analyticsのプロセスと各テクニック（Hadoopとは？Machine　Learningとは？など）をざーっとみていきます。先生がコンサルティングもやっている方なので、実務上どうしているのかなどは聞きやすいですし、今予定されているゲストスピーカーも豪華です。

日本人は私以外いないので、もし興味持たれている方がいたら、質問などあったら、できる限りお答えしたいと思います。

1週間おわったー！

今日はHappy Friday! 最初の1週間が終わりました！

そして、一応、夏学期のBoot Campの授業すべて出そろいました。

どの授業も先生の教え方はうまいと思います。特に、Linear AlgebraとProbabilityは、あくまでデータを扱うことを前提に授業が進みますので、基礎的な内容ではあるものの、新鮮です。

たとえば、

行列A, B, C があったときに、 (AB)C = A(BC)　（掛け算の順番を変えても答えは同じとなる）

というのがあります。線形代数の初歩の初歩です。

しかし、授業では、

もし、Aがすかすかの超でかい行列（0ばっかり）, BとCが超でかい浮動小数点いっぱいの行列だったときに、どうかけたらメモリを節約できるか、早いかみたいな話をします。

BとCを最初にかけると、すごい大変ですが、ABを先に計算すれば、ABの計算結果もすかすかの行列になるので、こっちのほうが低コストだ！みたいな感じの説明がされます。

来週も楽しみです。

そして、これから、Shindigです！ビール買ってこなきゃ。

ではでは。

いよいよAnalyticsコース始まりました！

今週より、待ちに待ったAnalyticsコースが始まりました。7月から8月中旬は通常の大学であれば、夏休みですが、USFのAnalyticsでは、Boot Campと呼ばれる、線形代数、確率・統計、ビジネス・経済、プログラミングの基本を総復習するモジュールに充てられています。

これらは、大学で勉強した、もしくは実務で使っていたということが出願条件になっていますので、ここでつまずくということは、「おいおい、お前ちゃんと出願条件満たしてないじゃないか！！」ということになり、非常に厳しい状況に追い込まれます・・・。

なので、基本と言っても、気は抜けません。私の場合は、大学卒業したのもかなり前ですし・・・。

ということで、気合入れて頑張っていきたいと思います。