夕蛙のなく頃に

データアナリストとして学んだことや趣味で勉強し始めたIoTをアウトプットする

Python

Selenium + Scrapy でJavaScriptを使ったサイトをスクレイピングする

アドベントカレンダーをリアルタイムで追っておらず、今更興味あるテーマを見ようと思いました。 adventarに登録されているカレンダー数が多かったので、記事投稿数が20以上のタイトルから探すべく、いざスクレイピング。 adventar.org JavaScriptが使われて…

PlotlyのSankeyDiagramでLinkの色をSourceに合わせる

なにこれ 前回こんな記事を書きました。 ユーザー行動フローをPlotlyのSankeyDiagramで可視化する - 夕蛙のなく頃に デフォルトだとリンクの色は全て灰色なので、青色のノードから伸びるリンクは青色に、という具合にリンクの色をSourceに合わせるよう修正を…

ユーザー行動フローをPlotlyのSankeyDiagramで可視化する

なにこれ どのアクションで離脱しやすいか・思ったような行動をユーザーがしてくれているかを把握するために、アプリ内のユーザーの遷移状態・行動フローを可視化したいです。 今回はその手段として、PlotlyのSankeyDiagramを使おうと思います。 コードはCol…

自分仕様にカスタマイズしたJupyter Notebookをdockerで構築する

モチベーション ローカルでJupyter Notebookを動かしていたが、常に素早く分析環境を構築できるようにDockerを使いたい。 ローカルでJupyter Notebookを使う際は、cssやextensions・起動時に読み込むファイルなど自分仕様にカスタマイズしている。 そのカス…

中心極限定理により正規分布に収束する様子をjupyterで描画する

中心極限定理とは 中心極限定理(ちゅうしんきょくげんていり、英: central limit theorem, CLT)は、確率論・統計学における極限定理の一つ。 大数の法則によると、ある母集団から無作為抽出した標本の平均は標本の大きさを大きくすると母平均に近づく。こ…

ラベルつき散布図をPlotlyで描画する

はじめに 普段seabornでグラフを作成することが多く、散布図もどこにデータが偏っているかを確認するために見ることが大半で、個別にラベルを付すことがありません。 ただビジネスの人と話をする際に、ラベル付きの散布図が必要となりました。 ex) 広告デー…