夕蛙のなく頃に

データアナリストとして学んだことや趣味で勉強し始めたIoTをアウトプットする

BigQueryで指定期間の月初・月末の日付シリーズを用意する

SQL

背景 集計で、一定期間の月末の日付シリーズが必要になりました。 月末を出すためには月初を出す必要があるので、一緒にまとめておこうと思います。 クエリイメージ 数字のシリーズを作成 --> 固定した日付に対して、1ヶ月後・2ヶ月後...と足していく クエリ…

BigQueryで日次・週次・月次集計する

以前PostgreSQLで日次・週次・月次集計する記事を投稿しました。 それのBigQuery版です。(StandardSQLを用います) blog.frogdusk.com テストデータ 2019/1/1から90日にわたって、日時がばらばらなデータを10,000行用意します。 SELECT DATETIME_ADD( DATETIM…

Selenium + Scrapy でJavaScriptを使ったサイトをスクレイピングする

アドベントカレンダーをリアルタイムで追っておらず、今更興味あるテーマを見ようと思いました。 adventarに登録されているカレンダー数が多かったので、記事投稿数が20以上のタイトルから探すべく、いざスクレイピング。 adventar.org JavaScriptが使われて…

2019年のブログ・Twitter活動を振り返る

なにこれ ブログ・Twitterを始めた2019年。その活動振り返りを遅くなりましたが残しておきます。 ブログ・Twitterの運用方針 アウトプットの練習として2019年3月にブログを始め、学んだログやTipsなどを記事にしてきました。 Twitterも同時期に作成し、積極…

PlotlyのSankeyDiagramでLinkの色をSourceに合わせる

なにこれ 前回こんな記事を書きました。 ユーザー行動フローをPlotlyのSankeyDiagramで可視化する - 夕蛙のなく頃に デフォルトだとリンクの色は全て灰色なので、青色のノードから伸びるリンクは青色に、という具合にリンクの色をSourceに合わせるよう修正を…

ユーザー行動フローをPlotlyのSankeyDiagramで可視化する

なにこれ どのアクションで離脱しやすいか・思ったような行動をユーザーがしてくれているかを把握するために、アプリ内のユーザーの遷移状態・行動フローを可視化したいです。 今回はその手段として、PlotlyのSankeyDiagramを使おうと思います。 コードはCol…

「詳解! GoogleAppsScript完全入門」を読みました

いざGoogle Apps Scriptの世界へ 最近ビジネス職の方々の既存の業務効率化のために、スプレで運用していたリスト管理やKPI可視化の自動化に取り組んでいます。 (データアナリストとしては本質的な仕事ではないと思いつつ、短期的にはインパクトが出るタスク…