Excelでよく使われるピボットテーブルですが、Pythonのpandasでもできます。
Pandasでのピボットテーブル は、集計方法をカスタマイズすることが可能です。そのため、その会社独自の集計方法や、特殊な集計をすることができます。
データ集計、データ分析でよく使われるピボットテーブルをこの動画でぜひマスターをしましょう。
読み込む前の準備として概要欄に記載したキノコードのサイトにExcelファイルを用意しています。
それをダウンロードして、学習用のJupyter Labを保存しているフォルダにに保存してください。
それではパソコン画面に切り替えてレッスンを進めていきましょう。

▼目次
00:00 はじめに
00:47 Pandasのインポート
00:59 表示する列数・行数を変更
01:25 データフレームの読み込み
02:08 ピボットテーブルとは
03:36 ピボットテーブルの使い方
04:29 平均算出
04:51 小数点以下を省略
05:21 複数データの集計
05:58 欠損値Nanの置き換え
06:15 groupbyのような集計
06:38 合計列追加
07:09 複数の集計方法
07:24 独自の集計方法
08:43 pivotの使い方、pivot_tableとの違い
10:04 おわりに

▼関連動画
【Python超入門コース】12.関数 
   • 【Python超入門コース】12.関数 ｜関数を料理ロボットに例えて説明し...  

Pandas入門講座｜06.CSV・Excelファイルの読み込み・書き出し、データベースとの接続方法
   • Pandas入門講座｜06.PandasでCSV・Excelファイルの読み...  

▼おすすめ動画
Pythonで面倒なExcelの仕事を自動化しよう【第一弾】
   • Pythonで面倒なExcelの仕事を自動化しよう( 第一弾 )｜一瞬で仕...  

Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう
   • Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう｜...  

Pythonで面倒な「メール配信(Gmail)」の作業を自動化しよう
   • Pythonで面倒な「メール配信(Gmail)」の作業を自動化しよう｜一瞬...  

Python超入門コース ｜Pythonの超基本的な部分をたった1時間で学べます【プログラミング初心者向け入門講座】
   • Python超入門コース 合併版｜Pythonの超基本的な部分をたった1時...  

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし
import pandas as pd

まず、Pandasをインポートする記述を書きます。
「as」を使ってPandasを「pd」という名前で使えるようにしましょう。
実行します。

pd.options.display.max_rows = 10
pd.options.display.max_columns = None

表示する列数・行数を変更をします。
pd.options.displayで変更をしてみましょう。
pd.options.display.max_rowに10を代入します。
これで表示する行数を10行に変更することができます。
次に、表示する列数の変更をします。
max_columnsと書いて、Noneを代入します。実行します。
これで表示する列数・行数を変更ができました。

df = pd.read_excel('sample.xlsx',sheet_name='実績管理表')
df

続いてレッスンで使うデータを説明します。
前回と同じく、Excelデータを使います。
このデータはあるアパレル会社の販売データになります。
社員ごとに何をいくら売り上げたのかがわかります。
このExcelの中の実績管理表というシートを使います。
エクセルを読み取るにはread_excelメソッドを使います。このメソッドは、レッスン6で説明しています。
エクセルのシートを指定して読み取りましょう。
sheet_nameという引数に実績管理表を渡します。
実行してみましょう。
読み取れました。

pivot_tableのコードを書いていく前に、まずピボットテーブルとはなんでしょうか？
ピボットテーブルは、簡単にいってしまうとクロス集計表です。
クロス集計表とは、2つのカテゴリのデータを同時に集計したものです。
例えば、これは売上管理表の「氏名」と「商品分類」のカテゴリをもとに、売上を合計したものです。
確かに、2つのカテゴリのデータを同時に集計したものですよね。
クロス集計表のことをエクセルやPandasではピボットテーブルといっています。
ピボットとは軸という意味で、テーブルは表という意味です。
氏名や性別、商品分類、商品名などいろいろな軸を変えて、表にすることができるのでピボットテーブルといいます。
ピボットテーブルの便利なところはどんなところでしょうか？
例えば、前回のレッスンのgroupbyでは、氏名の列でグループ化をして合計や平均の集計ができます。
つまり、縦方向にデータを集計していました。
ピボットテーブルは、縦方向に加えて、横方向にも項目を追加して集計することができます。
つまり、2つのカテゴリのデータを一度にみることができ、それぞれのデータの違いが明確になります。
ピボットテーブル 、つまり、クロス集計は、データ分析ではシンプルだけど非常にわかりやすい分析手法です。
Pythonでのやり方をぜひマスターしてください。
それでは早速ソースコードをみていきましょう。

df_pivot = df.pivot_table(index='氏名', columns='商品分類',values='売上金額', aggfunc='sum')
df_pivot

それでは、氏名と商品分類で売上金額の合計を算出してみましょう。
dfドット、pivot_table丸括弧。引数indexに氏名、coluumnsに商品分類、valuesに集計するデータの売上金額を指定します。そしてaggfuncという引数が集計方法です。sumを渡して合計を算出します。
売上の集計であれば、valuesに売上金額を記述し、例えば、数量の集計であれば、valuesに数量。単価であればvaluesに単価を記述します。
そしてaggfuncという引数が集計方法です。sumを渡して合計を算出します。
実行します。
クロス集計表、ピボットテーブルができあがりました。

df_pivot = df.pivot_table(index='氏名',values='売上金額', aggfunc='sum')
df_pivot

ちなみに、columnsを設定せずにindexだけ設定すればgroupbyのような使い方ができます。
実行しましょう。
groupbyのような使い方ができますね。

df_pivot = df.pivot_table(index='氏名', columns='商品分類',values='売上金額', aggfunc='mean')
df_pivot

続きは文字書き起こしブログにて。

▼文字書き起こしブログ
https://kino-code.com/pandas_pivot_table/

#PythonとPandas #Pandas入門 #データ集計

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

INFORMATION

Pandas入門講座｜10.pivot_tableメソッドを使ってデータ集計する方法 【PythonのライブラリPandas】

＼キノコードが作ったプログラミング学習 サービス登場／

学んだ知識をその場でアウトプットできるからスキルの定着が実感できる
Python学習といえば、キノクエスト！

・問題数は充実の350問以上
・環境構築は不要！
・カリキュラムがあるので学習方法に迷わない

▼登録はこちら▼
https://kino-code.com/kq_service_a/?utm_source=youtube.com&utm_medium=referral&utm_campaign=6FGZD1mFpgw_gaiyou

ーーー

この動画では、Pandas入門コースについて説明します。「Pandasとは何か？」ということから説明します。目次は下記になります。

▼目次
00:00 はじめに
00:04 Pandasとは？
00:47 Pandasでできること
01:23 Pandas超入門コースを学習した方がよい対象者とその理由
02:41 Pandas超入門コースで扱うデータ

▼文字書き起こし
こんにちは。キノコードです。
みなさん、Pythonで、Excelやcsv操作、データ分析、グラフ化などができると聞いたことがありませんか？
でも、Pythonの基本を学んだことがある人はお分かりになると思いますが、Pythonの基本的なことを勉強しただけではこれらができませんよね。
じゃあ、どうやったらExcelやcsv操作、データ分析ができるようになるのでしょうか？
答えはPandasです。Pandasは、データ解析を支援する機能を提供するPythonのライブラリです。
ライブラリとはなんでしょうか？ライブラリとは、よく使う機能・関数をまとめて、簡単に使えるようにしたものです。
例えば、Pandasには、csvファイルを読み取るための機能や、Excelのデータを取り込む機能、データをグラフ化にする機能など、データ解析でよく使うものがまとめられています。つまり、Pandasを使えるようになれば、PythonでExcelやcsv操作、グラフ化ができるようになります。
また、ここ数年話題になっている人工知能はPythonで作られていることが多く、Pandasを使えるようになると、人工知能の開発で重要な「データの集計や加工」もできるようになります。
したがって、このPandas入門コースは、PythonでExcelやcsv操作、グラフ化、データの集計や加工など人工知能の技術など、これらのことを覚えたい方にはぴったりの内容です。
他にも、Pythonの基礎を勉強したけど、次に何を勉強したらいいかわからない方にもよいと考えます。
なぜなら、私自身が考えるプログラミングの上達方法は、動くものや使えるものを作ることが最短の上達方法だと考えるからです。
Pythonだけでは、この成果物を作ることはなかなか難しいです。
でも、Pandasを覚えれば、実際に使えるものを作れるようになります。
そのため、PythonとPandasを覚えれば、仕事で使えるものを作ることも可能になります。
Pythonでは、プログラムを実行するだけで、作業が終わります。
つまり、圧倒的に業務効率化をすることも可能です。
仕事での評価は、成果をあげるか、業務効率化をするかのどちらかです。
業務効率化や自動化ができれば、会社での評価もあがることでしょう。
また、プログラミングを勉強したことのないノンプログラマーの方にもおすすめです。
Pandas入門コースで扱うデータは、政府が発表している「1920年から2015年までの全国の人口推移のデータ」を使ってレッスンを進めていきます。
これらのデータを使いながら、Pandasでよく使われる操作を基礎から説明します。
リアルなデータを使っているので、ノンプログラマーの方でも仕事で活用へのイメージがしやすいと思います。
したがって、エクセルのほかにプログラミングの武器を身に付けたい方、キャリアアップのためにプログラミングを覚えたい方、エクセルではできないような大量データや自動化をしてさらに仕事を効率化したい方。
そういったノンプログラマの方にもPandas入門コースは、おすすめの内容です。
Pandas入門コースは、プログラミング初心者の方にもわかりやすいように丁寧な説明を心がけました。
また、ストレスなくみれるように、編集で無駄な部分もカットしています。
さらに、復習しやすいように、動画の内容をそのまま書き起こしてウェブサイトに記事化していますし、レッスンで使ったプログラムのソースコードもウェブサイトで無料で公開しています。
それらを活用しながら、最後までレッスンにお付き合いください。
また、このチャンネルでは、PythonやPandasのレッスン動画、他にも、Pythonを使っての業務効率化や完全自動化などの動画をどんどん配信しています。
新しい動画が更新されたときに通知がいくように、復習をする時に動画がどこにいったかわからなくならないようにチャンネル登録をお願いします。
それでは、次の動画からレッスン開始です。それでは、いってみましょう！

▼書き起こしブログ
https://kino-code.com/pandas_course_introduction/

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート
※転職5回。司法試験の失敗後、非正規雇用の年収240万から750万にした経験あり。

▼Twitter
https://twitter.com/kino_code/likes

▼Facebook
https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

#Pandas #Python #プログラミング入門

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門｜01.コース紹介｜Excelやcsv操作、データ分析、グラフ化などができるPythonのライブラリの使い方を初心者向けに解説【プログラミング初心者向け】

この動画では、pandasのmap, applymap, applyについて学びます。
これまでのレッスンでは、作成したデータフレームを並び替えたり、集約や集計、結合の方法を学んできました。
これだけでもデータ解析の前処理、簡単な分析あればできるでしょう。
ですが、もっと細かくデータ前処理をしたい場合、データフレーム全体に関数を適用させたり、文字列操作をしたい場面が出てくると思います。
そういったときに役立つのがmapやapplymap,applyです。
それでは、いってみましょう！

▼目次
00:00 はじめに
01:36 数値Seriesとmapメソッド
06:05 文字列Seriesとmapメソッド
09:30 数値Seriesとapplyメソッド
11:48 文字列Seriesとapplyメソッド
12:59 数値DataFrameとapplymapメソッド
16:09 文字列DataFrameとapplymapメソッド
16:49 数値DataFrameとapplyメソッド
20:23 文字列DataFrameとapplyメソッド
21:08 まとめ
23:22 おわりに

▼関連動画
Pandas入門｜05.シリーズ (Series) とは【Pythonの必須ライブラリのPandasを初心者にわかりやすく解説】
   • Pandas入門｜05.シリーズ (Series) とは【Pythonの必...  

【Python超入門コース】12.関数 ｜関数を料理ロボットに例えて説明しました【プログラミング初心者向け入門講座】
   • 【Python超入門コース】12.関数 ｜関数を料理ロボットに例えて説明し...  

▼おすすめ動画
Pythonで面倒なExcelの仕事を自動化しよう【第一弾】
   • Pythonで面倒なExcelの仕事を自動化しよう( 第一弾 )｜一瞬で仕...  

Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう
   • Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう｜...  

Pythonで面倒な「メール配信(Gmail)」の作業を自動化しよう
   • Pythonで面倒な「メール配信(Gmail)」の作業を自動化しよう｜一瞬...  

Python超入門コース ｜Pythonの超基本的な部分をたった1時間で学べます【プログラミング初心者向け入門講座】
   • Python超入門コース 合併版｜Pythonの超基本的な部分をたった1時...  

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし
詳しい説明に入る前に、少しだけ整理してから進めていきたいと思います。
それではパソコン画面に切り替えてレッスンを進めていきましょう。
Pandasのシリーズで使えるのがmap,applyです。
使い分けのイメージをこのように一覧にしてみました。
これらを具体的な例で説明していきます。
そして、データフレームで使えるのがapplymap,applyです。
こちらも使い分けのイメージを一覧にしました。
同様に具体的な例で説明します。また、できること、できないことなども比較します。
使い方も似ているので、どの場面でどれを使うのがいいのか迷うことがあると思います。
実用イメージがしやすいように様々なパターンを紹介しますので、動画の最後にはまとめもありますので、参考にして、ぜひ実践に活用してください。

import pandas as pd
import numpy as np

はじめに、PandasとNumPyをインポートします。
NumPyは、Pythonで高速に数値の計算をするために様々な数学関数を提供するライブラリです。

s1 = pd.Series([7000, 5000, 23000, 2500, 12000])
s1

それでは、シリーズを作成してmapの使い方をみていきましょう。
変数s1に、5つの要素のシリーズを代入します。実行します。
このようなデータです。商品単価をイメージして作成しています。
まずはこのシリーズの値を、全て2倍にしてみましょう。

s1 * 2

レッスン5のSeriesでは、このように記述しました。
2倍にするだけであれば、こうやって計算することは簡単です。

def double(x):
    return x * 2

では、mapメソッドを使って、シリーズを2倍にしてみましょう。
mapメソッドは、シリーズ全ての要素に同じ関数を適用したいときに使います。
シリーズを2倍にする関数を作って、適用させてみましょう。
まずは、「数値を2倍にする」という関数を作ります。
関数の作り方は、Python超入門コースのレッスン12で説明しています。詳しく知りたい方は、今右上に出ているカードをクリックしてください。
関数を作るには、def　関数名です。関数名をdoubleとします。ここで引数を渡すと、かける2になる関数を作ります。

s1.map(double)

作った関数を、mapメソッドで適用させてみましょう。
シリーズ　ドットmap、丸括弧には適用させたい関数を渡します。作成したdoubleを記述しましょう。
実行します。
全ての値が2倍になりました。

s1.map(lambda x: x * 2)

このようなシンプルな関数の場合や、何度も呼び出して使用しない関数は、defで宣言せずに関数を作ることができます。
名前のない関数で無名関数と言い、ラムダ式という方法です。
mapやあとで説明するapply,applymapとセットで使う場面が多いので簡単に使い方を説明します。
詳しい説明はPython入門で説明しますので、少々お待ちください。
では、先ほどと同様に、シリーズ全体を2倍にしてみましょう。
sドットmapで、カッコの中は関数でしたね。ここにラムダ式の関数を書きます。
lambda半角スペース、そして引数 xです。コロンに続けて、計算したい内容を書きます。2倍にするので x* 2です。
ここでxを使用しましたが、xでもyでも、ここでしか使わない変数なのでなんでもよいです。
コロンの左が引数、右を返り値と言います。
なので、xにシリーズそれぞれの要素が代入され、x * 2を計算した結果が返されます。
実行します。シリーズ全体の要素に2倍になる式を適用できました。
ラムダ式は、さっと計算したいときに便利です。

今度はラムダ式で、if文を試してみましょう。
s1.mapで適用させたい関数として、ラムダ式で条件を書きます。
10000より小さければ「1万円以上」、それ以外は「1万円未満」と表示する条件です。
実行してみましょう。if条件も適用することができました。

続きは文字書き起こしブログにて。

▼文字書き起こしブログ
https://kino-code.com/pandas_function/

#PythonとPandas #Pandas入門 #Pandas使い方

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門講座｜14.SeriesやDataFrameに関数を適用する方法(map, apply, applymapメソッド)【PythonのライブラリPandas】

この動画では、時系列データ処理について学びます。
時系列データとは、時間を軸に記録されたデータの集まりです。
時系列データの代表的なものには、人口推移のデータや気温や湿度などの気象データ、株価のデータなどがあります。
Pandasでは、データフレームのインデックスを日付型にすることで時系列データとして扱えるようになります。
こうすることで、指定した日数での集計、月末だけの集計、週次や月次の集計などが簡単にできます。
株価などの経済データを好きな期間で分析することもできますし、移動平均や指標となる数値を追加すればさらに深い分析まで可能になります。
それでは、いってみましょう！

▼目次
00:00 はじめに
01:14 準備
01:43 データの読み込み
03:47 時系列データへの変換
07:04 時系列データの抽出
07:44 時系列データの集計
09:34 曜日ごとの集計

▼関連動画
Pandas入門講座｜06.CSV・Excelファイルの読み込み・書き出し、データベースとの接続方法【PythonのライブラリPandas】
   • Pandas入門講座｜06.PandasでCSV・Excelファイルの読み...  

▼おすすめ動画
Pythonで面倒なExcelの仕事を自動化しよう【第一弾】
   • Pythonで面倒なExcelの仕事を自動化しよう( 第一弾 )｜一瞬で仕...  

Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう
   • Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう｜...  

Pythonで面倒な「メール配信(Gmail)」の作業を自動化しよう
   • Pythonで面倒な「メール配信(Gmail)」の作業を自動化しよう｜一瞬...  

Python超入門コース ｜Pythonの超基本的な部分をたった1時間で学べます【プログラミング初心者向け入門講座】
   • Python超入門コース 合併版｜Pythonの超基本的な部分をたった1時...  

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし
準備
import pandas as pd

Pnadasをインポートする記述をします。

pd.options.display.max_rows = 10
pd.options.display.max_columns = None

次に見やすさの観点から、表示する列数、行数を変更しましょう。
pd.options.display.max_rowsで行数を10行に、pd.options.display.max_columnsで列数は無制限に設定します。
実行します。
これで準備ができました。

データの読み込み
df = pd.read_csv('sample.csv', encoding='utf-8',header=[0])
df

それでは使用するデータを見てみましょう。
ダウンロードいただいた2つのcsvファイルは、アパレル会社の販売データです。
sample.csvは、実績管理表で、社員ごとに何をいくら売り上げたのかがわかります。
もう1つのsample02.csvも同じく実績管理表ですが、異なるのは売上日の入力方法です。
sample.csvの売上日は、このように「/」で区切られています。一方のsample02.csvは、売上日は「年月日」の表記です。
まずはsample.csvファイルを読み込みます。
csvファイルの読み込みには、レッスン6で説明した「read_csvメソッド」を使います。
1行目に項目の行があるので、これをカラム名として読み込めるよう、引数headerに0を指定します。
読み込んだデータを変数dfに代入して、表示してみましょう。実行します。
データを読み込むことができました。
それでは、読み込んだ売上管理表のデータフレームを使って、pandasで時系列データを扱う方法を見ていきましょう。

df.info()

このデータフレームの情報を確認してみましょう。
列に売上日、社員番号などの項目が、行にインデックス番号が付与されています。
インデックスは、RangeIndexです。これは、読み込んだときに自動でできたインデックス番号0123...のことです。
また、データ型は売上日から商品名までがobject、文字列で、単価、数量、売上金額はint64の数値型であることがわかります。
このままでは、これまでのレッスンで見てきたデータフレームと変わりません。
時系列データとして扱うためには、データフレームのインデックスが日時のデータになっている必要があります。
データには、売上日という日付のカラムがあります。
このカラムを、インデックスに変更してみましょう。

時系列データへの変換
df['売上日'] = pd.to_datetime(df['売上日'])
df['売上日'])

まず、売上日の列が文字列になっているので、日時型に変換します。
データ型の変換では、astype関数を使ってきましたが、ここではPandasのto_datetime関数を使います。
to_datetime関数にカラム名の売上日を渡します。表示もしましょう。実行します。
見た目はハイフン表示であまりわかりませんが、データ型がdatetime64[ns]となりました。
datetime64[ns]とは、日時型のひとつで、Pandasで時系列データを扱うのに適したデータ型です。
このように、to_datetime関数で、スラッシュやハイフンを使って日付として入力されたデータはdatetime64[ns]に変換されます。
次に、日時のデータ型になった売上日をインデックスに指定しましょう。

df_2 = df.set_index('売上日')
df_2

すでにあるカラムをインデックスに指定するには、set_index関数を使います。
df.set_index、丸括弧の中にインデックスにしたいカラム名を渡します。これを変数df_2に代入します。
実行します。インデックスが売上日になりました。

df_2.info()

では、変更したデータフレームの情報を見てみましょう。
このように、インデックスがDatetimeIndexに変わりました。
これで時系列データを扱う準備ができました。

df02 = pd.read_csv('sample02.csv', encoding='shift-jis',header=[0])
df02

次に、sample02.csvも読み込んでみましょう。先ほどと同様、1行目をカラムにして読み込みます。実行します。
このように、売上日は年月日の表記です。

df02.info()

このデータフレームの情報を見てみましょう。

df02['売上日'] = pd.to_datetime(df02['売上日'])

売上日のデータ型は、objectの文字列です。時系列データとして扱うには、先ほどと同様にデータ型を日付の型に変換する必要があります。
to_datetimeで変換してみましょう。
エラーになりました。年月日の表記では変換できません。

df02['売上日'] = pd.to_datetime(df02['売上日'], format='%Y年%m月%d日')
df02['売上日']

このような場合は、formatで日付の形式を記述することで変換できるようになります。実行してみましょう。
年月日の表記でも日時のデータ型に変換できました。
このデータフレームも、売上日をインデックスに指定すれば、時系列データとして扱えるようになります。

df = pd.read_csv('sample.csv', encoding='utf-8', header=0, parse_dates=True,index_col='売上日')
df

ここまで、読み込んだデータフレームから日時カラムをインデックスに指定する方法を説明しました。csvを読み込む時点でもこの設定が可能です。
引数parse_datesにTrueを渡し、引数index_colで列名を指定します。
引数parse_datesは、読み込みと同時に日時の列はto_datetime() で変換する引数です。予めデータがわかっている場合は列名をリストで渡しても変換できます。
実行します。
インデックスが売上日のデータフレームができました。
さて、これで時系列データを扱う準備ができました。

続きは文字書き起こしブログにて。

▼書き起こしブログ
https://kino-code.com/pandas_chronological_order/

#PythonとPandas #Pandas入門 #Pandas使い方

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門講座｜13.Pandasで時系列データを扱う方法【PythonのライブラリPandas】

この動画では、Pandasのデータフレームの結合方法について学びます。
結合とは、2つのデータフレームをくっつけることです。
Pandasによる結合の方法はいくつかありますが、ここではmergeメソッドについて説明します。
mergeメソッドは、SQLのjoinやExcelのVlookupと似ています。
それでは、データフレーム同士を結合する方法をみていきましょう！

▼目次
00:00 はじめに
01:06 データフレームの作成
01:59 mergeメソッドで同じ名前のカラムをキーにデータフレームを結合する方法
02:33 重複するカラム名がある場合に、任意の名前を指定する方法
03:35 異なるカラム名をキーにデータフレームを結合する方法
04:16 複数のキーでデータフレームを結合する方法
05:38 結合の種類を変更する方法
08:53 インデックスをキーにデータフレームを結合する方法
09:34 結合結果をソートする方法
09:51 concat関数とmergeメソッドの違いについて
10:32 おわりに

▼関連動画
Pandas入門｜04.データフレーム (DataFrame) とは｜データフレーム作成、インデックスやカラムの変更方法、データ操作
   • Pandas入門｜04.データフレーム (DataFrame) とは｜デー...  

▼おすすめ動画
Pythonで面倒なExcelの仕事を自動化しよう【第一弾】
   • Pythonで面倒なExcelの仕事を自動化しよう( 第一弾 )｜一瞬で仕...  

Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう
   • Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう｜...  

Pythonで面倒な「メール配信(Gmail)」の作業を自動化しよう
   • Pythonで面倒な「メール配信(Gmail)」の作業を自動化しよう｜一瞬...  

Python超入門コース ｜Pythonの超基本的な部分をたった1時間で学べます【プログラミング初心者向け入門講座】
   • Python超入門コース 合併版｜Pythonの超基本的な部分をたった1時...  

▼書き起こしブログ
https://kino-code.com/pandas_merge/

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

#PythonとPandas #Pandas入門 #Pandas使い方

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門講座｜11.mergeメソッドでデータフレーム同士を結合する方法【PythonのライブラリPandas】

この動画では、SeriesやDataFrameの特定の列や行、あるいは特定の条件に一致するデータを抽出する方法について説明します。初心者の方でもわかりやすいように丁寧な解説を心がけました。目次は下記になります。

▼目次
00:00 はじめに
01:20 Pandasのインポート
01:39 表示する列数・行数を変更
02:24 データフレームの読み込み
03:00 インデックス番号の振り直し
03:38 DataFrameをスライスでデータ抽出
05:07 列名を指定したDataFrameをスライスでデータ抽出
06:47 条件に一致する行のみデータ抽出
07:34 条件に一致する行のみデータ抽出（文字列）
07:59 条件に一致する行のみデータ抽出（10の倍数）
08:48 条件に一致しない行のみデータ抽出（Not演算子）
09:11 条件に一致しない行のみデータ抽出（不等価演算子）
09:32 and条件
09:58 or条件
11:04 特定の条件でデータ抽出するqueryメソッド
12:53 特定の条件でデータ抽出するqueryメソッド（or条件）
13:16 特定の条件でデータ抽出するqueryメソッド（and条件）
13:37 特定の値に一致するデータ抽出するisinメソッド
14:15 特定の値に一致するデータ抽出するisinメソッド（複数条件）
14:31 特定の値を含むデータを抽出するcontainsメソッド
16:03 特定の値から始まるデータを抽出するstartswithメソッド
16:21 特定の値から始まるデータを抽出するendswithメソッド
16:34 maxメソッドを使ったデータ抽出
17:05 locメソッドを使ったデータ抽出
17:46 確認問題

▼訂正
05:14 誤）Pandas4 Series ➡ 正）pandas5 Series

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化などの開発 & コンサルティング）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook : https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/
Website : https://kino-code.com/

▼書き起こしブログ
この動画では、DataFrameの特定の列や行、あるいは、特定の条件に一致するデータを抽出する方法を学んでいきます。
データの前処理や分析をする時、特定の行や条件に一致したものだけを抽出したい場面が多くあると思います。
この動画では、色々なデータ抽出の方法をみていきますなので、この動画の内容を習得すれば、さまざまなデータ抽出の場面で役に立つでしょう。
また、Pythonはプログラミング言語などでカスタマイズが可能、できないデータ抽出はないといっても過言ではないでしょう。
さらに、前のレッスンで学んだエクセルのデータを取り込んだり、Databaseと接続をしてデータ抽出を自動化しても良いでしょう。
頑張って最後までご視聴ください。
読み込む前の準備として概要欄に記載したキノコードのサイトにCSVファイルを用意しています。
それをダウンロードして、学習用のJupyter Labを保存しているフォルダにに保存してください。
それではパソコン画面に切り替えてレッスンを進めていきましょう。

Pandasインポート
import pandas as pd
それでは、Pandasをインポートするところから始めていきましょう。
まず、Pandasをインポートする記述を書きます。
「import pandas as pd」を書きます。
「as」は、ライブラリ名（pandas）を好きな名前で使うことができます。
したがって、この記述により「pandas」を「pd」という名前で使うことができます。
エラーにならず、インポートが完了しました。

表示する列数・行数を変更
pd.set_option('display.max_columns', None) # 最大表示列数
pd.set_option('display.max_rows', 5) # 最大表示行数
次に、表示する列数・行数を変更します。
データフレームでは、列のことをcolumn、行のことをrowといいます。
今回は表示させる列数は制限なし、行数を5と設定します。
「pd.set_option」を書きます。
次に、丸括弧を書いて、シングルクォーテーションを書きます。
シングルクォーテーションの中に、「display」を書いて、ドット、「max_columns」と書きます。
最後に、表示させる列数を書きます。今回は制限なしなのでNoneとします。
行数の記述も同様に、先ほどの列数の記述の「max_columns」の箇所を「max_rows」に置き換えて記述すればOKです。行数は5としましょう。

データフレームの読み込み
df = pd.read_csv('data.csv',encoding='shift-jis')
df
続いてレッスンで使うデータを説明します。
このレッスンでも、今までのレッスンで使った、政府が発表している「1920年から2015年までの全国の人口推移のデータ」を使います。
csvファイルには、和暦や西暦ごと、各都道府県ごとに人口推移のデータが記述されています。
read_csv関数を使って、csvファイルを読み込みます。
read_csv関数の使い方を忘れた方は、レッスン06を復習してください。
それでは、実行してみましょう。
csvファイルを読み取ることができました。

インデックス番号の振り直し
df.index = df.index + 1
df
次に、レッスンをわかりやすくするためにインデックス番号を振ります
indexを使って列に番号を振り直しましょう。
indexは0始まり、0,1,2,3と増えていきます。したがって、すべてのインデックスに1を足せば、1,2,3,4というインデックスになります。
df.indexと書いて、プラスを書いて1を書きます。これですべてのインデックスに1が足せます。
これを再度、df.indexに代入をします。
結果を見てみましょう。
列の一番左にインデックス番号が1から順に振られました。
※続きは文字書き起こしブログで

▼文字書き起こしブログ
https://kino-code.com/pandas_course_data_extraction/

▼使用データについて
出典：政府統計の総合窓口(e-Stat)
https://www.e-stat.go.jp/

#Pandas #使い方 #入門

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門講座｜07.DataFrameのデータ抽出の方法【PythonのライブラリPandas】

＼キノコードが作ったプログラミング学習 サービス登場／

学んだ知識をその場でアウトプットできるからスキルの定着が実感できる
Python学習といえば、キノクエスト！

・問題数は充実の350問以上
・環境構築は不要！
・カリキュラムがあるので学習方法に迷わない

▼登録はこちら▼
https://kino-code.com/kq_service_a/?utm_source=youtube.com&utm_medium=referral&utm_campaign=XfoYeWCzjac_gaiyou

ーーー

この動画は全14回のPandas入門講座を1本にまとめたものです。
Pandasの基本的なことを3時間で学べます。
Python超入門コースを終わられた方や、Pythonを使ってデータ集計や加工、データの前処理を勉強したい方に最適です。

▼目次
00:00:00 コース紹介
00:04:01 JupyterLabの使い方〜プログラムの記述や実行、表やグラフも表示できるPythonユーザーに人気のツール
00:16:19 Pandasとは〜できることや使い方
00:31:03 DataFrameとは〜データフレーム作成、インデックスやカラムの変更方法、データ操作
00:49:48 Seriesとは〜シリーズの作成方法、データの抽出、四則演算
01:04:51 ファイルの読み込み・書き出し〜CSV・Excelファイルの読み込みと書き出し、データベースとの接続方法
01:22:24 データの抽出方法〜特定の列や行、特定の条件に一致するデータの抽出
01:39:33 データの並び替え〜小さい順・大きい順の並び替え、複数列の並び替え
01:49:10 groupbyでのデータ集計〜カテゴリごとの合計や平均の集計方法
02:00:10 pivot_tableでのデータ集計〜集計方法をカスタマイズできる
02:10:10 mergeでのデータフレームの結合〜データフレーム同士の結合方法
02:20:37 concatでのデータフレームの結合〜データフレーム同士の縦結合など
02:29:29 時系列データの扱い方〜指定した日数での集計、月末だけの集計、週次や月次の集計
02:40:41 map,apply,applymapの使い方＾SeriesやDataFrameに関数を適用する方法

▼文字書き起こし&ソースコードや使用するファイルは下記ブログから
Pandas入門コース#01 Pandasのコース紹介(https://kino-code.com/pandas_course_introduction/)
Pandas入門コース#02 Jupyter Labの使い方(https://kino-code.com/pandas_course_jupyter_lab/)
Pandas入門コース#03 Pandasとは?(https://kino-code.com/pandas_course_pandas/)
Pandas入門コース#04 DataFrameとは(https://kino-code.com/pandas_course_dataframe/)
Pandas入門コース#05 Seriesとは(https://kino-code.com/pandas_course_series/)
Pandas入門コース#06 CSV・Excelファイルの読み込み・書き出し、データベースとの接続方法( https://kino-code.com/pandas_course_read_write/ )
Pandas入門コース#07 データ抽出の方法(https://kino-code.com/pandas_course_data_extraction/)
Pandas入門コース#08 データの並び替えの方法 (https://kino-code.com/pandas_sort/)
Pandas入門コース#09 データ集計（groupby）の方法 (https://kino-code.com/pandas_groupby/)
Pandas入門コース#10 データ集計（pivot_table）の方法 (https://kino-code.com/pandas_pivot_table/)
Pandas入門コース#11 データの結合方法(merge)(https://kino-code.com/pandas_merge/)
Pandas入門コース#12 データフレームの結合方法（concat）(https://kino-code.com/pandas-concat/)
Pandas入門コース#13 時系列データの扱い方(https://kino-code.com/pandas_chronological_order/)
Pandas入門コース#14 SeriesやDataFrameに関数を適用する方法(map, apply, applymapメソッド)(https://kino-code.com/pandas_function/)

▼おすすめの動画
Python超入門コース
   • Python超入門コース 合併版｜Pythonの超基本的な部分をたった1時...  

Pandas入門コース（再生リスト）
   • Pandas入門コース｜プログラミング初心者向け講座  

Python×仕事自動化（再生リスト）
   • Pythonで面倒な仕事を自動化しよう  

理屈はさておき、Dockerを使って、あっという間にPythonのデータ分析の環境構築をする
   • 理屈はさておき、Dockerを使って、あっという間にPythonのデータ分...  

Pythonで株価のデータ分析
   • Pythonで株価のデータ分析｜株価分析を通してPythonでのデータ分析...  

▼自己紹介
現在：フリーランス
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook : https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/
Website : https://kino-code.com/

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

▼タグ
#Python #Pandas #プログラミング

Pythonの便利ライブラリ「Pandas入門講座」合併版｜Pandasの基本的なこと3時間で学べます【Python超入門コースの次におすすめの入門講座】

＼キノコードが作ったプログラミング学習 サービス登場／

学んだ知識をその場でアウトプットできるからスキルの定着が実感できる
Python学習といえば、キノクエスト！

・問題数は充実の350問以上
・環境構築は不要！
・カリキュラムがあるので学習方法に迷わない

▼登録はこちら▼
https://kino-code.com/kq_service_a/?utm_source=youtube.com&utm_medium=referral&utm_campaign=Xi6GqT9SD-k_gaiyou

ーーー

この動画では、CSV・Excelファイルの読み込み・書き出し、データベースとの接続方法について説明します。初心者の方でもわかりやすいように丁寧な解説を心がけました。目次は下記になります。

▼目次
00:00 はじめに
01:03 Pandasインポート
01:21 csvファイルをデータフレームとして読み取る方法
03:30 csvファイルのカラム名を変更してデータフレームとして読み取る方法
03:56 csvファイルのインデックスを指定してデータフレームとして読み取る方法
04:49 csvファイルの複数のインデックスを指定して読み取る方法
06:39 データフレームをcsvファイルに書き出す方法
07:20 Excelファイルをデータフレームとして読み込む方法
07:52 行をスキップしてExcelファイルをデータフレームとして読み込み方法
08:28 カラム名を指定してExcelファイル読み込む方法
09:51 インデックスを指定してExcelファイル読み込む方法
10:22 行スキップ、インデックス指定して読み込む方法
11:33 データフレームをExcelファイルに書き出す方法
12:18 クリップボードのデータをデータフレームとして読み込む方法
12:51 Pandasでデータベース接続する方法
13:46 Pandasでデータベースを作成する方法
15:35 Pandasでデータベースのテーブルからデータを取得する方法
16:06 WHERE句を使ったSQL文
16:48 大量データの扱い方
18:03 確認問題

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし

この動画では、Pandasでのcsvファイル、Excelファイル、データベースからのデータの読み込み、書き出しの方法を説明します。
これらの方法を覚えると、色々なファイル形式から、Pandasのデータフレームに読み込むため、データ集計や加工などの前処理の効率化ができます。
また書き出しもできるため、自動でExcelなどでレポート作成が可能です。
さらには、データベースとの接続もできるので大量データを扱うことも可能です。
読み込む前の準備として概要欄に記載したキノコードのサイトにCSVファイルやExcelを用意しています。それをダウンロードして、学習用のJupyter Labを保存しているフォルダにに保存してください。
それではパソコン画面に切り替えてレッスンを進めていきましょう。

Pandasインポート
import pandas as pd
それでは、Pandasをインポートするところから始めていきましょう。
まず、Pandasをインポートする記述を書きます。
「import pandas as pd」を書きます。
「as」は、ライブラリ名（pandas）を好きな名前で使うことができます。
したがって、この記述により「pandas」を「pd」という名前で使うことができます。
エラーにならず、インポートが完了しました。

csvファイルを読み取る
pd.set_option('display.max_rows', 10)
Pandasでは、csvファイルを読み込んだときに、表示する行や列数を指定することができます。
例えば、DataFrameのすべての行を表示させるJupyter Notebookが見づらくなります。
したがって、表示させる行数を10としましょう。
まず、「pd.set_option」を書いて、丸括弧、シングルクォーテーションを書きます。
そして、シングルクォーテーションの中に、「display」、ドット、「max_rows」を書きます。
最後に、表示させる行数を書きます。
今回は10行としましょう。
ちなみに、全ての行を表示するとしたら、行数をNoneに設定します。
実行します。
なお、表示させる行を指定する方法として、headメソッドやtailメソッドもありますが、その都度記述するのは手間な場合はset_opitionを使うといいでしょう。
df = pd.read_csv('data.csv', encoding = 'shift-jis')
df
次に、pandasの関数を使ってcsvファイルを読み取る方法を説明します。
読み取る方法を説明する前に、このレッスンで使うcsvファイルの説明をします。
このレッスンでも、今までのレッスンで使った、政府が発表している「1920年から2015年までの全国の人口推移のデータ」を使います。
csvファイルには、和暦や西暦ごと、各都道府県ごとに人口推移のデータが記述されています。
それでは、csvファイルを読み取る方法を説明します。
read_csv関数を使って、csvファイルを読み込んでいきます。
まず、データフレームが入る変数dfを書いて、イコール、pd、read_csv関数を書きます。
丸括弧の中に、シングルクォーテーション、読み込むファイル名を書きます。
encodingの引数で、文字コードを指定することができます。
今回は、shift-jisを指定します。他にもutf-8なども指定できます。
それでは、実行してみましょう。
csvファイルを読み取ることができました。
※続きは文字書き起こしブログで

▼文字書き起こしブログ
https://kino-code.com/pandas_course_read_write/

▼使用データについて
出典：政府統計の総合窓口(e-Stat)
https://www.e-stat.go.jp/

出典：気象庁ホームページ（https://www.data.jma.go.jp/obd/stats/etrn/）

#PythonとPandas #PythonとExcel #PythonとCSV

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門講座｜06.PandasでCSV・Excelファイルの読み込み・書き出し、データベースとの接続方法【PythonのライブラリPandas】

＼キノコードが作ったプログラミング学習 サービス登場／

学んだ知識をその場でアウトプットできるからスキルの定着が実感できる
Python学習といえば、キノクエスト！

・問題数は充実の350問以上
・環境構築は不要！
・カリキュラムがあるので学習方法に迷わない

▼登録はこちら▼
https://kino-code.com/kq_service_a/?utm_source=youtube.com&utm_medium=referral&utm_campaign=iTAgip9aaTY_gaiyou

ーーー

この動画では、jupyter Labの使い方について説明します。初心者の方でもわかりやすいように丁寧な解説を心がけました。目次は下記になります。

▼目次
00:00 はじめに
00:08 Jupyter Labとは？
03:25 Jupyter Labの起動方法
04:05 Jupyter Labでのフォルダの作成方法
04:52 Notebookの作成、削除、名前の変更
06:54 notebookのプログラムの書き方と実行方法
08:22 マークダウン記法、コメントアウトの書き方
09:13 ノートブックの保存方法
09:46 コード補完
10:38 拡張機能のVariable Inspector
11:16 pyファイルへの変換方法
12:13 Jupyter Labの終了

▼関連動画
理屈はさておき、Dockerを使って、あっという間にPythonのデータ分析の環境構築をする｜WindowsとMacの説明あり(   • 理屈はさておき、Dockerを使って、あっという間にPythonのデータ分...  )

▼ターミナルでVariable Inspectorを使うために入力する内容
「jupyter labextension install @lckr/jupyterlab_variableinspector」

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし
こんにちは。キノコードです。
この動画では、Jupyter Labの使い方について学びます。
Jupyter Labとはなんでしょうか？
Jupyter Labは、プログラムの実行環境のことです。つまり、プログラムを実行できるツールのようなものです。
つまり、大きなくくりでいうと、キノコードのPython超入門コースで使ったVSCodeと同じようなものです。
ただし、VSCodeと違う点も多くあります。
例えば、Jupyter Labは、プログラムの記述と実行をGoogleCromeなどのブラウザ上で出来ることです。
Pythonの超入門コースでは、VSCodeを使ってレッスンを進めていきましたよね。
VSCodeはアプリケーションです。Jupyter Labはブラウザを使います。この点が大きく違う点です。
また、VSCodeでは、プログラミングを実行する時に、pythonと書いて、pythonのファイル名を記述して実行をしてきました。
そして、その実行結果は、VSCodeのターミナルに表示されていました。
一方、Jupyter Labでは、プログラミングの記述や実行を、GoogleCromeなどのブラウザ上でできます。
またプログラムの実行方法は、プログラムを書いてShiftとEnterだけで実行できます。
さらには、1行ずつプログラムを実行・確認することができます。
つまり、Jupyter Labは、対話的に開発を進めることができるので、対話型実行環境とも呼ばれています。
またJupyter Labは、プログラミングだけではなく、プログラムの実行結果や、表やグラフを表示させたり、マークダウン記法で文章を書くこともできます。
したがって、グラフや文章を交えながら、Jupyter Labだけで上司や同僚にプレゼンすることもできます。
私もJupyter Labを使ってプレゼンをすることが多いです。
また、Jupyter Labが登場する前は、Jupyter Notebookと言われるものがスタンダートとして使われていました。
Jupyter Labは、Jupyter Notebookの進化版なので便利で使える機能が多く追加されました。
そのため、今後は、Jupyter LabはPythonでデータ分析や人工知能開発をする方々のスタンダードになっていくことが予想されます。
このPandas入門コースでは、そのJupyter Labを使ってレクチャーを進めていきます。
そこで、Pandasの実際の使い方の説明に入る前に、Jupyter Labの使い方について説明していきます。
なお、Jupyter Labを使うには、Anacondaをインストールしておく必要があります。
Anacondaは、Pythonで使われるさまざまなライブラリが入っている便利なものです。
このAnacondaのインストール方法は、Python超入門コースの環境構築の動画で説明しています。
まだ設定が終わっていない方は、概要欄にURLを貼っておきますので設定などを済ませておいてください。
このチャンネルでは、PythonやPandasのレッスン動画、他にも、Pythonを使っての業務効率化や完全自動化などの動画をどんどん配信しています。
新しい動画が更新されたときに通知がいくように、また、復習をする時に動画がどこにいったかわからなくならないようにチャンネル登録をお願いします。

▼文字書き起こしブログ
https://kino-code.com/pandas_course_jupyter_lab/

#JupyterLab #JupyterLabの使い方 #Pandas

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門｜02.jupyter Labの使い方｜プログラムの記述や実行、表やグラフも表示できるPythonユーザーに人気のツール

この動画では、Pandasのデータフレームの結合方法、concatメソッドについて学びます。
結合とは、2つのデータフレームをくっつけることです。
前回のレッスンで説明をしたmergeメソッドは、共通するカラムをキーとして2つのデータフレームを1つにしました。
mergeメソッドは、データフレーム同士を横に結合する方法でした
簡単にいうと、concatメソッドは、データフレーム同士を縦に結合させる方法です。
Pandasのデータ加工、人工知能のデータ前処理などでよく使われるメソッドです。
このレッスンでconcatをぜひ極めてください！

▼目次
00:00 はじめに
01:22 データフレームの作成
02:07 concat関数で、2つのデータフレームを結合する方法
02:33 インデックスをリセットして結合する方法
02:49 3つのデータフレームを結合する方法
03:24 インデックスにラベルを追加する方法
04:16 カラムが共通しない場合の結合する方法
05:18 結合の種類　outerで結合する方法
05:38 結合の種類　innerで結合する方法
06:03 concat関数でデータフレームを縦方向に結合する方法
06:44 concat関数でデータフレームを横方向に結合する方法
07:00 複数データフレームを結合する方法
08:12 concatメソッドとmergeメソッド
08:58 おわりに

▼関連動画
Pandas入門｜04.データフレーム (DataFrame) とは｜データフレーム作成、インデックスやカラムの変更方法、データ操作
   • Pandas入門｜04.データフレーム (DataFrame) とは｜デー...  

▼おすすめ動画
Pythonで面倒なExcelの仕事を自動化しよう【第一弾】
   • Pythonで面倒なExcelの仕事を自動化しよう( 第一弾 )｜一瞬で仕...  

Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう
   • Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう｜...  

Pythonで面倒な「メール配信(Gmail)」の作業を自動化しよう
   • Pythonで面倒な「メール配信(Gmail)」の作業を自動化しよう｜一瞬...  

Python超入門コース ｜Pythonの超基本的な部分をたった1時間で学べます【プログラミング初心者向け入門講座】
   • Python超入門コース 合併版｜Pythonの超基本的な部分をたった1時...  

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし
import pandas as pd

まず、Pandasをインポートする記述を書きます。
「as」を使ってPandasを「pd」という名前で使えるようにしましょう。
実行します。

import warnings
warnings.filterwarnings('ignore')

あとのソースコードで出てきますが、結合するカラムが一致していないときにwarning、つまり警告がでてくることがあります。
そのwarningがでていても処理には影響はありません。
しかし、jupyter labが読みづらくなってしまうので、warningを表示させない設定にしましょう。
warningsというライブラリをインポート。
その上で、warningsドットfillterwarings、無視という意味のイグノアを書きましょう。

df01 = pd.DataFrame( {'氏名':['佐藤', '鈴木', '高橋', '田中'], 
                      'クラス':['df01', 'df01', 'df01', 'df01'],
                      '数学': [1, 2, 3, 4], 
                      '国語':[5, 6, 7, 8]})
df01
結合のためにデータフレームを作成しましょう。
まず1つ目のデータフレームを作成します。
df01というクラスの佐藤さん、鈴木さん、高橋さん、田中さんが受けた数学と国語のテスト結果のデータフレームを作成しましょう。
点数は、わかりやすさのために1234とします。実行します。このようなデータフレームです。

df02 = pd.DataFrame( {'氏名':['伊藤', '渡辺', '山本'],
                      'クラス':['df02', 'df02', 'df02'],
                      '数学': [9, 10, 11],
                      '国語':[12, 13, 14]})
df02

2つ目のデータフレームです。
df02というクラスの伊藤さん、渡辺さん、山本さんが受けた数学と国語のテスト結果のデータフレームを作成します。
このようなデータフレームです。

pd.concat([df01, df02])

それでは早速、df01とdf02のテーブルを結合させてみましょう。
pd.concatと書いて丸括弧。丸括弧の中に、結合したいデータフレームをリストで記述します。
実行します。結合できました。
簡単でしたね。
ただし、色々工夫ができますので、みていきましょう。

pd.concat([df01, df02], ignore_index=True)

先ほどのデータフレームは、それぞれのデータフレームのインデックスをそのまま使っていました。
インデックス番号を再度振り直すには、ingore_indexの引数にTrueを渡します。
実行します。
インデックス番号が振り直されました。

df03 = pd.DataFrame( {'氏名':['中村', '小林', '加藤'],
                      'クラス':['df03', 'df03', 'df03'],
                      '数学': [15, 16, 17],
                      '国語':[18, 19, 20]})
df03

concatでは、2つ以上のデータフレームを結合することができます。
試しに、3つのデータフレームを結合させてみましょう。
そのために、3つ目のデータフレームを作成します。
このようなデータフレームです。
pd.concat([df01, df02, df03])
複数のデータフレームを結合の方法は簡単です。
結合したいデータフレームをリストにするだけです。
実行します。
クラスがデータフレームの名前なので、複数のデータフレームが結合されていることがわかります。

pd.concat([df01, df02, df03],keys=['df01','df02','df03'])

今回はカラム名のクラスにデータフレームを名前をそのまま書いてあるので、元のデータフレームがなんだったかわかります。
しかし、このカラムがなかったら、元のデータフレームがなんなのかわからなくなります。
その場合は、keysという引数に任意の名前のリストを渡します。
そのリストの名前がマルチインデックスになります。1番目、2番目、3番目という名前にしましょう。
実行します。
keysで指定した名前がインデックスとして表示されています。
ちなみに、マルチインデックスとは、その名前の通り、複数のインデックスという意味です。

df.index

インデックスを確認してみましょう。
MultiIndexとなっています。
このようにデータフレームは複数のカラムをインデックスに指定することができます。
この機会にMultiIndexという単語だけでも覚えておきましょう。

df04 = pd.DataFrame( {'氏名':['吉田', '山田', '佐々木'],
                      'クラス':['df04', 'df04', 'df04'],
                      '数学': [21, 22, 23],
                      '社会':[24, 25, 26]})
df04

さて、もう1つデータフレームを作成してみましょう。
今までのデータフレームは、数学と国語の教科のデータフレームでした。
今度は、数学のカラム名はそのまま、国語のカラム名をではなく社会のテスト結に変更をして、名前は吉田さん、山田さん、佐々木さんのデータフレームを作成しましょう。
このようなデータフレームです。

続きは文字書き起こしブログにて。

▼書き起こしブログ
https://kino-code.com/pandas-concat/

#PythonとPandas #Pandas入門 #Pandas使い方

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門講座｜12.concat関数でデータフレーム同士を結合する方法【PythonのライブラリPandas】

＼キノコードが作ったプログラミング学習 サービス登場／

学んだ知識をその場でアウトプットできるからスキルの定着が実感できる
Python学習といえば、キノクエスト！

・問題数は充実の350問以上
・環境構築は不要！
・カリキュラムがあるので学習方法に迷わない

▼登録はこちら▼
https://kino-code.com/kq_service_a/?utm_source=youtube.com&utm_medium=referral&utm_campaign=tSdQeNOWUl4_gaiyou

ーーー

この動画では、データフレームの使い方について説明します。初心者の方でもわかりやすいように丁寧な解説を心がけました。目次は下記になります。

▼目次
00:00 はじめに
01:26 データフレームとは
03:33 データフレーム作成方法
03:38 Pandasインストール
04:18 2次元リストを使った作成方法
05:28 NumPyインストール
05:55 NumPy配列を使った作成方法
06:21 インデックス、カラム参照
06:59 辞書型を使った作成方法
08:34 カラム、インデックスの操作
09:41 renameメソッドでカラム名変更
10:44 renameメソッドでインデックス名変更
11:06 列を取得
12:21 locプロパティで行を取得
13:06 locプロパティで行と列を指定して取得
13:29 locプロパティで列を取得
14:05 ilocプロパティで列を取得
14:32 locプロパティでデータ操作
14:53 locプロパティでデータ変更
15:06 複数のデータ変更
15:41 スライスを使ってデータ取得
16:49 get_locメソッドで行番号取得
17:11 get_locメソッドで列番号取得
18:15 データ型を調べる
18:43 行数・列数取得
19:00 行と列を入れ替え
19:16 確認問題
21:01 まとめ

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし
データフレームは、Pandasのスタート地点であり、ベースになる部分です。
というのも、例えば、Pandasの得意なデータ解析は、データを取得して、取得したデータをグループごとに集めたり、並び替えたり、グラフにするというプロセスを経ます。
データフレームは、その最初のデータを取得し、データを作るパートです。
そのため、データ分析のスタートでありベースとなる部分です。
また、データフレームは、エクセルの表形式のように、行と列で成り立っています。
他にも、データベースも表形式です。エクセルやデータベースを読み込むPandasのデータフレームは非常によく使われます。
したがって、データフレームは、重要な部分です。
初心者の方が理解できるように丁寧な説明を心がけました。
最後に確認問題もあるのでぜひトライしてみてください。
キノコードでは、pythonの入門コース、Pandas超入門コースの他に、データ可視化のmatplotlibや人工知能のレッスンもアップしていく予定です。
新しい動画が更新されたときに通知がいくように、また、復習をする時に動画がどこにいったかわからなくならないようにチャンネル登録をお願いします。
それではパソコン画面に切り替えてレッスンを進めていきます。
データフレームについて、動画の最初の方でふれましたが、もう少し詳しく説明していきます。
データフレームとは、ラベル付きニ次元配列のことです。
配列とは、データの集まりのことです。
配列が1つなら、1次元配列です。
1行にたくさん数字があるだけです。つまり、横に広がるだけです。
一方、二次元になるとと、縦に広がっていきます。
つまり、二次元配列とは、横と縦にデータが集まっていることになります。
Pythonでは、配列のことをリストといいます。
リストが1つある状態は1次元配列です。
２つある状態が2次元配列です。
では、3つできた場合は3次元でしょうか？
この場合も2次元です。
なぜなら、角括弧が2つです。
行と列で表すなら、このような感じです。
3次元の場合は、奥行きです。
さて話を戻して、データフレームは、2次元の配列です。
横のことを列、縦のことを行といいます。
つまり、データフレームは、エクセルの表のように、行と列で成り立っているイメージです。
行には行名であるインデックス、列名であるカラムがあります。２次元の配列だけではなく行名や列名を付けられることが、ラベル付き配列の「ラベル」である理由です。
そして、インデックスとカラムの他に、データ部分があります。
つまり、データフレームはインデックスとカラムとデータ部分の3つから成り立っています。
なお、データフレームから列を取り出すとシリーズというものになります。
逆の言い方をすると、データフレームはシリーズの集まりとも言えます。
シリーズとは、ラベル付き一次元配列のことです。
シリーズについては、次回のレッスンで詳しく説明します。
それでは、実際に作成してどのようなものか見てみましょう。
データフレームの作成方法はいくつかあります。
このレッスンでは、3つの作成方法を紹介します。
1つ目は、リスト型の値を持った配列を使う方法です。
まず、Pandasをインポートしてから始めます。
import pandas as pd
「as」は、ライブラリ名を好きな名前で使うことができます。
したがって、この記述により「pandas」を「pd」という名前で使うことができます。
それでは実行します。インポートされました。

df = pd.DataFrame([[1, 2, 3], [4, 5, 6], [7, 8, 9]], 
                   columns=['col01', 'col02', 'col03'], 
                   index=['idx01', 'idx02', 'idx03'])
df

それでは、データフレームを作っていきましょう。
データフレームの完成イメージは、このようになります。
インデックス名を「idx01~03」、カラム名を「col01~03」にします。
データの部分を、1行目は「1~3」、2行目は「4~6」、3行目は「7~9」にします。
それでは、コードをみていきましょう。
「df」という変数を書きます。
次に、イコール、pd、ドット、DataFrameを書きます。
そして、引数に2次元のリストを書いて、カラム名、インデックス名を書いていきます。
2次元のリスト部分は、リストの中にリストを作るイメージです。
外側のリストを書いて、内側のリストに「1~3」、「4~6」、「7~9」のようなリストを3つ書きます。
リストの作り方については、「Python超入門コース リスト」をご覧ください。右上にカードがでているはずです。
次に、カンマを書いて、カラム名を指定していきます。
まず、「columns」を書いて、イコール、カラム名のリストを書きます。
カラム名は、「col01~03」とします。
最後に、カンマを書いて、インデックス名を指定していきます。
イコール、インデックス名のリストを書きます。
インデックス名は、「idx01~03」とします。
これで、データフレームができました。
それでは、中身をみてみましょう。
スライドと同じデータフレームができました。

※続きは文字書き起こしブログで

▼文字書き起こしブログ
https://kino-code.com/pandas_course_dataframe/

#データフレーム(DataFrame) #PythonとPandas #Pandasの使い方

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門｜04.データフレーム (DataFrame) とは｜データフレーム作成、インデックスやカラムの変更方法、データ操作【Python必須ライブラリPandasを初心者にわかりやすく解説】

＼キノコードが作ったプログラミング学習 サービス登場／

学んだ知識をその場でアウトプットできるからスキルの定着が実感できる
Python学習といえば、キノクエスト！

・問題数は充実の350問以上
・環境構築は不要！
・カリキュラムがあるので学習方法に迷わない

▼登録はこちら▼
https://kino-code.com/kq_service_a/?utm_source=youtube.com&utm_medium=referral&utm_campaign=ubJohq5feeY_gaiyou

ーーー

この動画では、Pandasの使い方について説明します。初心者の方でもわかりやすいように丁寧な解説を心がけました。目次は下記になります。

▼目次
00:00 はじめに
01:03 Pandasとは
03:34 DataFrameとSeries
04:10 Pandasをインポート
04:43 ファイルの説明
05:34 csvファイルを読み取る
07:18 表示する列数・行数を変更する
09:58 最後の10行とってくる
10:08 ランダムに10行とってくる
10:21 データフレームの情報を取得する
10:46 統計量を取得する
12:10 グループごとに集計をする
12:43 並び替えをする
13:09 結合をする
14:44 グラフ化
15:42 時系列データ

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし
Pandas超入門コースのコース紹介のところで、Pandasでは、PythonでExcelやcsv操作、グラフ化、データ集計や加工など人工知能開発の技術などができるとお伝えしました。
ただ、これだけでは、どんなことができるのかイメージができていない方がいらっしゃるかと思います。
そのため、この動画では、Pandasとはなんなのか？Pandasではどんなことができるのか？Pandasはどうやって使うのか？ということをザッと説明していきます。
この動画で紹介したワザは、のちのレッスンで詳しく説明をします。
したがって、今はこれから学ぶことを把握したり、Pandasはこうやって使うんだーと思いながら動画をご視聴ください。
とにかく、Pandasは、非常に便利です。
Pythonと組み合わせればデータ処理でできないことはないといっても過言ではないです。
また、プログラミング言語なので自動化することもできます。Pandasを覚えれば面倒な作業を卒業できるかもしれません。
ご自身での仕事や日常生活への活用シーンをイメージしながらご視聴していただけるとモチベーションがよりあがるかもしれません。
このチャンネルでは、PythonやPandasのレッスン動画、他にも、Pythonを使っての業務効率化や完全自動化などの動画をどんどん配信していきます。
新しい動画が更新されたときに新着通知がいくように、また、復習をする時に動画がどこにいったかわからなくならないようにチャンネル登録をお願いします。
それではレッスンを進めていきます。
Pandasとは、データ解析を支援する機能を提供するPythonのライブラリです。
例えば、Pandasには、csvファイルを読み取るための機能、Excelのデータを読み取る機能、列や行を削除したり、計算したり、フィルターをかけて抽出をしたり、グループごとにとまめたり、表同士をデータをつっつけたり、穴が空いているデータを色々な方法で埋めたり、時系列のデータを扱ったり、グラフ化をしたり。
本当に色々なことができます。
Excelでできることはほぼできますし、データベース言語のSQLでできることもほぼできます。個人的な感覚だと、それら以上にできることがあります。
また、人工知能開発では、事前のデータ処理、つまりデータの前処理が人工知能開発の8割以上になると言われています。
その前処理は、Pandasが使われることが多いです。
したがって、Pandasができるようになると、エクセル操作などの日々の業務の効率化、人工知能開発まで色々なことができるようになります。
このPandasで扱うデータ構造には、データフレームとシリーズの2つがあります。
データフレームとは、エクセルの表形式のように、列と行で成り立っているイメージです。
シリーズとは、データフレームから1列取り出した時にできる型でもあり、Pythonでいうリストのようなものにインデックスというものがくっついているイメージです。
Pandasといえばデータフレームがメインですので、データフレームを用いてさっそくレッスンを進めていきたいと思います。
データフレームの作成については次回レッスンで説明しますので、ここではcsvファイルを読み込む方法でデータフレームを作成します。
それではPandasをインポートするところから始めていきましょう。
import pandas as pd
まず、Pandasをインポートする記述を書きます。
「import pandas as pd」を書きます。
「as」は、ライブラリ名（pandas）を好きな名前で使うことができます。
したがって、この記述により「pandas」を「pd」という名前で使うことができます。
エラーにならず、インポートが完了しました。
df_population_data = pd.read_csv('data.csv',encoding='shift-jis')
次に、pandasの関数を使ってcsvファイルを読み取ってみましょう。
このコースでは、政府が発表している「1920年から2015年までの全国の人口推移のデータ」を使います。
csvファイルは、このデータが記述されています。
csvファイルの中身をみてみましょう。
一番左の列は都道府県ごとのコードになっています。
北海道なら1という番号、東京なら13という番号がふられています。
次の列は、番号に対応した都道府県が入っています。
次に、元号と和暦です。
その次は、西暦となっていて、その次が人口の総数になっています。
その隣が男女別の人口が記載されています。
このファイルを使って、このレッスンを進めていきます。
Pandasでは、このようなcsvファイルを読み込むことができます。
read_csv関数を使います。
read_csv関数を使うと、csvをデータフレームとして読み込むことができます。
変数名は、データフレームを省略した「df」と人口のデータという意味で、「df_population_data」としましょう。
次に、イコールを書いて、「pd」を書きます。
次に、ドットを書いて、「read_csv」を書きます。
次に、丸括弧を書いて、シングルクォーテーションを書きます。
シングルクォーテーション中に、csvファイルのパスとファイル名を（data.csv）を書きます。
encodingの引数で、文字コードを指定できます。今回は、shift-jisを指定します。他にもutf-8なども指定できます。
実行すると、変数（df_population_data）に、データフレームを代入します。
変数にデータが代入されたはずです。
df_population_data
表示させてみましょう。
CSVファイルが読み込まれていることがわかります。

※続きは文字書き起こしブログで

▼文字書き起こしブログ
https://kino-code.com/pandas_course_pandas/

▼使用データについて
出典：政府統計の総合窓口(e-Stat)
https://www.e-stat.go.jp/

#Pandasの使い方 #PythonとPandas #PandasでCSV操作

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門｜03.Pandasとは?｜できることや使い方をわかりやすく解説します｜できることはCSV操作から人工知能開発まで。

この動画では、シリーズの使い方について説明します。初心者の方でもわかりやすいように丁寧な解説を心がけました。目次は下記になります。

▼目次
00:00 はじめに
00:56 Pandasインポート
01:20 リストを使ったSeries作成方法
02:09 Numpyを使ったSeries作成方法
03:38 データ型の取得
04:02 index取得
04:23 index変更
04:51 辞書型を使ったSeries作成方法
05:31 値の取得
06:40 複数の値の取得
07:10 比較演算子使った抽出方法
08:08 要素数の取得
08:37 indexとデータ部分に名前を付ける
09:23 Seriesの四則演算
10:19 Series同士の計算
11:28 欠損値確認
13:16 DataFrameからSeries取得
13:45 DataFrameにSeries追加
14:28 時系列データ
15:10 確認問題
17:15 終わりに

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし
こんにちは。キノコードです。
この動画では、PandasのSeriesについて学びます。
前のレッスンでも説明しましたが、Pandasで扱うデータ構造には、DataFrameとSeriesの2つがあります。
DataFrameとは、エクセルの表形式のように、行と列で成り立っているイメージです。
Seriesとは、DataFrameから1列取り出した時にできる型でもあり、Pythonでいうリストのようなものにindexというものがくっついているイメージです。
DataFrameから1列抽出するとSeriesになり、DataFrameはSeriesをまとめたものとも言えます。
したがって、Seriesの理解を深めることは、DataFrameの理解を深めることにもなります。
Pandasで非常によく使うDataFrameの理解を深めるために、Seriesをきちんと理解しておきましょう。
それでは、パソコン画面に切り替えてレッスンを進めていきます。
import pandas as pd
それでは、Pandasをインポートするところから始めていきましょう。
まず、Pandasをインポートする記述を書きます。
「import pandas as pd」を書きます。
「as」は、ライブラリ名（pandas）を好きな名前で使うことができます。
したがって、この記述により「pandas」を「pd」という名前で使うことができます。
エラーにならず、インポートが完了しました。
s1 = pd.Series([90,78,65,87,72])
s1
それでは、Seriesの作成方法を3つ説明します。
1つめは、リストを用いて、Seriesを作る方法です。
s1という変数を書いて、イコール、pd、Seriesを書きます。
そして、引数の中に、リストを書いて、適当なデータを書きます。
リストの詳細については、「Python超入門コース リスト」をご覧ください。右上にカードがでているはずです。
右上にカードが表示されます。
それでは、実行してみましょう。
左側がindexで、右側がデータ部分です。整数型であることがわかります。
data = [90, 78, 65, 87, 72]
リストを変数に入れてから、Seriesを作るとコードがすっきりします。
s1 = pd.Series(data)
s1
変数をSeriesの丸括弧の中に記述します。
実行してみます。
表示されましたね。
import numpy as np
2つめは、Numpyを使ってSeriesを作る方法です。
まず、NumPyをインポートしてから始めます。
NumPyとは、Pythonのライブラリで、高速にリストの計算をするためのライブラリのことです。
このNumPyをもとにSeiresを作ることができます。
ここでも「as」を書いて、「numpy」を「np」という名前で使えるようにします。
インポートします。
これで、Numpyを使えるようになりました。

※続きは文字書き起こしブログで

▼文字書き起こしブログ
https://kino-code.com/pandas_course_series/

#Seriesの使い方 #PythonとPandas #PandasでSeries操作

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門｜05.シリーズ (Series) とは【Pythonの必須ライブラリのPandasを初心者にわかりやすく解説】

この動画では、pandasのDataFrameやSeriesの並び替えについて学びます。
ExcelやSQLと同じように、小さい順からの並び替え、大きい順からの並び替え。他にも2つ以上の列の並び替えができます。
他にも、ExcelやSQLではできない行方向の並び替えなどもPythonではできます。
それでは、いってみましょう！

▼目次
00:00 はじめに
01:03 Pandasのインポート
01:07 表示する列数・行数を変更
01:24 データの読み込み
02:05 DataFrameの並び替え
03:00 DataFrameの並び替え（降順）
03:10 DataFrameの並び替え（昇順）
03:23 DataFrameで2つのカラムの並び替え
03:58 DataFrameで3つのカラムの並び替え
04:12 欠損値の取り扱い
04:57 行方向の並び替え
05:42 列方向の並び替え
06:11 もとのデータフレームを変更
07:28 インデックスの並び替え
08:21 sort_indexの引数
08:45 カラムの並び替え
09:11 Seriesの並び替え(sort_values)
09:48 Seriesの並び替え(sort_index)

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし
Pandasインポート
import pandas as pd
それでは、Pandasをインポートするところから始めていきましょう。
まず、Pandasをインポートする記述を書きます。
「import pandas as pd」を書きます。
「as」は、ライブラリ名（pandas）を好きな名前で使うことができます。
したがって、この記述により「pandas」を「pd」という名前で使うことができます。
エラーにならず、インポートが完了しました。

表示する列数・行数を変更
pd.set_option(‘display.max_columns’, None) # 最大表示列数
pd.set_option(‘display.max_rows’, 5) # 最大表示行数
次に、表示する列数・行数を変更します。
今回は表示させる列数は制限なし、行数は10行とします。
レッスン6で説明しましたが、表示する列や行数の変更は、「pd.set_option」を使いましたよね。
実行します。

データフレームの読み込み
df = pd.read_excel(‘sample.xlsx’,sheet_name=’実績管理表’)

df
続いてレッスンで使うデータを説明します。
今回はエクセルデータを使います。
このデータはあるアパレル会社の販売データになります。
社員ごとに何をいくら売上したのかがわかります。
エクセルを読み取るにはread_excelメソッドを使いました。
これはレッスン6で説明しました。
そこでは説明していなかったのですが、エクセルのシートを指定して読み取ることができます。
heet_nameという引数にシート名を渡せばよいです。
実行してみましょう。
読み取れました。

DataFrameの並び替え
df.sort_values(by=’売上金額（円）’)
それではデータフレームの並び替えをしてみましょう。
売上金額が少ない順に並び替えをします。
DataFrameの並び替えは、sort_valuesメソッドを使います。
sort_valuesと書いて丸括弧。丸括弧の中にbyを書きます。ここに並び替えをたいカラム名を渡します。
実行します。
人口の少ない順に並び替えができした。
ちなみに、小さいものから大きいものに並び替えをすることを昇順に並び替えといいます。
数字でいうと小さいものから大きいものですが、平仮名やカタカナだと「あ」から「わをん」の「ん」まで、アルファベットがaからzまでも昇順になります。
逆に、大きいものから小さいものに並び替えをすることを降順といいます。平仮名やカタカナだと「ん」から「あ」の順、zからaまでも降順になります。

DataFrameの並び替え（降順）
df.sort_values(by=’売上金額（円）’,ascending=False)
次に降順に並び替えをしてみましょう。
ascendingという引数にfalseを渡します。
実行してみましょう。
降順に並び替えができました。

DataFrameの並び替え（昇順）
df.sort_values(by=’売上金額（円）’,ascending=True)
ちなみに、先ほどascendingの引数に何も設定しなければデフォルトでTrueになっています。
実行してみましょう。
昇順になっています。

DataFrameで2つのカラムの並び替え
df.sort_values(by=[‘氏名’,’売上金額（円）’])
2つのカラムを並び替えたい場合はどのようにすればいいでしょうか？
その場合は、byの引数にリストで渡します。
氏名と売上金額で並び替えてみましょう。
実行してみます。
氏名で昇順で並び替えられ、氏名の中で売上が昇順に並び替えができています。
df.sort_values(by=[‘氏名’,’売上金額（円）’],ascending=[True,False])
氏名を昇順、売上金額は降順に並び替えてみましょう。
ascendingにTrueとFalseをリストで渡します。
実行しましょう。
氏名は昇順、売上金額は降順に並び替えができています。

DataFrameで3つのカラムの並び替え
df.sort_values(by=[‘性別’,’氏名’,’売上金額（円）’],ascending=[True,True,False])
3つのカラムの並び替えも可能です。
性別順に、氏名順に並び替えて、売上金額の降順で並び替えてみましょう。
できているようです。

欠損値の取り扱い
df.sort_values(by=[‘性別’,’氏名’,’売上金額（円）’],ascending=[True,True,False])
3つのカラムの並び替えも可能です。
性別順に、氏名順に並び替えて、売上金額の降順で並び替えてみましょう。
できているようです。df = pd.read_excel(‘sample.xlsx’,sheet_name=’実績管理表_空白’)
df.sort_values(by=’氏名’,ascending=True)
セルに空白がある場合はどのようになるでしょうか？
「実績管理表_空白’」というワークシートを読み込んだ上で、氏名の昇順で並び替えてみましょう。
実行してみます。
空白のセルが一番下に来ていますね。
このように値が入っていない部分のことを欠損値といいます。
df = pd.read_excel(‘sample.xlsx’,sheet_name=’実績管理表_空白’)
df.sort_values(by=’氏名’,ascending=True)
では、降順に並び替えた場合、欠損値が一番最初にくるでしょうか？
実行します。
この場合でも、欠損値が一番最後にきています。
df.sort_values(by=’氏名’,ascending=False,na_position=’first’)

実行してみましょう。
欠損値が一番最初にきています。
df.sort_values(by=’氏名’,ascending=False,na_position=’last’)

続きは文字書き起こしブログにて。

▼文字書き起こしブログ
https://kino-code.com/pandas_sort/

#PythonとPandas #Pandasの使い方 #Pandas入門

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門講座｜08.DataFrameやSeriesでデータの並び替えの方法【PythonのライブラリPandas】

この動画では、データを集計する方法について学びます。
具体的には、売上管理表を使って部署や名前ごとで売上げや平均を集計をするといった方法をみていきます。
Excelでいうと、sum関数、sumifs関数、countifs関数、SQLでいうとgroupbyの方法になります。
Pythonでは集計方法をカスタマイズすることが可能です。そのため、その会社独自の集計方法や、特殊な集計をすることが可能です。
SQLやエクセルではできないことも可能なので、ぜひ最後までご視聴ください。

▼目次
00:00 はじめに
01:07 Pandasのインポート
01:18 表示する列数・行数を変更
01:54 データフレームの読み込み
02:40 グループごとに集計する方法
03:38 グループごとに平均を算出する方法
03:57 複数のグループごとの平均を算出する方法
04:20 小数点以下省略する方法
05:02 グループごとの合計を算出する方法
05:10 グループごとのデータ数を数える方法
05:21 グループごとのデータ数を数える方法（欠損値を含む）
05:37 グループごとのn番目のデータ取得
06:19 グループごとの最大値する方法
06:24 グループごとの最小値する方法
06:37 複数要素でグルーピングする方法
07:38 複数の方法で集計ができるaggメソッド
08:14 groupbyを使って桁区切りで表示する方法
08:36 平均と合計、桁区切り表示
08:52 aggメソッド（複数計算）
09:27 groupbyで自作の関数適用

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/

▼文字書き起こし
読み込む前の準備として概要欄に記載したキノコードのサイトにExcelファイルを用意しています。
それをダウンロードして、学習用のJupyter Labを保存しているフォルダにに保存してください。
それではパソコン画面に切り替えてレッスンを進めていきましょう。
import pandas as pd
まず、Pandasをインポートする記述を書きます。
「as」を使ってPandasを「pd」という名前で使えるようにしましょう。
実行します。

pd.options.display.max_rows = 10
pd.options.display.max_columns = None

レッスン03で表示する列数・行数を変更はset_opitonでやってきました。
今回は、pd.options.displayで変更をしてみましょう。
pd.options.displayと書いてmax_rowと書きます。そして、これに10を代入します。
これで表示する行数を10行に変更することができます。
次に、表示する列数の変更をします。
max_columnsと書いて、Noneを代入します。
これで表示する列数・行数を変更ができました。

df = pd.read_excel('sample.xlsx',sheet_name='実績管理表')
df

続いてレッスンで使うデータを説明します。
Excelデータを使います。
このデータはあるアパレル会社の販売データになります。
社員ごとに何をいくら売上したのかがわかります。
このExcelの中の実績管理表というシートを使います。
エクセルを読み取るにはread_excelメソッドを使いました。
これはレッスン6で説明しました。
エクセルのシートを指定して読み取ることができます。
heet_nameという引数にシート名を渡せばよいです。
実行してみましょう。
読み取れました。
df.groupby('氏名')
それでは氏名ごとに合計や平均など色々な集計をしてみましょう。
エクセルでいうとsumifs関数であったり、averageifs関数、countifs関数になります。
SQLでいうとGroupbyです。
Pythonの場合だと、PandasのGroupbyメソッドを使います。
データフレームが代入されている変数のあとにドット、groupby、丸括弧。
丸括弧の中に、集計したいグループを記述します。
氏名ごとに集計をしたいので、氏名を記述します。

実行してみましょう。
集計結果が返ってきません。
これはオブジェクト生成されただけで、このオブジェクトに対して何も処理をしていないからです。
df.groupby('氏名').mean()
このgroupbyメソッドに平均を求めならmean、合計を求めるならsumなどを追加することで集計することが可能です。
平均を求めてみましょう。
平均は、meanを使います。
実行します。
平均を集計することができました。
ただ、コードだと数値型のカラムがすべて平均になっていしまいました。
df[['氏名','売上金額']].groupby('氏名').mean()
売上金額だけ平均にしたい場合はどのようにしたらいいでしょうか？
その場合は、二重括弧で氏名と売上金額だけを抽出し、groupbyの丸括弧の中に氏名を記述します。列の取得の仕方はレッスン4で説明しています。
実行します。
売上金額だけ平均を算出することができました。
ただし、今の平均の算出方法だと小数点以下がたくさん表示されて読みにくいですよね。
pd.options.display.float_format = '{:.0f}'.format
そこで、小数点以下を表示させない設定に変更しましょう。
動画の最初で表示する行数や列数を設定しましたが、同じようにpd.options.displayを使います。float_formatと記述します。

これは小数点以下0桁を省略する記述です。
実行してみましょう。
df[['氏名','売上金額']].groupby('氏名').mean()
それではもう一度、実行してみましょう。
小数点以下が表示されず、すっきりなりました。
df[['氏名','売上金額']].groupby('氏名').sum()
合計を算出した場合は、sumです。
実行してみましょう。
合計が表示されました。
df[['氏名','売上金額']].groupby('氏名').count()
データ数を数えたい場合はcountでできます
ただし、countメソッドだと、欠損値は数えてくれません。
df[['氏名','売上金額']].groupby('氏名').size()
欠損値も数えたい場合は、sizeメソッドを使います。
実行します。Seriesにて出力がされましたが、こうすれば欠損値も数えることができます。

続きは文字書き起こしブログにて。

▼文字書き起こしブログ
https://kino-code.com/pandas_groupby/

#PythonとPandas #Pandas入門 #データ集計

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。

Pandas入門コース｜プログラミング初心者向け講座

Pythonの便利ライブラリ「Pandas入門講座」合併版｜Pandasの基本的なこと3時間で学べます【Python超入門コースの次におすすめの入門講座】

Pandas入門｜01.コース紹介｜Excelやcsv操作、データ分析、グラフ化などができるPythonのライブラリの使い方を初心者向けに解説【プログラミング初心者向け】

Pandas入門｜02.jupyter Labの使い方｜プログラムの記述や実行、表やグラフも表示できるPythonユーザーに人気のツール

Pandas入門｜03.Pandasとは?｜できることや使い方をわかりやすく解説します｜できることはCSV操作から人工知能開発まで。

Pandas入門｜04.データフレーム (DataFrame) とは｜データフレーム作成、インデックスやカラムの変更方法、データ操作【Python必須ライブラリPandasを初心者にわかりやすく解説】

Pandas入門｜05.シリーズ (Series) とは【Pythonの必須ライブラリのPandasを初心者にわかりやすく解説】

Pandas入門講座｜06.PandasでCSV・Excelファイルの読み込み・書き出し、データベースとの接続方法【PythonのライブラリPandas】

Pandas入門講座｜07.DataFrameのデータ抽出の方法【PythonのライブラリPandas】

Pandas入門講座｜08.DataFrameやSeriesでデータの並び替えの方法【PythonのライブラリPandas】

Pandas入門講座｜09.groupbyメソッドを使ってデータ集計するの方法【PythonのライブラリPandas】

Pandas入門講座｜10.pivot_tableメソッドを使ってデータ集計する方法【PythonのライブラリPandas】

Pandas入門講座｜11.mergeメソッドでデータフレーム同士を結合する方法【PythonのライブラリPandas】

Pandas入門講座｜12.concat関数でデータフレーム同士を結合する方法【PythonのライブラリPandas】

Pandas入門講座｜13.Pandasで時系列データを扱う方法【PythonのライブラリPandas】

Pandas入門講座｜14.SeriesやDataFrameに関数を適用する方法(map, apply, applymapメソッド)【PythonのライブラリPandas】

Pandas入門コース｜プログラミング初心者向け講座

Pythonの便利ライブラリ「Pandas入門講座」合併版｜Pandasの基本的なこと3時間で学べます【Python超入門コースの次におすすめの入門講座】

Pandas入門｜01.コース紹介｜Excelやcsv操作、データ分析、グラフ化などができるPythonのライブラリの使い方を初心者向けに解説【プログラミング初心者向け】

Pandas入門｜02.jupyter Labの使い方｜プログラムの記述や実行、表やグラフも表示できるPythonユーザーに人気のツール

Pandas入門｜03.Pandasとは?｜できることや使い方をわかりやすく解説します｜できることはCSV操作から人工知能開発まで。

Pandas入門｜04.データフレーム (DataFrame) とは｜データフレーム作成、インデックスやカラムの変更方法、データ操作【Python必須ライブラリPandasを初心者にわかりやすく解説】

Pandas入門｜05.シリーズ (Series) とは【Pythonの必須ライブラリのPandasを初心者にわかりやすく解説】

Pandas入門講座｜06.PandasでCSV・Excelファイルの読み込み・書き出し、データベースとの接続方法【PythonのライブラリPandas】

Pandas入門講座｜07.DataFrameのデータ抽出の方法【PythonのライブラリPandas】

Pandas入門講座｜08.DataFrameやSeriesでデータの並び替えの方法【PythonのライブラリPandas】

Pandas入門講座｜09.groupbyメソッドを使ってデータ集計するの方法 【PythonのライブラリPandas】

Pandas入門講座｜10.pivot_tableメソッドを使ってデータ集計する方法 【PythonのライブラリPandas】

Pandas入門講座｜11.mergeメソッドでデータフレーム同士を結合する方法【PythonのライブラリPandas】

Pandas入門講座｜12.concat関数でデータフレーム同士を結合する方法【PythonのライブラリPandas】

Pandas入門講座｜13.Pandasで時系列データを扱う方法【PythonのライブラリPandas】

Pandas入門講座｜14.SeriesやDataFrameに関数を適用する方法(map, apply, applymapメソッド)【PythonのライブラリPandas】

Pandas入門講座｜09.groupbyメソッドを使ってデータ集計するの方法【PythonのライブラリPandas】

Pandas入門講座｜10.pivot_tableメソッドを使ってデータ集計する方法【PythonのライブラリPandas】