regonn&curry.fm

regonnとcurrypurinがデータサイエンス・機械学習(主にKaggle)について話します。新しい働き方や量子コンピュータ、VR等寄り道もしていきます。

30. 技術書典6を終えて

2019年04月26日

MP3ファイルをダウンロード

内容紹介

れごんとカレーちゃんがデータサイエンス(主にKaggle)について話していきます。今回は、ProbSpace、技術書典6、Kaggle Tips、今週のKaggle について話しています。

出演者


regonn

currypurin

Scrapbox

お題

ProbSpace データ分析好きが集まる交流プラットフォーム

Online Quantum Computing Course

  • 4週間コースの受講が終わった
  • 次はこの前の技術書典のを読んでから、Quantum Machine Learning を勉強しようと思ってる

技術書典終わりました

  • Kaggleのチュートリアル4時間強で300冊完売となった
  • 前回は、300冊完売できなかった。機械学習需要の高まりを感じた

今週のtips

  • コンペの一覧を取得する方法
  • kaggle apiを使える状況にし、以下コードを実行。
  • メダルあり、メダルなし、サブミッション不可の3つのデータフレームを返す関数
from kaggle.api.kaggle_api_extended import KaggleApi
    import pandas as pd
    
    def get_compe_list():
        api = KaggleApi()
        api.authenticate()  # 認証を通す
        competitions_list = api.competitions_list() 
        
        df = pd.DataFrame(columns=['id', 'title', 'awards_Points', 'deadline', 
                                            'isKernelsSubmissionsOnly', 'tags', 'submissionsDisabled'])
        for i in range(len(competitions_list)):
            tmp ={}
            tmp'id' = competitions_listi.id
            tmp'title' = competitions_listi.title
            tmp'awards_Points' = competitions_listi.awardsPoints
            tmp'deadline' = competitions_listi.deadline
            tmp'isKernelsSubmissionsOnly' = competitions_listi.isKernelsSubmissionsOnly
            tmp'tags' = competitions_listi.tags
            tmp'submissionsDisabled' = competitions_listi.submissionsDisabled

            tmp = pd.DataFrame(list(tmp.items())).set_index(0).T
            df = pd.concat(df, tmp, axis=0, sort=False)
        df.set_index('id', inplace=True)
        
        submissionsDisabled = df[df'submissionsDisabled' == True]
        submissionsDisabled.drop('submissionsDisabled', axis=1, inplace=True)

        df = df[df'submissionsDisabled' == False]
        df.drop('submissionsDisabled', axis=1, inplace=True)
        
        awards_True = df[df'awards_Points' == True]
        awards_False = df[df'awards_Points' == False]

        return awards_True, awards_False, submissionsDisabled

  • メダルあり
  • メダルなし
  • サブミット不可
  • kaggle apiでは次の情報を取得できる
    'ref', 'tags', 'description', 'id', 'title', 'url', 'deadline', 'category', 'reward', 'organizationName', 'organizationRef', 'kernelCount', 'teamCount', 'userHasEntered', 'userRank', 'mergerDeadline', 'newEntrantDeadline', 'enabledDate', 'maxDailySubmissions', 'maxTeamSize', 'evaluationMetric', 'awardsPoints', 'isKernelsSubmissionsOnly', 'submissionsDisabled'
    
  • 毎日この情報をつぶやくbotがあると良いかも?

今週のkaggle