Загрузка наборов данных в Google Drive через Google Colab

Загрузка наборов данных в Google Drive через Google Colab

Обновление: (скоро) TensorFlow 2.0 запустит новую стратегию распространения Keras, чтобы вы моглииспользуйте тот же код для распространения вашей модели на TPU,Google Colab может напрямую обращаться к облачным TPU Googleпосле релиза! СмотретьTF Dev Summit ’19за дополнительной информацией.

Если вы работаете на таком старом MacBook Pro, как я (конец 2013 года, с HD-диском 120 ГБ), ограниченное пространство будет моим главным препятствием в работе над проектом по науке о данных. Для тех, кто также работает над проектом по науке данных с большим набором данных, я уверен, что сохранение набора данных и обучение модели в облаке определенно облегчит ваш разум.

В этом уроке я поделюсь с вами своим опытом в:

1. Монтирование Google Диска в Google Colab
2. Загрузка набора данных напрямую в Google Drive через Google Colab

• с использованием Kaggle API;
• с сайта конкурса, имя пользователя и пароль которого требуются при запросе загрузки

БОНУС: Один клик для включенияСВОБОДНЫЙПоддержка GPU в Google Colab для обучения с Tensorflow.

Подключите Google Drive к Google Colab

Шаг 1

Сначала перейдите в Google Colab, затем введите ниже:

Ячейка вернет следующее, и вам нужно перейти по ссылке, чтобы получить код авторизации. Тогда тебе пора!

Шаг 2

Если вы можете получить доступ к Google Диску, ваши файлы на Google Диске должны быть все в:

/ content / gdrive / My Drive /

пока ваш текущий каталог будет/ Содержание /

Для удобства использования просто сохраните приведенный ниже фрагмент кода и вставьте его в Google Colab, и вы сможете легко подключить свой Google Drive к ноутбуку.

Загрузите набор данных непосредственно на Google Drive через Google Colab

В этом разделе я поделюсь с вами своим опытом загрузки набора данных из Kaggle и других конкурентов.

Загрузка наборов данных Kaggle через Kaggle API

Шаг 1 — Получить ключ API от вашего аккаунта

Посетитьwww.kaggle.com⇨ Войти ⇨ Моя учетная запись ⇨ Создать новый токен API

Файл «kaggle.json» будет загружен автоматически.

Шаг 2 — Загрузите файл kaggle.json

Используйте эти фрагменты кода в Google Colab для выполнения этой задачи:

Ниже будет создан необходимый путь к папке.

Шаг 3 — Загрузите необходимый набор данных

Просто загрузите необходимый набор данных с синтаксисом:

соревнования! kaggle загрузить -c ‘name_of_competition’ -p «target_colab_dir»

Бонус: пожалуйста, смотрите git gist ниже для поиска набора данных Kaggle

Шаг 4 — Распакуйте

Для набора данных с несколькими zip-файлами, как в примере, я стараюсь изменить каталог на указанную папку и разархивировать их один за другим.

! unzip -q file [.zip] -d [exdir]

-qподавить печать имен файлов, извлекаемых
-d [exdir]необязательный каталог для извлечения файлов

Перейти кВотчтобы узнать больше из документации Kaggle API.

Загрузите набор данных с веб-сайта конкурса, имя пользователя и пароль которого требуются при запросе загрузки.

Для конкуренции, какICIAR2018, вам нужно будет указать имя пользователя и пароль при загрузке набора данных.

Чтобы сделать это в Google Colab, сначала вы можете изменить текущий каталог на папку, в которой вы хотите сохранить свой набор данных. Затем используйтеWgetвместо использованиялоконкоманда.

После загрузки вы можете разархивировать файл, используя тот же подход, что и выше.

БОНУС: Один клик, чтобы включить БЕСПЛАТНЫЙ графический процессор в Google Colab для тренировки с Tensorflow

После того, как вы подключили Google Drive к Google Colab и загрузили необходимый набор данных, давайте включим графический процессор в записной книжке Colab и обучим вашу модель.

Из панели задач: Runtime ⇨ Изменить тип времени выполнения

Аппаратный ускоритель: нет, GPU

Надеюсь, вы найдете этот урок полезным и счастливым облачных вычислений!

кредиты

Спасибо заМэтт Глисон,Финли Макрейпредложения, чтобы сделать содержание лучше.

Создание аккаунта в Гугл Диске

Облачный сервис Google Disk на постоянной и бесплатной основе предоставляет 15 ГБ дискового пространства для всех пользователей. Эти гигабайты предназначены для хранения файлов, фотографий и сообщений на почте. Чтобы создать аккаунт Гугл Диск, нужна почта Gmail, используемая для переписки и работы с иными сервисами Google: Youtube, PlayMarket.

Инструкция для входа в Гугл Диск, если есть почта

Для создания учетной записи в Гугл Диск посетите страницу https://drive.google.com/drive и нажмите «Перейти в Google Диск».

1. При появлении интерфейса «Выберите аккаунт», укажите профиль, из-под которого будете работать.

2. Если его не окажется в списке, щелкните «Сменить аккаунт».

Появится форма «Вход».

3. Введите свою почту и кликните «Далее».

4. Укажите пароль от почтового ящика и жмите «Далее».

После авторизации попадете в свой профиль с 15 ГБ свободного пространства.

Слева расположено меню для быстрой навигации по хранилищу и создания новых документов.

Как создать аккаунт в Google

Если у вас нет электронного почтового ящика в Гугл или хотите обзавестись новой учетной записью, чтобы получить 15 ГБ дискового пространства, возможно, очередные, зарегистрируйтесь в Google.

1. Откройте страницу облачного хранилища https://drive.google.com/drive и щелкните «Перейдите к Google Диску».

2. Ниже кликните по ссылке «Создать аккаунт» и выберите «Для себя» в выпадающем списке.

3. Введите имя с фамилией, желаемый адрес почты (допускаются латинские буквы, цифры и точка), сложный пароль, состоящий из латинских букв в любом регистре, цифр и спецсимволов, и переходите «Далее».

4. Заполните все обязательные поля: пол и дату рождения. Телефонный номер, второй почтовый адрес указывать не обязательно, однако они при необходимости помогут восстановить доступ к аккаунту.

5. Потратьте минуту времени и ознакомьтесь с условиями использования сервисов.

После этого попадете на главную страницу Google Disk.

6. Ознакомьтесь с презентацией хранилища.

Можно приступать к работе: создавать документы, загружать файлы и управлять ими, открывать общий доступ – позволить другим пользователям только просматривать документ или редактировать (можно сделать с ним что угодно).

Все документы открываются через встроенные редакторы, созданные изменения сохраняются автоматически в реальном времени после завершения текущей операции.

Google Drive хранит историю изменений документов за последний месяц, что позволяет восстановить файл в любой его редакции.

Для простоты работы с облачным хранилищем рекомендуется использовать приложение для Windows ( https://www.google.com/drive/download/ ). Оно поддерживает синхронизацию данных в указанных каталогах между облачным хранилищем и компьютером.

Зарегистрироваться в Гугл Диск может абсолютно любой человек за 1–2 минуты. Из-за того что Google не требует обязательного подтверждения номера телефона, количество учетных записей для одного пользователя не ограничено.

Как открывать файлы Google Drive нативными приложениями локального компьютера

К ак вы, наверное, знаете, загруженные в облачное хранилище Google Drive файлы можно редактировать, не скачивая их на локальный компьютер. Достаточно подключить к диску Google соответствующее веб-приложение, и файлы можно редактировать и сохранять прямо в облаке. Однако же на практике большинство пользователей хранилища Google Drive предпочитают производить манипуляции с файлами на собственном компьютере.

В таком стремлении к традиционализму в Google не только не усматривают ничего предосудительного, но скорее напротив, поощряют оное. Так, разработчики компании решили упростить редактирование и просмотр файлов с облачного хранилища, создав Application Launcher for Drive — расширение для браузера Chrome, позволяющее открывать файлы Диска в декстопных программах.

Новый браузерный «помощник» доступен для скачивания в Магазине Google. Инструмент расширяет функциональные возможности контекстного меню веб-интерфейса Google Drive, добавляя в пункт «Открыть с помощью» список доступных на вашем компьютере нативных приложений, которые могут работать с совместимым форматом.

Чтобы сохранить отредактированный файл обратно на Google Диск, достаточно просто сохранить его в текущей программе — все изменения синхронизируются автоматически. Согласитесь, это намного удобнее, чем скачивать файл по HTTP, открывать его в редакторе, а затем вновь загружать его на Диск. Одним словом, неплохая альтернатива синхронизируемым каталогам, правда, в Application Launcher for Drive не всё так просто.

Дело в том, что у многих пользователей это полезное расширение отказывается работать. С наличием на ПК нелицензионного софта это, похоже, никак не связано. Мы протестировали расширение и выяснили, что для его корректной работы на компьютере должна быть установлена последняя версия клиента Google Drive.

Но и это ещё не всё. Во время работы с Application Launcher for Drive клиент диска должен быть запущен, а редактируемые файлы в общем каталоге синхронизированы. Так что не спешите забрасывать разработчиков жалобами на якобы «кривое» приложение, а для начала лучше убедитесь, что все условия для его корректной работы соблюдены.

Также было бы неплохо после установки Application Launcher for Drive проверить его активацию. В главном меню настроек Chrome не должно быть никаких жёлтых значков с предупреждениями. Что касается самого соединения, его корректность можно проверить в разделе управления расширениями, предварительно переключившись в режим разработчика и нажав ссылку «Фоновая страница».

Расположенную как раз под идентификатором Application Launcher for Drive.

Скачивание файлов с Google Диска

В последнее время Гугл Диск используется не только в качестве облачного хранилища файлов, но и для ежедневной работы с документами. Рассмотрим, как можно скачать загруженные файлы на компьютер или мобильные устройства, работающие на операционной системе Андроид и iOS.

Скачивание с Google Drive

В зависимости от уровня привязанности пользователя к облачному хранилищу от Google он пользуется этим сервисом либо на всех платформах, либо только десктопной/мобильной. Соответственно, процесс скачивания файлов будет разным, завися, к тому же от используемого вида Диска: веб-версии, программы или фирменного приложения. Обо всех способах мы расскажем далее в статье.

Способ 1: Компьютер

Многие пользователи Гугл Диска работают с облачным хранилищем именно через веб-сайт или приложение на ПК. Разберем подробно, как при работе с сервисом через компьютер можно скачать нужный файл.

Вариант 1: Веб-версия

Веб-сайт Google Drive дает возможность скачивать файлы не только со своего хранилища, но и с любого другого, к которому у вас есть доступ. Для этих целей использовать можно любой браузер, который установлен на вашем ПК или ноутбуке. В данном примере мы используем Google Chrome — он лучше всего подходит для работы с другими сервисами от Гугл.

В первую очередь авторизуйтесь в системе Гугл. Для этого требуется ввести свой логин и пароль.

Помимо данного способа, скачать документ с Гугл Диска через браузер можно и другим методом. Для этого просто откройте файл с Диска или через ссылку. Далее нажмите на кнопку «Файл» в левом верхнем углу и кликните «Скачать».

Вариант 2: Фирменная программа от Google

Если в веб-версии Гугл Диска скачать можно было любой документ вне зависимости от того, хранится ли он в вашем аккаунте или нет, то через программу BackUp and Sync from Google загрузить на компьютер можно исключительно файлы со своего облака.

Заходим в меню «Пуск» на вашем компьютере и выбираем программу Backup and Sync from Google.

Как видите, процесс скачивания файлов и папок с Google Drive на компьютер не занимает много времени.

Способ 2: Мобильная версия

Владельцы смартфонов, как и пользователи ПК, могут устанавливать Google Диск на свое устройство и скачивать оттуда файлы. Мобильная версия приложения позволяет осуществлять загрузку в память смартфона и свои документы, и файлы, к которым был предоставлен доступ ссылкой. Рассмотрим, как это сделать с айфона и телефонов на ОС Андроид.

Вариант 1: iOS

Приложение Гугл Диск для iOS имеет свои нюансы из-за особенностей операционной системы. Рассмотрим наиболее простой способ сохранения файла на смартфоны от Apple. Если у вас не установлено приложение, следует перейти в App Store по ссылке ниже и установить Google Drive.

Открываем приложение и вводим данные от своего аккаунта.

Также стоит обратить внимание на возможность включения офлайн-доступа к документу. Для этого следует нажать на кнопку с тремя точками рядом с документом и выбрать пункт «Включить офлайн-доступ».

Вариант 2: Android

Google Диск на большинстве смартфонов с Андроид бывает установлен заранее. Если по какой-то причине у вас нет данного приложения, скачать его можно по ссылке ниже. Для загрузки файлов из этого приложения остается сделать совсем немного.

Открыть приложение Гугл Диск на Андроид.

Использование Гугл Диска дает возможность довольно быстро синхронизировать документы в компьютере и облаке. Это позволит не бояться потерять нужные файлы, а также всегда иметь быстрый доступ к ним с любого устройства. Мы рассмотрели все возможные способы скачивания из этого облачного хранилища.