Загрузка наборов данных в Google Drive через Google Colab
Загрузка наборов данных в Google Drive через Google Colab
Обновление: (скоро) TensorFlow 2.0 запустит новую стратегию распространения Keras, чтобы вы моглииспользуйте тот же код для распространения вашей модели на TPU,Google Colab может напрямую обращаться к облачным TPU Googleпосле релиза! СмотретьTF Dev Summit ’19за дополнительной информацией.
Если вы работаете на таком старом MacBook Pro, как я (конец 2013 года, с HD-диском 120 ГБ), ограниченное пространство будет моим главным препятствием в работе над проектом по науке о данных. Для тех, кто также работает над проектом по науке данных с большим набором данных, я уверен, что сохранение набора данных и обучение модели в облаке определенно облегчит ваш разум.
В этом уроке я поделюсь с вами своим опытом в:
- Монтирование Google Диска в Google Colab
- Загрузка набора данных напрямую в Google Drive через Google Colab
- с использованием Kaggle API;
- с сайта конкурса, имя пользователя и пароль которого требуются при запросе загрузки
БОНУС: Один клик для включенияСВОБОДНЫЙПоддержка GPU в Google Colab для обучения с Tensorflow.
Подключите Google Drive к Google Colab
Шаг 1
Сначала перейдите в Google Colab, затем введите ниже:
Ячейка вернет следующее, и вам нужно перейти по ссылке, чтобы получить код авторизации. Тогда тебе пора!
Шаг 2
Если вы можете получить доступ к Google Диску, ваши файлы на Google Диске должны быть все в:
/ content / gdrive / My Drive /
пока ваш текущий каталог будет/ Содержание /
Для удобства использования просто сохраните приведенный ниже фрагмент кода и вставьте его в Google Colab, и вы сможете легко подключить свой Google Drive к ноутбуку.
Загрузите набор данных непосредственно на Google Drive через Google Colab
В этом разделе я поделюсь с вами своим опытом загрузки набора данных из Kaggle и других конкурентов.
Загрузка наборов данных Kaggle через Kaggle API
Шаг 1 — Получить ключ API от вашего аккаунта
Посетитьwww.kaggle.com⇨ Войти ⇨ Моя учетная запись ⇨ Создать новый токен API
Файл «kaggle.json» будет загружен автоматически.
Шаг 2 — Загрузите файл kaggle.json
Используйте эти фрагменты кода в Google Colab для выполнения этой задачи:
Ниже будет создан необходимый путь к папке.
Шаг 3 — Загрузите необходимый набор данных
Просто загрузите необходимый набор данных с синтаксисом:
соревнования! kaggle загрузить -c ‘name_of_competition’ -p «target_colab_dir»
Бонус: пожалуйста, смотрите git gist ниже для поиска набора данных Kaggle
Шаг 4 — Распакуйте
Для набора данных с несколькими zip-файлами, как в примере, я стараюсь изменить каталог на указанную папку и разархивировать их один за другим.
! unzip -q file [.zip] -d [exdir]
-qподавить печать имен файлов, извлекаемых
-d [exdir]необязательный каталог для извлечения файлов
Перейти кВотчтобы узнать больше из документации Kaggle API.
Загрузите набор данных с веб-сайта конкурса, имя пользователя и пароль которого требуются при запросе загрузки.
Для конкуренции, какICIAR2018, вам нужно будет указать имя пользователя и пароль при загрузке набора данных.
Чтобы сделать это в Google Colab, сначала вы можете изменить текущий каталог на папку, в которой вы хотите сохранить свой набор данных. Затем используйтеWgetвместо использованиялоконкоманда.
После загрузки вы можете разархивировать файл, используя тот же подход, что и выше.
БОНУС: Один клик, чтобы включить БЕСПЛАТНЫЙ графический процессор в Google Colab для тренировки с Tensorflow
После того, как вы подключили Google Drive к Google Colab и загрузили необходимый набор данных, давайте включим графический процессор в записной книжке Colab и обучим вашу модель.
Из панели задач: Runtime ⇨ Изменить тип времени выполнения
Аппаратный ускоритель: нет, GPU
Надеюсь, вы найдете этот урок полезным и счастливым облачных вычислений!
кредиты
Спасибо заМэтт Глисон,Финли Макрейпредложения, чтобы сделать содержание лучше.
Создание аккаунта в Гугл Диске
Облачный сервис Google Disk на постоянной и бесплатной основе предоставляет 15 ГБ дискового пространства для всех пользователей. Эти гигабайты предназначены для хранения файлов, фотографий и сообщений на почте. Чтобы создать аккаунт Гугл Диск, нужна почта Gmail, используемая для переписки и работы с иными сервисами Google: Youtube, PlayMarket.
Инструкция для входа в Гугл Диск, если есть почта
Для создания учетной записи в Гугл Диск посетите страницу https://drive.google.com/drive и нажмите «Перейти в Google Диск».
1. При появлении интерфейса «Выберите аккаунт», укажите профиль, из-под которого будете работать.
2. Если его не окажется в списке, щелкните «Сменить аккаунт».
Появится форма «Вход».
3. Введите свою почту и кликните «Далее».
4. Укажите пароль от почтового ящика и жмите «Далее».
После авторизации попадете в свой профиль с 15 ГБ свободного пространства.
Слева расположено меню для быстрой навигации по хранилищу и создания новых документов.
Как создать аккаунт в Google
Если у вас нет электронного почтового ящика в Гугл или хотите обзавестись новой учетной записью, чтобы получить 15 ГБ дискового пространства, возможно, очередные, зарегистрируйтесь в Google.
1. Откройте страницу облачного хранилища https://drive.google.com/drive и щелкните «Перейдите к Google Диску».
2. Ниже кликните по ссылке «Создать аккаунт» и выберите «Для себя» в выпадающем списке.
3. Введите имя с фамилией, желаемый адрес почты (допускаются латинские буквы, цифры и точка), сложный пароль, состоящий из латинских букв в любом регистре, цифр и спецсимволов, и переходите «Далее».
4. Заполните все обязательные поля: пол и дату рождения. Телефонный номер, второй почтовый адрес указывать не обязательно, однако они при необходимости помогут восстановить доступ к аккаунту.
5. Потратьте минуту времени и ознакомьтесь с условиями использования сервисов.
После этого попадете на главную страницу Google Disk.
6. Ознакомьтесь с презентацией хранилища.
Можно приступать к работе: создавать документы, загружать файлы и управлять ими, открывать общий доступ – позволить другим пользователям только просматривать документ или редактировать (можно сделать с ним что угодно).
Все документы открываются через встроенные редакторы, созданные изменения сохраняются автоматически в реальном времени после завершения текущей операции.
Google Drive хранит историю изменений документов за последний месяц, что позволяет восстановить файл в любой его редакции.
Для простоты работы с облачным хранилищем рекомендуется использовать приложение для Windows ( https://www.google.com/drive/download/ ). Оно поддерживает синхронизацию данных в указанных каталогах между облачным хранилищем и компьютером.
Зарегистрироваться в Гугл Диск может абсолютно любой человек за 1–2 минуты. Из-за того что Google не требует обязательного подтверждения номера телефона, количество учетных записей для одного пользователя не ограничено.
Как открывать файлы Google Drive нативными приложениями локального компьютера
К ак вы, наверное, знаете, загруженные в облачное хранилище Google Drive файлы можно редактировать, не скачивая их на локальный компьютер. Достаточно подключить к диску Google соответствующее веб-приложение, и файлы можно редактировать и сохранять прямо в облаке. Однако же на практике большинство пользователей хранилища Google Drive предпочитают производить манипуляции с файлами на собственном компьютере.
В таком стремлении к традиционализму в Google не только не усматривают ничего предосудительного, но скорее напротив, поощряют оное. Так, разработчики компании решили упростить редактирование и просмотр файлов с облачного хранилища, создав Application Launcher for Drive — расширение для браузера Chrome, позволяющее открывать файлы Диска в декстопных программах.
Новый браузерный «помощник» доступен для скачивания в Магазине Google. Инструмент расширяет функциональные возможности контекстного меню веб-интерфейса Google Drive, добавляя в пункт «Открыть с помощью» список доступных на вашем компьютере нативных приложений, которые могут работать с совместимым форматом.
Чтобы сохранить отредактированный файл обратно на Google Диск, достаточно просто сохранить его в текущей программе — все изменения синхронизируются автоматически. Согласитесь, это намного удобнее, чем скачивать файл по HTTP, открывать его в редакторе, а затем вновь загружать его на Диск. Одним словом, неплохая альтернатива синхронизируемым каталогам, правда, в Application Launcher for Drive не всё так просто.
Дело в том, что у многих пользователей это полезное расширение отказывается работать. С наличием на ПК нелицензионного софта это, похоже, никак не связано. Мы протестировали расширение и выяснили, что для его корректной работы на компьютере должна быть установлена последняя версия клиента Google Drive.
Но и это ещё не всё. Во время работы с Application Launcher for Drive клиент диска должен быть запущен, а редактируемые файлы в общем каталоге синхронизированы. Так что не спешите забрасывать разработчиков жалобами на якобы «кривое» приложение, а для начала лучше убедитесь, что все условия для его корректной работы соблюдены.
Также было бы неплохо после установки Application Launcher for Drive проверить его активацию. В главном меню настроек Chrome не должно быть никаких жёлтых значков с предупреждениями. Что касается самого соединения, его корректность можно проверить в разделе управления расширениями, предварительно переключившись в режим разработчика и нажав ссылку «Фоновая страница».
Расположенную как раз под идентификатором Application Launcher for Drive.
Скачивание файлов с Google Диска
В последнее время Гугл Диск используется не только в качестве облачного хранилища файлов, но и для ежедневной работы с документами. Рассмотрим, как можно скачать загруженные файлы на компьютер или мобильные устройства, работающие на операционной системе Андроид и iOS.
Скачивание с Google Drive
В зависимости от уровня привязанности пользователя к облачному хранилищу от Google он пользуется этим сервисом либо на всех платформах, либо только десктопной/мобильной. Соответственно, процесс скачивания файлов будет разным, завися, к тому же от используемого вида Диска: веб-версии, программы или фирменного приложения. Обо всех способах мы расскажем далее в статье.
Способ 1: Компьютер
Многие пользователи Гугл Диска работают с облачным хранилищем именно через веб-сайт или приложение на ПК. Разберем подробно, как при работе с сервисом через компьютер можно скачать нужный файл.
Вариант 1: Веб-версия
Веб-сайт Google Drive дает возможность скачивать файлы не только со своего хранилища, но и с любого другого, к которому у вас есть доступ. Для этих целей использовать можно любой браузер, который установлен на вашем ПК или ноутбуке. В данном примере мы используем Google Chrome — он лучше всего подходит для работы с другими сервисами от Гугл.
- В первую очередь авторизуйтесь в системе Гугл. Для этого требуется ввести свой логин и пароль.
Помимо данного способа, скачать документ с Гугл Диска через браузер можно и другим методом. Для этого просто откройте файл с Диска или через ссылку. Далее нажмите на кнопку «Файл» в левом верхнем углу и кликните «Скачать».
Вариант 2: Фирменная программа от Google
Если в веб-версии Гугл Диска скачать можно было любой документ вне зависимости от того, хранится ли он в вашем аккаунте или нет, то через программу BackUp and Sync from Google загрузить на компьютер можно исключительно файлы со своего облака.
- Заходим в меню «Пуск» на вашем компьютере и выбираем программу Backup and Sync from Google.
Как видите, процесс скачивания файлов и папок с Google Drive на компьютер не занимает много времени.
Способ 2: Мобильная версия
Владельцы смартфонов, как и пользователи ПК, могут устанавливать Google Диск на свое устройство и скачивать оттуда файлы. Мобильная версия приложения позволяет осуществлять загрузку в память смартфона и свои документы, и файлы, к которым был предоставлен доступ ссылкой. Рассмотрим, как это сделать с айфона и телефонов на ОС Андроид.
Вариант 1: iOS
Приложение Гугл Диск для iOS имеет свои нюансы из-за особенностей операционной системы. Рассмотрим наиболее простой способ сохранения файла на смартфоны от Apple. Если у вас не установлено приложение, следует перейти в App Store по ссылке ниже и установить Google Drive.
- Открываем приложение и вводим данные от своего аккаунта.
Также стоит обратить внимание на возможность включения офлайн-доступа к документу. Для этого следует нажать на кнопку с тремя точками рядом с документом и выбрать пункт «Включить офлайн-доступ».
Вариант 2: Android
Google Диск на большинстве смартфонов с Андроид бывает установлен заранее. Если по какой-то причине у вас нет данного приложения, скачать его можно по ссылке ниже. Для загрузки файлов из этого приложения остается сделать совсем немного.
- Открыть приложение Гугл Диск на Андроид.
Использование Гугл Диска дает возможность довольно быстро синхронизировать документы в компьютере и облаке. Это позволит не бояться потерять нужные файлы, а также всегда иметь быстрый доступ к ним с любого устройства. Мы рассмотрели все возможные способы скачивания из этого облачного хранилища.