Deepnote

Deepnote 是一个功能强大的在线数据科学集成开发环境（IDE），专为数据科学家和开发者设计。它支持 Python、SQL 和 R 等多种编程语言，提供实时协作、数据集成、自动化调度和交互式数据可视化功能。通过与 AWS S3、MongoDB 和 Postgres 等数据源的无缝集成，简化了数据分析和建模过程。Deepnote 提高了团队的生产力和协作效率，是数据分析和项目管理的理想工具。

Deepnote – 在线数据科学集成开发环境（IDE）

主要特点：

1. 多人协作：类似于 Google Docs 的实时协作功能，允许团队成员同时编辑和查看项目。
2. 支持多种编程语言：可以使用 Python、SQL、R 等语言进行数据分析和处理。
3. 数据集成：支持与多种数据源集成，如 AWS S3、MongoDB 和 Postgres。
4. 自动化和调度：可以将 notebook 部署为 API，定时运行任务。
5. 可视化：提供交互式数据可视化工具，方便创建图表和仪表板。

Deepnote 特别适合需要频繁合作和数据分析的项目。

Deepnote的简单入门：

使用Deepnote非常简单。用户只需注册一个账号，然后新建一个项目即可开始编程。在项目中，用户可以创建不同的Notebook，每个Notebook都相当于一个独立的代码文件。用户可以在Notebook中添加代码、注释和其他文本，并将其保存到项目中。如果需要邀请他人协作，则可以通过共享链接或电子邮件进行邀请。

2.1 项目创建

“PROJECTS” – “+” – “New project”

2.2 数据导入（以本地CSV为例）

使用 CSV源数据，只需将其拖到deepnote项目上即可。

这样CSV文件就上传至deepnote远端（内存）中，我们可直接进行Pandas读取数据

如果我们想要添加云端数据库，需要添加凭证授权

2.3 远端环境

云端默认环境为Python3.9，5G内存 2vCPU配置，如果想要更高环境配置，可升级Team 或 Enterprise 计划，则可以在 16GB、4vCPU 机器上享受无限时数。

3、Deepnote Jupyter 使用

如果我们经常使用Jupyter Note进行数据分析的话，可以将本地的.ipynb文件上传到deepnote中进行使用，在此基础上进行开发测试。并且还可以导出.ipynb文件进行离线查看。当然deepnote还支持链接GitHub仓库，将我们编写的.ipynb上传提交至GitHUb仓库下。

导入方式（两种）：

将文件拖放.ipynb到右侧面板的NOTEBOOKS

单击NOTEBOOKS部分中的+按钮，然后选择Upload an .ipynb选项

导出.ipynb文件：

4、Deepnote的笔记块

4.1 SQL块

为了更容易查询数据库，Deepnote 包含所谓的“SQL 块”。将其中一个数据库集成连接到 Deepnote（PostgreSQL、Redshift、BigQuery或Snowflake）后，我们可以创建 SQL 块并开始编写 SQL 查询。当运行 SQL 查询时，Deepnote 会在 Pandas DataFrame 中显示结果。

使用 Python 和 SQL

Deepnote 使用jinjasql模板，允许您将变量、函数和控制结构（例如，if语句和for循环）传递到您的 SQL 查询中。

要在 SQL 查询中注入 Python 变量，请使用{{ variable_name }}语法。例如：

SELECT date, name
FROM fh-bigquery.weather_gsod.all
WHERE name = {{ station_name  }}
LIMIT 10

将列表或元组传递到您的 SQL 查询中需要来自inclausejinjasql 的关键字。正如您在下面看到的，我们使用与以前类似的语法，但这个新关键字前面有符号|。

SELECT date, name
FROM fh-bigquery.weather_gsod.all
WHERE name in {{ station_list | inclause}}
ORDER BY date DESC

要注入列名和表名，请使用sqlsafe关键字，如下所示：

SELECT *
FROM {{ table_name | sqlsafe }}

一个常见的用例是搜索包含（例如，%表示可选子字符串的字符）的通配符模式。要将其与变量值结合使用，请使用以下语法：

SELECT *
FROM users
WHERE name LIKE {{ ‘%’ + first_name + ‘%’ }}

您还可以使用更高级的模板功能，如{% if condition } %{ endif }、条件块或 jinjasql 支持的任何其他功能。例如，以下块循环遍历 Python 列表 ( column_names) 以构造所需的 SQL 字段。

SELECT date, name,
{% raw %}
{% for col in column_names %}
{% if not loop.last %}
{{ col | sqlsafe }},
{% else %}
{{ col | sqlsafe }}
{% endif %}
{% endfor %}
{% endraw %}
FROM fh-bigquery.weather_gsod.all
WHERE date > ‘2015-12-31’  and name = {{ station_name }}
ORDER BY date DESC
LIMIT 5

4.2 图表块

图表块允许我们在不使用代码的情况下从 Pandas DataFrames 创建图表。非常适合快速探索性分析，或者适合那些不熟悉如何使用 Python 代码制作图表的人。

4.3 文本块

Deepnote 具有丰富的文本编辑器，可以很容易地给文本叙述添加样式和结构。与编写代码类似，编辑文本也基于块的概念：文本中的每个结构元素（标题、段落、列表项等）在笔记本中表示为一个单独的块。

通过单击 +（添加块）按钮来添加文本块。从一系列不同的文本块类型中进行选择，包括段落、标题、列表和标注块。

Deepnote 的日常使用介绍就到这里了，它是一套用于 Python、SQL 和无代码分析的协作数据笔记本。能够在云端运行并安全地连接到任何数据源。对于那些经常在本地电脑进行数据开发的同学来说，可能需要经常查看下本地的一些信息或开发流程。如果在云上就方便很多了，可以实时更新了解自己的开发细则，更好开展工作。