注意:虽然 JavaScript 不是本网站的必需品,但您与内容的互动将受到限制。请启用 JavaScript 以获得完整体验。

用开放数据和 Python 拯救世界

政策方面

虽然一些开发者可能认为开放数据已经存在很久了,我们可能不再需要讨论它,但重要的是要记住为什么人们强烈推动开放数据。

当创建和推广开放数据标准时,重要的是要思考为什么 - 这种变化试图推动什么?人们将如何使用这些数据,而以前他们无法做到?

例如,开放合同数据标准 公开了政府将服务和项目外包给私营公司的详细信息。它使数据可用,并试图帮助人们实际使用它。这样做是为了根除腐败,向更多投标者开放流程,提高效率,并为政府节省资金。

在开放数据服务公司,我们致力于许多标准 - 例如,实益拥有权数据标准 公开了有关最终拥有、控制或从世界各地公司中获益的人员的数据。随着越来越多的国家试图减少避税行为,这些数据确实有所帮助。

这就是我们工作的一部分 - 我们与客户合作实现他们的政策目标,并确保他们制定的开放数据标准与他们的政策目标相匹配并建立在他们的政策目标之上。

这就是我们能够声称我们的工作拯救了世界的原因 - 当我们看到像乌克兰的 ProZorro 使用开放合同数据来打击腐败并为他们的政府节省了 12 亿英镑 这样的人时,这真是太棒了。

Python 方面

我们使用 Python 作为我们的首选工具;从使用 Google Colab 笔记本在 Jupyter 中进行分析到完整的 Sphinx 网站和电子表格。等等,电子表格?

是的 - 在开放数据的世界里花点时间,你很快就会发现人们喜欢他们的电子表格。虽然一些开发者现在会翻白眼,但重要的是要记住,对于一些人来说,电子表格是一个非常强大的工具,使他们能够完成他们原本无法完成的出色数据工作。

因此,我们必须接受这一点,这导致了我们作为开源发布的 Python 工具之一 - Flatten Tool

Flatten 工具可以将 JSON 数据文件转换为电子表格。当然,JSON 数据文件可能不是扁平结构,可能包含嵌套列表等等 - 我们通过在 Excel 文件中生成多个工作表或多个 CSV 文件来处理这种情况。

Flatten 工具还可以将一组电子表格转换为 JSON 文件。如果您有描述您标准的 JSON Schema 文件,那将很有帮助。最后,我们还可以使用 JSON Schema 文件生成一组电子表格模板。

这使得人们可以轻松地使用他们最喜欢的工具 - 电子表格 - 并且我们仍然可以轻松地处理数据,无论是发送数据还是处理来自他们的数据。

由于 Python 的 PyPi 和 pip,我们将此作为库包含在我们进行的其他项目中。我们为我们正在处理的数据标准创建网站,人们可以在这些网站上上传一些数据 - 以其官方 JSON 标准形式或作为电子表格 - 我们将获取数据,对其进行分析并突出显示数据中的问题和统计信息。我们还提供转换 - 因此您可以上传电子表格,如果它很好,您可以下载正确格式的 JSON 文件。

感谢 Python!

在 Open Data Services,我们的一些成员*是开发人员,也有一些是分析师 - 但即使是我们的分析师也非常技术娴熟,能够与我们的开发人员一起深入研究问题的细节。我们毫不怀疑,友好易用的 Python 语言和生态系统对此有所帮助 - 感谢 Python!

  • 成员?我们也是一家工人合作社 - 但那是另一个故事了!