Apache Beam：如何从HTML URL提取数据？
我愿意使用Apache Beam从URL而不是文件获取数据输入。我找不到一些内置方法。有什么办法吗？
问题来源：stackoverflow
展开
收起
1
条回答
写回答
写回答
-
没有内置的PTransform源可用于获取网站的HTML内容。也就是说，您可以编写自己的DoFn（https://beam.apache.org/documentation/programming-guide/#requirements-for-writing-user-code-for-beam-transforms ）。
然后，您的管道将如下所示：
with beam.Pipeline() as p: result = (p | "Create input data" >> beam.Create([list_of_urls_to_fetch]) | "Fetch HTML Content" >> beam.Map(CustomDoFn)CustomDoFn接收URL列表作为输入，并使用您的选择库获取其HTML内容。回答来源：stackoverflow
2020-03-25 09:18:08赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
